MYE（比較テストの管理）は本当に使えるか検証

テスト期間と判定基準はどうなっているのか

テスト期間は自分で設定する場合、8〜10週間が推奨です。「統計的有意性に達するまで（つまり有意差が出るまで、という意味です）」の自動設定を選べば、早くて4週間程度で結果が出ることもありますが、最短でも14日間は必要になります。

判定方法は、Amazonが「ベイズ統計」という統計手法を使って、A案とB案それぞれが勝者になる確率を算出する仕組みです（詳しい計算方法は非公開です）。画面には、効果の大きさの平均値が毎週更新されて表示されます。あわせて95%信頼区間（本当の効果がこの範囲に入っている可能性が95%であることを示す統計的な幅のことです）も提示されます。二次情報では、勝者と判定する目安として「信頼度66〜70%以上」という基準が紹介されていますが、この数値はAmazonの公式発表では確認できておらず、参考程度にとどめるべきです。結果画面で確認できる指標は、販売ユニット数・売上・CVR（購入転換率。商品ページを見た人のうち、実際に買った人の割合です）・ユニークビジター（重複を除いて数えた訪問者数のことです）1人あたりの販売ユニット数・サンプルサイズ（テストのもとになったデータの数のことです）の5つです。

POINT

信頼度が50〜70%程度の、いわば中途半端な結果（英語ではinconclusive＝結論が出ない、と呼ばれます）で終わることも珍しくありません。原因は「変更が小さすぎる」「A案とB案が実質同等」「トラフィック不足」のいずれかです。次にテストする際は、意味のある差が出るようにA案とB案を作り直すのが次の一手になります。

実例で見る効果の大きさ

数字は事例によって幅があります。公式の謳い文句である「最大+20〜25%」はあくまで上限値であり、平均ではありません。日本の運用実務でも、タイトルや画像を1点だけ変えただけで有意差が出るケースと、明確な差が出ないまま「有意差なし」で終わるケースの両方が起こり得ます。まずは自社の過去テストデータを蓄積し、どの要素・どの変更幅なら有意差が出やすいかという傾向を自社内で把握しておくことが、再現性のある成果につながります。

美容・ヘルスケア商品のタイトル最適化では、競合分析にLDA（潜在的ディリクレ配分法。大量の文章の中からよく使われる単語の組み合わせ＝トピックを自動的に見つけ出す統計手法です）を使い、競合商品のタイトルによく出てくるキーワードの傾向を分析しています。それをもとに自社のタイトルを再構成した上でテストを行っています（出典: funnel-inc↗）。なお、CVR+22%や+18%といったさらに大きな数字を紹介する二次情報もありますが、一次データが非開示のため参考程度にとどめるべきです。

現実的な期待値としては、勝者が出れば+数%〜+15%程度、上振れ（想定より良い結果が出た場合）で+20%超、下振れ（想定より悪い結果だった場合）で有意差なし、という幅で見込むのが妥当です。1回のテストで確実に勝てるわけではないため、複数回・複数要素を継続的に回す運用が前提になります。

実際にテストを回す手順

テストを機能させるための骨子は次の6ステップです。

1. 1回に1要素だけ変える（複数の要素を同時に変えると、どちらの変更が効果を生んだのか区別できなくなるためです）
2. A案とB案の差を大きく取る（変化が小さい微調整では、有意差が出にくいためです）
3. セール期間・広告が急に増える時期を避けて開始する（セールや広告の変動で普段と売れ行きが変わり、テスト結果を正しく比較できなくなるためです）
4. 統計的有意性に達するまで途中で止めない（テスト開始直後の良い数字は、偶然のブレである可能性が高いためです）
5. 自動公開をONにして反映し忘れを防ぐ（自動公開をOFFにしていると、テストで勝った案を手動で反映するのを忘れてしまうことがあるためです）
6. 勝ちも負けも記録し、負けたテストの再発を防ぐ（記録を残しておかないと、効果の出なかった変更を何度も繰り返してしまうことがあるためです）

優先順位としては、インパクトの大きい順にメイン画像→タイトル→A+→箇条書き→説明文の順で回すのが効率的です。メイン画像がCVRに与える影響については、「メイン画像のCVRテスト方法と実例」でも詳しく扱っています。

こうした複数バリアント（A案・B案）のCVR・売上推移を追う作業は、セラサポのような分析ツールを使うと自動的に可視化できます。

注意点

MYE自体は公式ツールであり、利用に規約上のリスクはありません。ただし、テスト対象外の価格やクーポンを外部ツールで独自にA/Bテストしようとする場合は注意が必要です。Amazonには非差別的価格設定ポリシー（全顧客に同一価格を同時提示しなければならない、という原則です）があり、これに抵触するおそれがあります。そのため、価格の検証はMYEとは別の方法で慎重に扱う必要があります。

POINT

novelty effect（目新しさ効果）と呼ばれる現象にも注意が必要です。変更した直後の初週だけ良い数字が出て、その後は元の水準に戻っていく（収束する）ことがあります。週ごとの数字の推移を確認し、一過性の変化でないかを見極めてください。

よくある質問

MYEはブランド登録していなくても使えるか

使えません。大口出品契約に加えて、Amazon ブランド登録に登録済みのブランド権利保有者・代表者であることが条件です。ブランド未登録の場合は、ビジネスレポートを使った変更前後（Before/After）の比較や、PickFu（外部の消費者テストサービスです）など、外部の消費者テストで代替する必要があります。

テスト期間はどのくらいかかるか

自分で期間を設定する場合は8〜10週間が推奨です。「統計的有意性に達するまで」の自動設定なら早ければ4週間程度で終わることもありますが、最短でも14日間は必要です。

価格やクーポンもテストできるか

できません。テスト対象はメイン画像・商品名・箇条書き・商品説明・A+コンテンツの5つのコンテンツ要素のみで、価格・クーポン・広告・セールは対象外です。

新商品でもMYEは使えるか

トラフィックが十分でない新商品やニッチ商品は、統計的有意性に到達しにくく対象外になりやすいです。必要トラフィックの公式基準は非公表ですが、実務上は月間セッションが一定以上ある主力・準主力SKUでの活用が現実的です。

結果が「有意差なし」で終わったらどうすればよいか

原因は変更が小さすぎる、A案とB案が実質同等、トラフィック不足のいずれかです。次のテストではA案とB案の差をより大きく設計し直すことが必要です。

まとめ

MYEはブランド登録者が無料で使える公式のA/Bテストで、対象はメイン画像・タイトル・箇条書き・説明文・A+の5要素に限られます。効果は公式謳い文句の+20〜25%が上限値です。実勢は+5〜25%程度で、有意差なしで終わることも普通にあります。1回1要素・8〜10週間・途中停止禁止という原則を守ることが大切です。そのうえで、勝ち負けを記録しながら複数回継続して回す運用が、現実的な使い方だといえます。