A/B テストとは?やり方と結果の見方を初心者向けに解説
A/B テストは、2 つの案を同じ期間に並べて見せ、どちらの成果が高いかを比べる方法です。「こちらのほうが良さそう」という感覚ではなく、実際の訪問者の反応で判断できる点が特徴です。
ただし、やり方を誤ると、偶然の差を成果と取り違えて、かえって悪い案を採用してしまいます。この記事では、テストの進め方、要素の選び方、必要なアクセス数と期間、結果の判断方法を順に説明します。最後に、LP やリンクで試せる具体例も紹介します。
A/B テストとは
A/B テストは、案 A と案 B を用意し、訪問者を無作為に振り分けて、成果を比べる実験です。スプリットテストとも呼ばれます。
大切なのは、2 つの案を「同じ時期に」「同じ条件で」見せることです。A を先月、B を今月に出して比べる方法は、A/B テストではありません。曜日、季節、広告の予算、話題の影響で、結果が変わってしまうためです。
比べる対象は、見出し、画像、ボタンの文言や色、料金の見せ方、ページの構成、リンクの転送先など、さまざまです。成果の指標は、クリック率、申込み率(CVR)、購入率などから、目的に合うものを 1 つ決めます。
テストの進め方
テストは、次の 6 つの手順で進めます。
- 現状の数字を確認する。今の CVR やクリック率を、基準として記録します。
- 課題を見つける。離脱が多い箇所、クリックされない箇所を探します。
- 仮説を立てる。「見出しに結果を入れれば、読み進める人が増える」のように、理由を含めて書きます。
- 案を作る。仮説を検証できる形で、案 B を用意します。
- テストを実行する。条件をそろえて、一定の期間回します。
- 結果を判断する。数字を比べ、採用か、見送りかを決めます。
仮説を書くことは、特に重要です。仮説がないテストは、結果が出ても理由が分からず、次の改善に生かせません。「ボタンの色を変えたら増えた」で終わらせず、なぜ増えたのかを考えることが、学びになります。
テストする要素の選び方
テストする要素は、成果への影響が大きいものから選びます。
| 要素 | 影響の大きさ | テストの例 |
|---|---|---|
| 訴求の中身 | 大きい | 価格を前面に出す案と、効果を前面に出す案 |
| ファーストビューの見出し | 大きい | 悩みを書く案と、結果を書く案 |
| ボタンの文言 | 中程度 | 「申し込む」と「無料で相談する」 |
| 画像・動画 | 中程度 | 商品の写真と、利用場面の写真 |
| 色・配置 | 小さい場合が多い | ボタンの色、位置 |
最初は、ページの上部で、訪問者が必ず目にする要素から試すのが効率的です。ボタンの色のような小さな変更は、差が出にくく、判断するのに多くのアクセスを必要とします。
一度に変えるのは 1 か所に絞ります。見出しと画像とボタンを同時に変えると、どの変更が効いたのか分かりません。複数の要素を組み合わせて試す手法もありますが、アクセスが少ないうちは向いていません。
必要な期間とアクセス数
A/B テストでは、アクセス数が少ないと、結果が偶然に左右されます。例えば、案 A が 10 人中 1 人、案 B が 10 人中 2 人申し込んだとしても、これは誤差の範囲です。数十人の差で判断せず、十分なアクセスが集まるまで待ちます。
必要な数は、現在の CVR と、見つけたい差の大きさで決まります。CVR が低いほど、また、見つけたい差が小さいほど、多くの訪問者が必要です。例えば、CVR が 3%のページで、1 割の改善(3.3%)を確実に検出するには、案ごとに数万人規模の訪問者が必要になる場合があります。正確な数は、サンプルサイズ計算ツールで確認できます。
期間については、少なくとも 1 週間から 2 週間は続けるのが一般的です。曜日による差を平均化するため、7 日の倍数にします。短期間で打ち切ると、一時的な偏りに引きずられます。期間と数の考え方は 必要な期間 で詳しく説明しています。
アクセスが少ないサイトでは、細かな差を検証するのは難しくなります。その場合は、大きく異なる 2 つの案を比べ、大きな差だけを検出する方針に切り替えます。
結果の判断方法
テストの終了後は、案 A と案 B の数字を比べます。判断のときは、次の 3 点を確認してください。
第 1 に、差が偶然ではないかです。統計的に意味のある差かどうかを判断する考え方を「有意差」と呼びます。ツールによっては、有意水準 95%などが表示されます。95%は、偶然では起こりにくい差であることを示す目安であり、勝ちが確定したという意味ではありません。考え方は 有意差 で解説しています。
第 2 に、期間の途中で結果を見て終了しないことです。数字がよさそうに見えた時点で止めると、偶然の偏りを成果と取り違えやすくなります。あらかじめ決めた期間とアクセス数に達するまで、結果を判断しません。
第 3 に、全体の成果で見ることです。クリック率が上がっても、申込み率が下がっていれば、成果は悪化しています。最終的な目標の指標も確認してください。
差が小さく、有意でなければ、「差がない」という結論も立派な結果です。どちらでも成果が変わらないなら、作業の手間が少ない案を選べます。
LP とリンクで試せる例
LP で試す例
LP の改善では、次のようなテストが実行しやすい例です。
- ファーストビューの見出しを、悩み型と結果型で比べる
- 申込みボタンの文言を、「申し込む」と「内容を見てみる」で比べる
- 料金の表示を、月額中心と日割り中心で比べる
- 利用者の声を、ページの上部に置く案と下部に置く案で比べる
LP 全体を作り替えて比べる場合は、複数の要素が同時に変わります。この場合は、どの要素が効いたかを特定するのではなく、全体として優れた案を選ぶ目的で使います。LP の A/B テスト では、LP に特化したテストの進め方を説明しています。LP そのものの意味は LP の記事を参照してください。
SNS やリンクで試す例
SNS の投稿でも、似た考え方でテストできます。同じ内容の投稿で、冒頭の一文だけを変えて、クリック率を比べる方法です。このとき、投稿時間帯や曜日をそろえるのが難しいため、結果は参考程度に捉えます。リンクごとに別の短縮 URL を使うと、どの投稿のクリックが多かったかを正確に数えられます。
検索エンジンに登録されるページでテストするときは、Google の案内に従います。Google 検索セントラルの ウェブサイトのテストに関するガイド では、検索エンジンと訪問者に別の内容を見せる行為(クローキング)を避ける、別 URL のテストでは rel="canonical" を設定する、転送には一時的な 302 を使う、テストを必要以上に長く続けない、といった点が示されています。
Boostlink のプロでは、A/B テストを使えます。ツールの比較は ツール の記事にまとめています。結果を改善に生かす方法は CVR の改善 にまとめています。
まとめ
A/B テストは、2 つの案を同じ条件で並べ、成果を比べる実験です。仮説を立て、1 回に変えるのは 1 か所とし、影響の大きい要素から試します。十分なアクセスと期間を確保し、途中で結論を急がないことが、偶然に振り回されない条件です。差が出なかった場合も、その結果から学べます。
リンクごとの反応を比べたり、LP の案を試したりする場面では、Boostlink の分析と A/B テストが役立ちます。投稿の反応を多く集めたい場合には、すでに育った SNS アカウントの購入や M&A を扱う Boostshop も選択肢です。購入時は、各プラットフォームの利用規約を確認してください。