ブログ

A/B テストとは?やり方と結果の見方を初心者向けに解説

A/B テストは、2 つの案を同じ期間に並べて見せ、どちらの成果が高いかを比べる方法です。「こちらのほうが良さそう」という感覚ではなく、実際の訪問者の反応で判断できる点が特徴です。

ただし、やり方を誤ると、偶然の差を成果と取り違えて、かえって悪い案を採用してしまいます。この記事では、テストの進め方、要素の選び方、必要なアクセス数と期間、結果の判断方法を順に説明します。最後に、LP やリンクで試せる具体例も紹介します。

A/B テストとは

A/B テストは、案 A と案 B を用意し、訪問者を無作為に振り分けて、成果を比べる実験です。スプリットテストとも呼ばれます。

大切なのは、2 つの案を「同じ時期に」「同じ条件で」見せることです。A を先月、B を今月に出して比べる方法は、A/B テストではありません。曜日、季節、広告の予算、話題の影響で、結果が変わってしまうためです。

比べる対象は、見出し、画像、ボタンの文言や色、料金の見せ方、ページの構成、リンクの転送先など、さまざまです。成果の指標は、クリック率、申込み率(CVR)、購入率などから、目的に合うものを 1 つ決めます。

テストの進め方

テストは、次の 6 つの手順で進めます。

  1. 現状の数字を確認する。今の CVR やクリック率を、基準として記録します。
  2. 課題を見つける。離脱が多い箇所、クリックされない箇所を探します。
  3. 仮説を立てる。「見出しに結果を入れれば、読み進める人が増える」のように、理由を含めて書きます。
  4. 案を作る。仮説を検証できる形で、案 B を用意します。
  5. テストを実行する。条件をそろえて、一定の期間回します。
  6. 結果を判断する。数字を比べ、採用か、見送りかを決めます。

仮説を書くことは、特に重要です。仮説がないテストは、結果が出ても理由が分からず、次の改善に生かせません。「ボタンの色を変えたら増えた」で終わらせず、なぜ増えたのかを考えることが、学びになります。

テストする要素の選び方

テストする要素は、成果への影響が大きいものから選びます。

要素 影響の大きさ テストの例
訴求の中身 大きい 価格を前面に出す案と、効果を前面に出す案
ファーストビューの見出し 大きい 悩みを書く案と、結果を書く案
ボタンの文言 中程度 「申し込む」と「無料で相談する」
画像・動画 中程度 商品の写真と、利用場面の写真
色・配置 小さい場合が多い ボタンの色、位置

最初は、ページの上部で、訪問者が必ず目にする要素から試すのが効率的です。ボタンの色のような小さな変更は、差が出にくく、判断するのに多くのアクセスを必要とします。

一度に変えるのは 1 か所に絞ります。見出しと画像とボタンを同時に変えると、どの変更が効いたのか分かりません。複数の要素を組み合わせて試す手法もありますが、アクセスが少ないうちは向いていません。

必要な期間とアクセス数

A/B テストでは、アクセス数が少ないと、結果が偶然に左右されます。例えば、案 A が 10 人中 1 人、案 B が 10 人中 2 人申し込んだとしても、これは誤差の範囲です。数十人の差で判断せず、十分なアクセスが集まるまで待ちます。

必要な数は、現在の CVR と、見つけたい差の大きさで決まります。CVR が低いほど、また、見つけたい差が小さいほど、多くの訪問者が必要です。例えば、CVR が 3%のページで、1 割の改善(3.3%)を確実に検出するには、案ごとに数万人規模の訪問者が必要になる場合があります。正確な数は、サンプルサイズ計算ツールで確認できます。

期間については、少なくとも 1 週間から 2 週間は続けるのが一般的です。曜日による差を平均化するため、7 日の倍数にします。短期間で打ち切ると、一時的な偏りに引きずられます。期間と数の考え方は 必要な期間 で詳しく説明しています。

アクセスが少ないサイトでは、細かな差を検証するのは難しくなります。その場合は、大きく異なる 2 つの案を比べ、大きな差だけを検出する方針に切り替えます。

結果の判断方法

テストの終了後は、案 A と案 B の数字を比べます。判断のときは、次の 3 点を確認してください。

第 1 に、差が偶然ではないかです。統計的に意味のある差かどうかを判断する考え方を「有意差」と呼びます。ツールによっては、有意水準 95%などが表示されます。95%は、偶然では起こりにくい差であることを示す目安であり、勝ちが確定したという意味ではありません。考え方は 有意差 で解説しています。

第 2 に、期間の途中で結果を見て終了しないことです。数字がよさそうに見えた時点で止めると、偶然の偏りを成果と取り違えやすくなります。あらかじめ決めた期間とアクセス数に達するまで、結果を判断しません。

第 3 に、全体の成果で見ることです。クリック率が上がっても、申込み率が下がっていれば、成果は悪化しています。最終的な目標の指標も確認してください。

差が小さく、有意でなければ、「差がない」という結論も立派な結果です。どちらでも成果が変わらないなら、作業の手間が少ない案を選べます。

LP とリンクで試せる例

LP で試す例

LP の改善では、次のようなテストが実行しやすい例です。

  • ファーストビューの見出しを、悩み型と結果型で比べる
  • 申込みボタンの文言を、「申し込む」と「内容を見てみる」で比べる
  • 料金の表示を、月額中心と日割り中心で比べる
  • 利用者の声を、ページの上部に置く案と下部に置く案で比べる

LP 全体を作り替えて比べる場合は、複数の要素が同時に変わります。この場合は、どの要素が効いたかを特定するのではなく、全体として優れた案を選ぶ目的で使います。LP の A/B テスト では、LP に特化したテストの進め方を説明しています。LP そのものの意味は LP の記事を参照してください。

SNS やリンクで試す例

SNS の投稿でも、似た考え方でテストできます。同じ内容の投稿で、冒頭の一文だけを変えて、クリック率を比べる方法です。このとき、投稿時間帯や曜日をそろえるのが難しいため、結果は参考程度に捉えます。リンクごとに別の短縮 URL を使うと、どの投稿のクリックが多かったかを正確に数えられます。

検索エンジンに登録されるページでテストするときは、Google の案内に従います。Google 検索セントラルの ウェブサイトのテストに関するガイド では、検索エンジンと訪問者に別の内容を見せる行為(クローキング)を避ける、別 URL のテストでは rel="canonical" を設定する、転送には一時的な 302 を使う、テストを必要以上に長く続けない、といった点が示されています。

Boostlink のプロでは、A/B テストを使えます。ツールの比較は ツール の記事にまとめています。結果を改善に生かす方法は CVR の改善 にまとめています。

まとめ

A/B テストは、2 つの案を同じ条件で並べ、成果を比べる実験です。仮説を立て、1 回に変えるのは 1 か所とし、影響の大きい要素から試します。十分なアクセスと期間を確保し、途中で結論を急がないことが、偶然に振り回されない条件です。差が出なかった場合も、その結果から学べます。

リンクごとの反応を比べたり、LP の案を試したりする場面では、Boostlink の分析と A/B テストが役立ちます。投稿の反応を多く集めたい場合には、すでに育った SNS アカウントの購入や M&A を扱う Boostshop も選択肢です。購入時は、各プラットフォームの利用規約を確認してください。