A/B テストに必要な期間とアクセス数の決め方、途中で止めない理由
A/B テストを始めたものの、いつ終わらせるべきかが分からない、という悩みは多くあります。早く終えると結果が不正確になり、長く続けると機会損失になります。この記事では、期間を決める考え方、曜日や時間帯の変動、必要なアクセス数の見積もり方、途中で止めてはいけない理由、アクセスが少ないときの工夫を説明します。基礎は A/B テストの記事を参照してください。
期間を決める考え方
期間は、「日数」ではなく「必要な件数に達するまで」と「完全な週の単位」の 2 つの条件で決めます。
2 つの条件
- 各案に必要な訪問数または成果数が集まっている
- 曜日ごとの偏りを均すため、少なくとも 1 週間（7 日）の倍数になっている
件数が足りていても 3 日で止めると、特定の曜日に偏った結果になります。逆に 7 日経っても件数が足りなければ、延長が必要です。
事前に決める
開始前に、終了条件を書き出しておきます。たとえば「各案 3,000 訪問に達し、かつ 14 日以上経過したら判断する」のように決めます。事前に決めておけば、結果を見ながら終了のタイミングを調整する誘惑を避けられます。
目安の期間
多くのケースで、2 週間から 4 週間が現実的な範囲です。ただし、アクセス数や成果率によって大きく変わります。商品の購入サイクルが長い場合は、検討期間を含めて余裕を持たせます。
曜日・時間帯による変動
訪問者の行動は、曜日や時間帯で変わります。平日の昼は仕事の合間、夜や休日はじっくり読む、といった違いがあるためです。
偏りが結果を歪める例
月曜日から木曜日の 4 日間だけテストをすると、休日の行動が結果に反映されません。休日に強い案が、不利に評価される可能性があります。
| 要素 | 変動の例 |
|---|---|
| 曜日 | 平日と休日で、読了率や成果率が異なる |
| 時間帯 | 通勤時間、昼休み、夜で端末や集中度が違う |
| 月内の時期 | 給料日前後、月末で購買意欲が変わる |
| イベント | セール、祝日、SNS での話題 |
対策
少なくとも 1 週間、できれば 2 週間以上を 1 サイクルとして走らせます。また、テスト中に大きな告知やセールを重ねると、2 案への影響が揃わない場合があります。特別な施策の日程と、テスト期間が重ならないように計画してください。
流入元の変動
SNS で大きな投稿があった日は、普段と違う層が流入します。そうした日は結果に偏りが出るため、記録しておき、判断の際に確認します。流入元の分け方は流入元の分析が参考になります。
必要なアクセス数の見積もり
必要なアクセス数は、現在の成果率と、見つけたい改善幅で決まります。
見積もりの手順
- 現在の成果率（CVR）を確認する
- 「この程度改善すれば価値がある」という最小の改善幅を決める
- サンプルサイズ計算ツールに入力して、1 案あたりの必要件数を求める
- 1 日あたりの訪問数で割って、必要な日数を出す
計算の例
次の数字は説明用の例です。1 案あたり必要な訪問数が 4,000、テスト対象のページへの訪問が 1 日 200 件、2 案に半分ずつ振り分ける場合、1 案あたり 1 日 100 件になります。
4,000 ÷ 100 = 40 日
つまり約 6 週間が必要です。この見積もりで長すぎると分かれば、見つけたい改善幅を大きくする、対象ページを訪問の多いものに変える、といった調整をします。
件数の捉え方
訪問数だけでなく、成果数も確認します。訪問が多くても成果が少ないと、比較に使える情報が足りません。成果が各案で数十件以上あるかを、一つの目安にしてください。
有意差との関係
必要な件数は、有意差の判定基準とも関係しています。判断の方法は有意差の記事で説明しています。
途中で止めてはいけない理由
偶然の差を拾いやすい
テストの序盤は件数が少なく、結果が大きく揺れます。序盤に差が出ても、件数が増えるにつれて消えることは珍しくありません。有意になった瞬間に止めると、偶然を成果と誤認します。
確認の回数が増えるほど誤りが増える
毎日結果を確認して、有意差が出たら止める運用では、確認のたびに誤判定の機会が増えます。事前に決めた終了条件に達するまでは、結果を見ても判断しない、というルールを徹底してください。
途中で変更しない
テスト中にページの文言や配分を変えると、前半と後半で条件が変わり、結果の意味がなくなります。変更したい場合は、テストを一度終了して、新しいテストとして最初からやり直します。
例外として止めてよい場合
明らかな不具合、たとえばボタンが押せない、表示が崩れる、といった問題が見つかった場合は、すぐに止めて構いません。成果への影響が大きい不具合は、統計よりも先に対処します。
アクセスが少ないときの工夫
アクセスが少ないサイトでは、必要な件数に届くまで何か月もかかります。その場合は、設計を変えます。
大きく違う 2 案を比べる
小さな文言の変更は、差が小さく、検出に多くの件数が必要です。訴求の軸や構成を大きく変えた 2 案なら、差が大きく出やすくなります。
成果の段階を手前にする
最終成果の件数が少ないなら、手前の行動（ボタンのクリック、スクロール到達）を成果にします。件数が増えるため、判断しやすくなります。ただし、手前の行動が最終成果と連動しているかは、別に確認が必要です。コンバージョン計測の記事で、成果の決め方を説明しています。
流入を集中させる
複数の LP に分散している訪問を、テスト対象のページに集めます。SNS の投稿から、テスト対象のリンクに集中的に誘導するのが典型的な方法です。
数字だけに頼らない
アクセスが少ないうちは、統計的な判断が難しいため、ヒートマップやユーザーの声などの定性的な情報を併用します。LP のテストを始める前に、LP の基本的な改善点を直すだけでも、効果が出やすくなります。
リンク単位のテスト
ページを書き換えずに、リンクの遷移先を 2 つ用意して比べる方法もあります。ツールの選び方はツールの記事にまとめています。
期間を決める実例
次の数字は説明用の例です。プロフィールのリンク先を A 案と B 案の 2 つに分けて、申込みボタンのクリック率を比べるとします。
| 項目 | 数字 |
|---|---|
| 1 日のリンクへの訪問 | 150 件 |
| 振り分け | A 案と B 案に 75 件ずつ |
| 現在のクリック率 | 4% |
| 見つけたい改善 | 4% から 6% |
| 1 案あたりの必要な訪問（計算ツールの出力例） | 約 1,100 件 |
1,100 ÷ 75 は約 15 日です。ここでは 7 日の倍数に切り上げて、21 日を終了条件にします。「21 日経過し、かつ各案 1,100 訪問以上」と事前に書いておけば、途中で数字が良く見えても、判断を待てます。
開始前のチェックリスト
- 成果の定義（クリック、申込みなど）を 1 つに決めたか
- 終了条件を日数と件数の両方で書いたか
- テスト期間中に、セールや大きな告知の予定がないか
- 2 案を同時に配信し、先後で比べていないか
- 計測が両方の案で動いているか、開始前に自分で踏んで確認したか
よくある失敗と対処
前半と後半で案を入れ替えてしまう
A 案を 1 週間、続けて B 案を 1 週間流し、結果を比べる方法は、時期の違いが混ざるため正しい比較になりません。2 案は必ず同じ期間に並行して配信します。
数字が接近したまま終わる
終了条件に達しても差が小さい場合は、「差はなかった」という結論も有益です。どちらを選んでも成果に影響が少ないと分かれば、運用しやすい案を選べます。続きの検証は、より大きく違う案で新しく始めてください。
まとめ
A/B テストの期間は、必要な件数に達することと、1 週間単位で曜日の偏りを均すことの 2 つで決めます。必要なアクセス数は、現在の成果率と見つけたい改善幅から、サンプルサイズ計算ツールで見積もります。途中で結果を見て止めると偶然を拾うため、終了条件を事前に決めて守ってください。アクセスが少ない場合は、大きく違う案を比べる、成果を手前の行動にする、流入を集中させる、といった工夫が有効です。
Boostlink のプロプランなら、リンクの遷移先を複数用意して、クリックの差を比べられます。期間を決めてテストを回したい場合は、Boostlink を活用してください。
テストに使う発信の基盤を広げたい場合は、アカウントの購入・M&A を扱う Boostshop も選択肢になります。