A/B テストの有意差とは？結果を正しく判断する方法と注意点
A/B テストで A 案の CVR が 2.4%、B 案が 2.9% だったとき、B 案を採用してよいのでしょうか。差が偶然ではなく、本当に案の違いから生まれたと言えるかを確かめる考え方が有意差です。この記事では、数式に深入りせず、有意差の意味、偶然との見分け方、必要なサンプル数の考え方、判断の手順、よくあるミスを説明します。
有意差とは
有意差とは、「観測された差が、偶然のばらつきだけでは説明しにくいほど大きい」と判断できる状態を指します。同じ内容のページを 2 つ用意しても、訪問者がランダムに分かれれば、成果率に多少の差は出ます。この自然な差と、案の違いによる差を区別するために、統計的検定を使います。
p 値と有意水準
検定の結果として出る数字が p 値です。p 値は「2 案に本当は差がないとしたとき、今回以上の差が偶然で出る確率」を表します。この値が事前に決めた基準（有意水準）より小さければ、有意差ありと判断します。有意水準には 5%（0.05）がよく使われます。
勘違いしやすい点
p 値が 0.03 だからといって、「B 案が優れている確率が 97%」という意味ではありません。p 値が小さいことは、差が偶然で出にくいことを示すだけです。差の大きさや、ビジネス上の意味は別に考える必要があります。
信頼度という表示
多くのツールは「信頼度 95%」のように表示します。これは多くの場合、有意水準 5% に対応する表示です。ツールごとに計算方法や表現が異なるため、使うツールのヘルプで確認してください。ツール選びはツールの記事で扱っています。
偶然の差と本当の差
偶然の差は、サンプルが少ないほど大きく出ます。コインを 10 回投げて表が 7 回出ても、コインが偏っているとは言えません。1,000 回投げて 700 回表が出れば、偏りを疑うのが自然です。A/B テストも同じで、件数が増えるほど偶然の影響は小さくなります。
例で考える
次の数字は説明用の例です。
| 案 | 訪問数 | 成果数 | 成果率 |
|---|---|---|---|
| A | 100 | 3 | 3.0% |
| B | 100 | 5 | 5.0% |
B 案の成果率は A 案より 2 ポイント高いものの、成果数の差は 2 件です。この程度の差は、偶然でも十分に起こります。同じ成果率のまま訪問数が 10 倍になった場合は、結論が変わる可能性があります。
| 案 | 訪問数 | 成果数 | 成果率 |
|---|---|---|---|
| A | 1,000 | 30 | 3.0% |
| B | 1,000 | 50 | 5.0% |
この件数なら、偶然だけで説明するのは難しくなります。成果率の差が同じでも、件数によって判断が変わるのが有意差の考え方です。
計算の道具
比率の差の検定は、Excel や Google スプレッドシートでも実施できますが、多くの A/B テストツールが計算を自動で行います。計算式を手で書くより、信頼できるツールの結果を使うほうが間違いは減ります。ツールがない場合は、検定用の公開計算ツールを使えます。
必要なサンプル数の考え方
テストを始める前に、必要な件数を見積もります。必要な件数は、次の 3 つで決まります。
| 要素 | 内容 | 件数への影響 |
|---|---|---|
| 現在の成果率 | 元の案の CVR | 低いほど多くの件数が必要 |
| 見つけたい差の大きさ | 最低限検出したい改善幅 | 小さい差を見つけたいほど多く必要 |
| 有意水準と検出力 | 判断の厳しさ | 厳しいほど多く必要 |
目安の考え方
たとえば CVR が 2% で、3% に上がる差を検出したい場合は、1 案あたり数千の訪問が必要になることが一般的です。小さな改善を検出するほど件数が増えます。具体的な件数は、サンプルサイズ計算ツールに現在の CVR と見つけたい差を入力して求めてください。
アクセスが少ない場合
必要件数に届かない場合は、小さな改善を狙うより、大きく違う 2 案を比べます。差が大きいほど少ない件数で検出できるためです。期間の決め方はテスト期間の記事に整理しています。
判断の手順
結果を判断するときは、次の順序で進めると、ミスが減ります。
- テスト開始前に、成果の定義、有意水準、必要件数、期間を決めて記録する
- 決めた件数または期間に達するまで、結果を判断しない
- 達したら、各案の件数、成果率、p 値（または信頼度）を確認する
- 有意差があり、差の大きさが実務的に意味を持つなら採用する
- 有意差がなければ「差があるとは言えなかった」と記録し、次の案に進める
差の大きさも見る
有意差があっても、差が 0.1 ポイントでは、運用の手間に見合わないことがあります。逆に、差が大きくても件数不足なら結論は出せません。有意差の有無と差の大きさの両方で判断してください。
「差がない」の意味
有意差が出なかったことは、「2 案が同じ」を意味しません。「この件数では差を検出できなかった」という意味です。結果を記録するときも、この違いを書いておくと、後で見返したときに誤解がありません。
結果を記録する
テストごとに、仮説、案、期間、件数、結果、判断を 1 行で残しておきます。あとから「なぜこの案にしたのか」を説明できると、改善が積み上がります。
よくある判断ミス
途中で結果を見て止める
数日ごとに結果を確認して、有意差が出た時点で止めると、偶然の差を拾いやすくなります。確認するたびに「どこかで有意になる」機会が増えるためです。事前に決めた件数に達するまで待ってください。
複数の指標を見て、良いものだけ採用する
成果率、クリック率、滞在時間など多くの指標を見ると、どれかは偶然有意になります。判断に使う主要な指標は、事前に 1 つに決めます。
件数が少ないまま結論を出す
数十件のデータで勝敗を決めるのは危険です。件数が少ないときは、「暫定」として扱います。
期間が短すぎる
平日と休日では訪問者の行動が違うことがあります。少なくとも 1 週間を単位に、曜日の偏りが出ないように期間を設定します。
振り分けが偏っている
A 案と B 案で訪問者の質が違うと、案の効果と区別できません。流入元や端末の比率が 2 案で近いかを確認してください。流入元ごとの違いは流入元の分析で確認できます。
一度勝った案を絶対視する
有意差が出た案も、時間が経てば効果が変わることがあります。採用後も数字を追い、下がったら見直します。
例 先ほどの 2 つの表を検定する
前の表の数字（説明用の例）に、2 つの割合の差を調べる一般的な検定（z 検定、両側）を当てはめると、次のようになります。
| 条件 | 訪問数（各案） | 成果数 | z 値 | p 値の目安 | 判断 |
|---|---|---|---|---|---|
| 1 つ目の表 | 100 | 3 と 5 | 約 0.72 | 約 0.47 | 有意差なし |
| 2 つ目の表 | 1,000 | 30 と 50 | 約 2.28 | 約 0.02 | 5%で有意差あり |
成果率は同じ 3.0%と 5.0%でも、訪問数が 100 件なら偶然の範囲、1,000 件なら有意になります。なお 2 つ目の表でも、信頼区間は広く、実際の改善幅が 0.3 ポイントか 3.7 ポイントかは断定できません。大きな投資をする前は、さらに件数を増やして確かめると安全です。
必要件数の計算例
CVR 2%を 3%に上げる差を、有意水準 5%、検出力 80%で見つけたい場合、1 案あたり約 3,800 訪問が必要です。2 案で約 7,600 訪問になります。1 日 200 訪問のサイトなら、38 日かかる計算です。この日数が現実的でないなら、変更幅の大きい案を比べる設計に切り替えます。
よくある質問
有意差が出なかったときは何をしますか
案を採用する根拠が得られなかっただけなので、現状の案を続けても問題はありません。差が小さかったのか、件数が足りなかったのかを記録し、より大きく違う案で再度試します。
検出力とは何ですか
本当に差があるとき、その差を見つけられる確率です。一般には 80%がよく使われます。検出力が低いテストは、効果があっても有意差が出にくくなります。
A/B テストの結果は他のページにも当てはまりますか
当てはまるとは限りません。訪問者の流入元や目的が違えば、反応も変わります。同じ施策を別のページに広げるときは、小さく再検証してください。
まとめ
有意差は、観測された差が偶然とは考えにくいかどうかを判断する考え方です。件数が少ないほど偶然の差が大きく出るため、事前に必要件数を見積もり、決めた件数に達してから判断します。途中で止める、指標を後から選ぶ、件数が足りないまま結論を出す、といったミスを避ければ、結果を信頼できます。
Boostlink のプロプランなら、リンクを複数のリンク先に振り分けて、クリックの数を比較できます。リンク単位でテストを始める場合は、Boostlink が選択肢になります。
テストに使う SNS の発信先を広げたい場合は、アカウントの購入・M&A を扱う Boostshop も検討してください。