A/Bテスト計算

A/Bテストは、Webページ・メール・機能・その他のエクスペリエンスの2つのバージョンを比較し、特定の指標でどちらがより良いパフォーマンスを発揮するかを判定する対照実験です。コントロール群はオリジナルバージョン（A）を、バリアント群は変更バージョン（B）を体験します。統計的有意性分析は、2群間で観察されたパフォーマンスの差が実際の効果なのか、偶然の変動で説明できるものなのかを判定します。適切な有意性検定なしでは、企業は実際のユーザー行動の違いではなくノイズに基づいて意思決定するリスクがあります。

二標本比率のZ検定の仕組み

二標本比率のZ検定は、2つのグループ間のコンバージョン率を比較する標準的な統計検定です。まず各グループのコンバージョン率をコンバージョン数を訪問者数で割って算出し、次に両グループのデータを統合してプール比率を計算します。Z値は、2つの比率の差がゼロから標準誤差何個分離れているかを測定します。

計算式はZ = (p2 - p1) / sqrt(p_pool × (1 - p_pool) × (1/n1 + 1/n2))です。p1、p2はコントロールとバリアントのコンバージョン率、p_poolはプールコンバージョン率、n1、n2はサンプルサイズです。Z値の絶対値が大きいほど、2群が本当に異なるコンバージョン率を持っているというエビデンスが強いことを示します。

p値と信頼水準の理解

p値は、実際には2群間に差がないと仮定した場合に、観察された差と同等以上の差が生じる確率を表します。p値が0.03とは、帰無仮説（差なし）が正しい場合にこの結果が観察される確率が3%であることを意味します。p値が小さいほど、帰無仮説に対するエビデンスが強いことを示します。

信頼水準は有意と判定するための閾値を決定します。95%の信頼水準ではp値が0.05未満のとき有意と判定します。90%では閾値は0.10、99%では0.01です。高い信頼水準を選択すると偽陽性（実際には差がないのに差があると判定）のリスクは低減しますが、偽陰性（存在する差を検出できない）のリスクが増大します。

信頼水準の選択は、誤った判断のコストに基づくべきです。価格変更のような高リスクの変更には、偽陽性のコストが大きいため99%の信頼水準が適切な場合があります。ボタンの色変更のような低リスクの判断には、90%または95%で十分な場合があります。

相対的リフトと実用的有意性

相対的リフトは、コントロールに対するバリアントの改善割合を測定します。（バリアント率 − コントロール率）÷ コントロール率 × 100で計算します。相対的リフトが23%とは、バリアントがコントロールより23%高い率でコンバージョンしたことを意味します。相対的リフトはビジネスの文脈で改善の大きさを伝えるのに有用です。

統計的有意性と実用的有意性は異なる概念です。テストが統計的に有意（差が偶然によるものではない可能性が高い）であっても、実用的な効果が非常に小さい場合があります。十分に大きなサンプルサイズがあれば、ごくわずかな差でも統計的に有意になります。企業は両方を評価する必要があります。差は実際に存在するか（統計的有意性）、そしてそれは重要なほど大きいか（実用的有意性）。コンバージョン率の0.1%の改善は数百万人の訪問者で統計的に有意かもしれませんが、変更の実装コストに見合わない可能性があります。

サンプルサイズと統計的検出力

サンプルサイズはA/Bテスト設計において最も重要な要因のひとつです。サンプルサイズが不足したテストは実際の差を検出する統計的検出力が不足し、結論の出ない結果をもたらします。必要なサンプルサイズは、ベースラインコンバージョン率、最小検出効果量（検出に値する最小の改善）、信頼水準、望ましい統計的検出力（通常80%）に依存します。

訪問者数が少なすぎるテストの実施は、一般的に2つの問題のいずれかを引き起こします。実際の改善を検出できない（偽陰性）か、ランダムな変動が有意に見えたときにテストを早期に停止してしまうかです。どちらの結果も最適でない意思決定につながります。テスト開始前に必要なサンプルサイズを計算し、そのサイズに達するまでテストを継続することで、より信頼性の高い結果が得られます。

最小検出効果量が小さくなるほど必要なサンプルサイズは増大します。1%の相対的改善を検出するには、20%の改善を検出するよりもはるかに大きなサンプルが必要です。これは小さな効果がランダムなノイズと区別しにくいためです。企業は実用的に意味のある最小の効果を決定し、それに応じてテストのサイズを設定すべきです。

A/Bテストのよくある落とし穴

テストが計画されたサンプルサイズに達する前に結果を確認すること（ピーキング）は、A/Bテストで最もよく見られる間違いのひとつです。テスト初期にはランダムな変動が有意に見える結果を生む場合があります。有意に見えた時点でテストを停止する（任意停止と呼ばれる）慣行は、偽陽性率を名目の信頼水準をはるかに超えて膨張させるため、特に問題です。

同じページやユーザーフローで複数のテストを同時に実行する際、テスト間の相互作用を考慮しないと誤解を招く結果になる可能性があります。テストAが見出しを変更し、テストBがCTAボタンを変更する場合、これらの変更間の相互作用が両方の結果に影響することがあります。重複するテストを実行する場合は、相互作用効果の可能性を考慮し、適切な統計手法でそれを考慮してください。

選択バイアスは、コントロール群とバリアント群が真にランダムでない場合に発生します。時間帯の効果、デバイスタイプの違い、地理的な偏りはすべて、テスト結果を交絡させる体系的な群間差を導入する可能性があります。ユーザーレベルでの適切なランダム化と、主要な次元でのグループ間のバランスチェックが選択バイアスの防止に役立ちます。

異なる統計手法を使う場面

二標本比率のZ検定はコンバージョン率（二値アウトカム：コンバージョンしたかしないか）を比較する場合に適切です。訪問者あたりの収益やページ滞在時間のような連続指標を比較する場合は、データの分布に応じてt検定やマン・ホイットニーU検定がより適切な場合があります。

ベイジアンA/Bテストはp値ではなく、どちらのバージョンが優れているかの確率を提供する代替フレームワークです。差が統計的に有意かどうかを問う代わりに、観察されたデータを前提としてバリアントがコントロールより優れている確率のような問いに答えます。この枠組みがビジネスの意思決定により自然に対応すると考えるチームもあります。

逐次検定法は継続的なモニタリングによる妥当な推論を可能にし、ピーキング問題に対処します。データの蓄積に伴い有意性の閾値を調整し、全体の偽陽性率を維持します。テストをリアルタイムでモニタリングし、できるだけ早く意思決定する必要があるチームにとって、逐次法は早期停止への統計的に妥当なアプローチを提供します。