A/B テストのためのサンプルサイズ計算
- A/Bテストの有効性は正しいサンプルサイズの選定に大きく依存する。
- カイ二乗検定および独立標本t検定における、サンプルサイズ計算方法を以下に示す。
■ 前提
- サンプルサイズを決定する際には、実験の 検出力(第二種の過誤のリスクを制御)、有意水準(第一種の過誤のリスク)、効果量(実験群と対照群の差)を考慮する。
- これらのパラメータを使ったサンプルサイズ計算とテスト設計は、テストの信頼性と有効性を確保するために重要。
- 詳しい説明は、別ページ 有意水準と検出力 を参照。
■ Python スクリプト
◆ カイ二乗検定の場合
※ 効果量(Cohen’s w)は以下で求める
※ 実行例
◆ 独立標本 t 検定の場合
※ 効果量(Cohen’s d)は以下で求める
※ 実行例
■ 備考
- A/B テストに必要なサンプルサイズは、期待する効果量からどの程度必要か、上記のやり方で手に入る。
- 必要な「テスト期間」についても、上記の効果量を正しく検定するサンプルサイズを得るのに、どの程度の期間を要するのか、から概算可能。