t 検定の種類

  • t 検定(Student の t 検定)は、2群間の平均値に統計的に有意な差があるかどうかを判断するための統計手法。
  • データが正規分布をしているか、またサンプル間に依存関係が存在するか(サンプルが独立しているか、それとも何らかの関係性があるか)を確認することが重要。
  • データの特性や、比較したい群間の関係性に基づき、基本的に次の3つの主なt検定の中から選択する。

1. 独立二標本 t 検定(Independent two-sample t-test)

■ 目的

  • 2つの独立した群 の平均値が統計的に有意に異なるかどうかを検定する。

■ 使用条件

  • 2つのサンプルが独立していて、各群が正規分布に従い、分散が等しい(等分散を仮定したt検定)かどうかを検討する必要がある。
  • 分散が等しくない場合はテスト設計を修正する。(等分散でないt検定、Welchのt検定

■ 備考

  • Web 系の A/B テストであれば、主にこれが選択される。
  • この検定は、各サンプルが独立した2つの異なるグループのデータセット間で平均値に統計的に有意な差があるかどうかを見る。
  • 一方のグループのサンプルが他方のグループのサンプルに直接関連していない状況を分析するため「対応のないt検定」とも呼ばれる。

2. 対応のある t 検定(Paired t-test)

■ 目的

  • 同じ対象に対して2回測定 した場合など、対応のある2つの測定値の平均値が統計的に有意に異なるかどうかを検定する。

■ 使用条件

  • 2回の測定が同一の対象群から得られ、これらの差が正規分布に従うと考えられる場合に使用する。
  • 例えば、治療前後の効果の比較や、同じ人に対する異なる条件下でのテスト結果の比較など。
  • ユーザー群を分ける Web 系の A/B テストでは見かけない。

3. 一標本 t 検定(One-sample t-test)

■ 目的

  • 一つのサンプル群の平均値 が特定の値(通常は理論値や期待値)と統計的に有意に異なるかどうかを検定する。

■ 使用条件

  • サンプルデータが正規分布に従い、検定したい平均値が明確な場合に使用する。
  • 例えば、クラスのテストの平均点が全国平均と異なるかどうかを検定する場合など。
  • ユーザー群を分ける Web 系の A/B テストでは見かけない。