多重比較法には複数の種類がありますが、今回は補正方法が単純でわかりやすく、使用頻度の高い”ボンフェローニ補正”の計算手順について解説します。ボンフェローニ補正を使うことでどこの群間に有意差があるかを正しく判断することができます。
多重比較の問題とボンフェローニ補正
多重比較によっておこる”第一種の過誤”
研究や製品開発では複数のグループや条件間の違いを調べることはよくあります。たとえば、新しい薬の効果を調べるために、複数の治療グループを比較することが考えられます。このような場合、それぞれのグループ間の違いを検定するために複数の統計的テストを行いますが、この過程で”多重比較”という問題が生じます。
多重比較とは各グループペアに対して個別にt検定を行うと、全体で多くの検定が行われることになります。このような状況では、誤検出（第一種の過誤：実際には帰無仮説が真であるにもかかわらず、これを棄却してしまう誤り）のリスクが高まります。
なぜ第一種の過誤が生じやすくなるのか？
例えば、1つの検定で有意水準を0.05と設定した場合、5%の確率で偶然に有意な結果が出ることになります。これを10回行うと、いずれか1つ以上で第一種の過誤が発生する確率は”1－（1－0.05）10＝0.4”。
つまり、10個の検定を行うと、40%の確率で少なくとも1つの検定で誤った結論が出る可能性があるのです。この問題を解決するために、多重比較補正が必要となります。
多重比較法”ボンフェローニ補正”の概要
ボンフェローニ補正とは
複数の統計的検定を行う際の誤検出率（第一種の過誤）を制御するための方法です。
ボンフェローニ補正の基本原理は非常にシンプルで、全体の誤検出率を一定に保つために、各個別の検定の有意水準を下げることで、誤って有意と判断する確率を抑えます。
具体的には、全体の有意水準（α）をm回の検定に分割し、各検定の有意水準をα/mとします。
ボンフェローニ補正を使用する場面
3群以上かつ5群以下の群相互の母平均の有意差を調べるときに使用します。5群以上の場合は検出力が落ちるため他の補正方法を適用しましょう。また、ボンフェローニ補正は”対比較”という比較する群すべての組み合わせについて検討する方法です。例えばA,B,Cの組み合わせA-B,A-C,-B-Cの3通り全てを比較したい場合に有効です。
ボンフェローニ補正の計算方法
ボンフェローニ補正を適用するための具体的な手順を以下に示します。
- STEP1各要因のすべての組み合わせについてt検定を使ってt値を求める。
- STEP2全体の有意水準（α）を設定する（一般的には0.05を使う場合が多い）。
- STEP3行う検定の数（m）を確認する。
- STEP4補正後の有意水準を計算する。補正後の有意水準 = α / m
- STEP5各検定のp値と比較する。p値が補正後の有意水準より小さい場合、その結果は有意と判断。
【例題】ボンフェローニ補正の計算手順を例題で解説
例題：3種の教育方法の効果比較
ある学校で異なる教育方法が生徒の成績にどのような影響を与えるかを調査しています。3つの異なる教育方法（方法A、方法B、方法C）を用いて生徒を指導し、その効果を比較することにしました。調査のために、各教育方法を使用して指導された5人の生徒の成績データが以下のように収集されました。これら3種の教育方法について有意差があるか検定します。
- 教育方法Aの生徒の成績: [70, 72, 68, 71, 73]
- 教育方法Bの生徒の成績: [85, 83, 84, 86, 87]
- 教育方法Cの生徒の成績: [78, 77, 76, 75, 79]
1．仮説を立てる
【方法Aと方法Bの比較】
帰無仮説（H0）：方法Aと方法Bの間に成績の平均値に差はない（μA=μB）
対立仮説（H1）：方法Aと方法Bの間に成績の平均値に差がある（μA≠μB）
【方法Aと方法Cの比較】
帰無仮説（H0）：方法Aと方法Cの間に成績の平均値に差はない（μA=μC）
対立仮説（H1）：方法Aと方法Cの間に成績の平均値に差がある（μA≠μC）
【方法Bと方法Cの比較】
帰無仮説（H0）：方法Bと方法Cの間に成績の平均値に差はない（μB=μC）
対立仮説（H1）：方法Bと方法Cの間に成績の平均値に差がある（μB≠μC）
2．検定方法を決める
各ペアの成績の平均値に差があるかどうかを確認するため”両側検定”
3．t値を計算する
4．ｐ値を算出
t値と対応する自由度を用いて、t分布表からp値を算出します。
方法AとBの比較のp値：1.35e-6
方法AとCの比較のp値：5.30e-4
方法BとCの比較のp値：4.37e-5
5．ボンフェローニ補正を行い有意差を判定する
全体の有意水準を0.05と設定し、ボンフェローニ補正を適用します。
補正後の有意水準＝0.05/3＝0.0167
方法AとBの比較：p値=1.35e-6 < 補正後有意水準0.0167
方法AとCの比較：p値=5.30e-4 < 補正後有意水準0.0167
方法BとCの比較：p値=4.37e-5 < 補正後有意水準0.0167
ボンフェローニ補正後、すべての比較が統計的に有意であることがわかります。つまり、各教育方法間で生徒の成績に有意な差があると言えます。
