多重比較法には複数の種類がありますが、今回はボンフェローニ補正の改良版である”ホルム補正”の概要と計算手順について解説します。ホルム補正を使うことでどこの群間に有意差があるかを正しく判断することができます。
多重比較の問題とホルム補正
多重比較によっておこる”第一種の過誤”
研究や製品開発では複数のグループや条件間の違いを調べることはよくあります。たとえば、新しい薬の効果を調べるために、複数の治療グループを比較することが考えられます。このような場合、それぞれのグループ間の違いを検定するために複数の統計的テストを行いますが、この過程で”多重比較”という問題が生じます。
多重比較とは各グループペアに対して個別にt検定を行うと、全体で多くの検定が行われることになります。このような状況では、誤検出（第一種の過誤）のリスクが高まります。
第一種の過誤と第二種の過誤とは？
第一種の過誤：実際には帰無仮説が真であるにもかかわらず、これを棄却してしまう誤り
第二種の過誤：実際には対立仮説が真であるにもかかわらず、帰無仮説を棄却しない誤り
なぜ第一種の過誤が生じやすくなるのか？
例えば、1つの検定で有意水準を0.05と設定した場合、5%の確率で偶然に有意な結果が出ることになります。これを10回行うと、いずれか1つ以上で第一種の過誤が発生する確率は”1－（1－0.05）10＝0.4”。
つまり、10個の検定を行うと、40%の確率で少なくとも1つの検定で誤った結論が出る可能性があるのです。この問題を解決するために、多重比較補正が必要となります。
多重比較法”ホルム補正”の概要
ホルム補正とは
スウェーデンの統計学者ソースティン・ホルムによって提案された多重比較補正です。この方法は、ボンフェローニ補正の改善版として位置づけられています。ホルム補正は、個々の検定結果のp値を昇順に並べ、最も小さいp値から順にボンフェローニ補正を適用していくというものです。
ホルム補正とボンフェローニ補正の違い
ボンフェローニ補正は全ての検定に対して同じ補正を行いますが、ホルム補正は各検定に対して異なる補正を行います。具体的には、最も小さいp値に対して最も厳しい補正を行い、次第に補正の厳しさを緩めていきます。これにより、ホルム補正はボンフェローニ補正よりも検出力が高まります。
ボンフェローニ補正とホルム補正の選択基準
ホルム補正とボンフェローニ補正はどちらも多重比較による第1種過誤（偽陽性）の制御を目的とした方法です。どちらを使用するかは、以下の要因によって選択することができます。
ボンフェローニ補正の特徴
- 単純で分かりやすい: p値を比較の総数で割るだけなので計算が非常に簡単。
- 保守的: 多重比較の際に非常に厳しく、第1種過誤のリスクを低く抑えることができる。この厳しさゆえに、真の差が見逃されるリスク（第2種過誤）が高まります。
- 小さい要因数: 比較の数が少ない場合（5以下）に適している。
ホルム補正の特徴
- 検出力が高い: ボンフェローニ補正よりも検出力が高く真の差を見つけやすい。
- 段階的な補正: p値の順序に基づいて段階的に補正をかけるため、より柔軟に第1種過誤を制御できる。
- 大きい要因数: 比較の数が多い場合には、ホルム補正がより適している。
ホルム補正の計算方法
ホルム補正を適用するための具体的な手順を以下に示します。
- STEP1各要因のすべての組み合わせについてt検定を使ってt値を求める。
- STEP2全体の有意水準（α）を設定する（一般的には0.05を使う場合が多い）。
- STEP3全てのp値を昇順に並べる。
- STEP4最小のp値に対して、α / (m – k + 1)の補正を行う（kはp値の順位、mは検定の総数）。
- STEP5順次、次のp値に対して補正を行い、補正後の有意水準と比較する。
- STEP6有意でない結果が出た場合、その後の全ての検定結果も有意でないと判断する。
【例題】ホルム補正の計算手順を例題で解説
例題：肥料の効果比較
ある農業研究者が、異なる肥料が植物の成長にどのような影響を与えるかを調査しています。この研究では、5つの異なる肥料（肥料A、肥料B、肥料C、肥料D、肥料E）を用いて植物を育て、その効果を比較するために植物の高さを測定します。
- 肥料Aの植物の高さ（cm）: [15, 16, 14, 15, 16]
- 肥料Bの植物の高さ（cm）: [25, 24, 26, 25, 23]
- 肥料Cの植物の高さ（cm）: [20, 21, 19, 18, 20]
- 肥料Dの植物の高さ（cm）: [30, 29, 31, 30, 32]
- 肥料Eの植物の高さ（cm）: [35, 34, 36, 33, 37]
1．仮説を立てる
帰無仮説（H0）：異なる肥料間で植物の成長（高さ）に差はない。
対立仮説（H1）：異なる肥料間で植物の成長（高さ）に差がある。
2．検定方法を決める
各植物の成長における差があるかどうかを確認するため”両側検定”
3．t値を計算する
4．ｐ値を算出
t値と対応する自由度を用いて、t分布表からp値を算出します。
比較A-B: p ≈ 4.14E-07 比較A-C: p ≈ 1.18E-04
比較A-D: p ≈ 9.58E-09 比較A-E: p ≈ 7.59E-09
比較B-C: p ≈ 1.20E-04 比較B-D: p ≈ 4.20E-05
比較B-E: p ≈ 2.24E-06 比較C-D: p ≈ 3.90E-07
比較C-E: p ≈ 1.08E-07 比較D-E: p ≈ 7.49E-04
5．ホルム補正を行い有意差を判定する
ホルム補正の結果、すべての組み合わせにおいて有意な差が見られました。
