統計的仮説検定

p値が0.06だったら?有意水準ぎりぎりの判断

記事内に広告が含まれています。

この記事でわかること

  • p値が0.06のように有意水準ぎりぎりのときの正しい判断手順
  • やってはいけない対応(有意水準の後出し変更・データの追い足し)
  • 効果量・信頼区間・検出力を使った建設的な次の一手

📌 前提知識:p値とは|有意差の意味と0.05の根拠を読んでいると理解しやすくなります

新しい接着工法で製品の強度が上がるか、現行工法と比べる試験をしたとします。平均は確かに新工法のほうが高い。ところがt検定にかけると、出てきたp値は0.06でした。

有意水準5%で見れば、0.06は「有意ではない」判定です。上司から「有意差なしなら、新工法には効果がないってこと?」と聞かれて、返答に詰まる。この0.06という値、捨てるには惜しいし、かといって「有意」と言い張るわけにもいきません。

この記事では、p値が0.05のすぐ上に出てしまったときに、何を確認し、どう報告し、何をやってはいけないのかを整理します。結論を先に言うと、0.06を「効果なし」と切り捨てるのも、無理やり「有意」に持っていくのも、どちらも間違いです。

p=0.06をどう扱う?まず押さえる3つの原則

具体的な対処に入る前に、判断の土台になる原則を確認します。ここがずれると、この後の対応をすべて誤ります。

原則1:0.05は慣習であって、物理的な境界ではない

有意水準5%は、フィッシャーが提案して以来広く使われてきた慣習的な基準です。自然界に「0.05を境に何かが切り替わる」という法則があるわけではありません。

p=0.049とp=0.051を比べても、データが語っている中身にほとんど違いはありません。それなのに、前者は「有意」、後者は「有意でない」と正反対の札が付く。この線引きは便宜的なものだと理解しておくことが出発点です。

原則2:「有意でない」は「差がない」ではない

検定で有意にならなかったとき、正しい解釈は「帰無仮説(差がない)を棄却できなかった」までです。「差がないことを証明した」ではありません。

有意にならない理由は2つ考えられます。本当に差がないか、差はあるのにそれを検出できるだけのデータが足りないか。この2つを区別せずに「有意でない=効果なし」と結論するのは、第2種の誤り(ぼんやり者)を見落とす典型的なミスです。

原則3:有意水準は結果を見る前に決めておく

有意水準や検定の向き(両側か片側か)は、データを取る前に決めるのが鉄則です。p=0.06を見てから「今回は0.10で判定しよう」と基準を動かすのは、後述するやってはいけない対応の代表格です。

なぜp=0.06になるのか|サンプルサイズと検出力

p値は、2つの要素で決まります。効果の大きさ(実際の差の程度)と、サンプルサイズ(データの数)です。

同じ大きさの差でも、データが少なければp値は大きくなり、データが多ければ小さくなります。つまりp=0.06は、「効果が小さいから」ではなく「サンプルサイズが足りないから」出ている可能性が十分にあります。

ここを確かめないまま「有意でないから効果なし」と報告してしまうと、本当は使える改善策を捨てることになりかねません。実際の数字で見てみましょう。

例題|新工法の接着強度でp=0.06が出たケース

現行工法と新工法で、接着強度(N/mm²)を各10サンプルずつ測定しました。結果は次のとおりです。

サンプル数 平均 平均の差
現行工法 10 420.0 10.0
新工法 10 430.0

2群のばらつきをまとめたプールした標準偏差は11.2でした。対応のない2標本のt検定(等分散を仮定)で検定します。検定統計量は次の式です。

\[t = \frac{\bar{x}_1 – \bar{x}_2}{s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\]

ここで \(s_p\) はプールした標準偏差、\(n_1, n_2\) は各群のサンプル数です。Excelでは、生データがあれば関数一発でp値まで出せます:

=T.TEST(現行の範囲, 新工法の範囲, 2, 2)(第3引数2=両側、第4引数2=等分散の2標本)

値を代入すると、標準誤差は \(11.2 \times \sqrt{1/10 + 1/10} = 5.01\)、t値は \(10.0 / 5.01 = 2.00\)(自由度18)です。この t値に対応する両側p値は約0.06です。Excelなら t値から直接も求められます:

=T.DIST.2T(2.00, 18) → 0.061

5%で見れば有意ではありません。ですが、これで話を終わらせないことが大事です。ここから効果量と信頼区間を確認します。

効果量を見ると「効果は小さくない」

効果の大きさそのものを表す指標が効果量です。2群の平均差の場合、代表的な指標がCohen’s dで、平均差をプールした標準偏差で割って求めます。

\[d = \frac{\bar{x}_1 – \bar{x}_2}{s_p} = \frac{10.0}{11.2} \approx 0.89\]

Excelに生データがあれば、プールした標準偏差は =SQRT(((10-1)*VAR.S(現行の範囲)+(10-1)*VAR.S(新工法の範囲))/(10+10-2)) で求め、平均差をその値で割ればdが出ます。

d=0.89は、Cohenの目安(0.2=小・0.5=中・0.8=大)では「大」に相当します。効果は決して小さくないのに有意にならなかった。これは効果がないのではなく、サンプルサイズが足りていないサインです。効果量の求め方は効果量(Cohen’s d・η²)の求め方で詳しく解説しています。

信頼区間を見ると「効果ゼロとは言い切れない」

平均差の95%信頼区間も計算しておきます。信頼区間は「平均差 ± t臨界値 × 標準誤差」で求めます。自由度18のt臨界値は =T.INV.2T(0.05, 18) で2.101と得られます。これを代入すると次のとおりです。

95%信頼区間 = 10.0 ± 2.101 × 5.01 = −0.5 〜 20.5

区間が0をまたいでいるので、有意でないという検定結果と整合します。ただし注目したいのは上限です。真の差は最大で20.5もあり得る。つまり「効果はゼロだ」と結論するには幅が広すぎるのです。信頼区間の求め方は信頼区間の求め方をご覧ください。

p=0.06のときの建設的な次の一手

0.06をどう扱うか。捨てるのでも言い張るのでもなく、次の3つで前に進めます。

1. 効果量と信頼区間を併記して報告する

「p=0.06で有意ではなかった」だけの報告は情報が足りません。「p=0.06、効果量d=0.89(大)、平均差の95%信頼区間は−0.5〜20.5」とセットで示せば、読み手は「効果はありそうだがデータ不足」という実態を正しく受け取れます。

2. 検出力から必要なサンプルサイズを再計算する

今回の効果量d=0.89を前提に、検出力80%を確保するために必要なサンプル数を見積もります。目安の式は「1群あたり \(n \approx 16 / d^2\)」です。

\(16 / 0.89^2 \approx 20\) なので、1群あたり約20サンプル、いまの10から倍増が必要とわかります。追試を計画してデータを揃えれば、この効果は有意に届く見込みが立ちます。考え方は統計的検出力(パワー分析)サンプルサイズの決め方で解説しています。

3. 実務的な意味の大きさで判断する

統計的有意性とは別に、「その差が現場で意味を持つか」も考えます。接着強度が平均10 N/mm²上がることが、コストや工数に見合う改善なのか。意味のある差なら、有意にならなかったからと切り捨てず、追試の価値ありと判断できます。

有意差が出ないときの見直しは、有意差が出ないときの確認7項目にチェックリストとしてまとめています。

やってはいけない3つの対応

p=0.06を「有意」に見せかけようとする操作は、どれも結論をゆがめます。次の3つは避けてください。

NG1:結果を見てから有意水準を0.10に上げる

0.06を有意にしたいがために、後出しで基準を0.10に緩める。これは検定のルール違反です。有意水準は事前に決めるもので、都合よく動かせば第1種の誤り(本当は差がないのに差ありと判定する確率)が跳ね上がります。

NG2:有意になるまでデータを追加する

「あと数個データを足せば0.05を切るかも」と、有意が出た時点で測定をやめるやり方(オプショナルストッピング)もNGです。計画的な追試とは違い、有意が出るまで覗き見しながら足すと、偶然の有意を拾いやすくなります。追試をするなら、必要サンプル数を先に決めてから一括で取り直します。

NG3:有意になるサブグループを探す

全体で有意にならないので、「この条件のデータだけなら有意」という切り口を探し回るのも危険です。多くの切り口を試せば、そのうちどれかは偶然有意になります。検定の向きを事後に両側から片側へ変えるのも同種の操作です。片側・両側の扱いは片側検定と両側検定の違いを確認してください。

まとめ

  • 0.05は慣習的な基準。p=0.06を「効果なし」と切り捨てるのは早計
  • 「有意でない」は「差がない」ではない。サンプルサイズ不足で0.06になっていないか確認する
  • 効果量・信頼区間を併記して報告し、必要サンプル数を再計算して追試を計画する
  • 有意水準の後出し変更、有意が出るまでのデータ追加、サブグループ漁りはやってはいけない

ひとことで言えば、p=0.06は「結論を出す値」ではなく「次の一手を考える値」です。効果量が大きいのに有意でないなら追試へ、効果量も小さいなら実務的に無視できる差と判断する。この見極めができれば、ぎりぎりのp値に振り回されなくなります。

p値そのものの意味はp値とは|有意差の意味と0.05の根拠で、検定の全体像は仮説検定の考え方と手順で解説しています。あわせてご確認ください。さらに体系的に学びたい方向けに、レベル別のおすすめ書籍を統計学・実験計画法のおすすめ本まとめで紹介しています。

タイトルとURLをコピーしました