この記事でわかること
- 「有意差なし」を正しく解釈する考え方（差がない、ではない）
- 有意差が出ないときに確認する7項目のチェックリスト
- サンプルサイズ・効果量・前提など原因の切り分け方
📌 前提知識：仮説検定の考え方と手順を読んでいると理解しやすくなります
改善前と改善後で効果があるはずなのに、t検定のp値が0.08で有意差なし。上司には「効果あり」と報告したいのに、統計が味方してくれない。品質改善やR&Dの現場で誰もが一度はぶつかる壁です。
ここで一番やってはいけないのが、「有意差が出なかった＝差がない」と結論づけることです。有意差が出ない原因は「本当に差がない」だけではありません。この記事では、p値が0.05以上になったときに確認すべき7項目を、原因の切り分け順に解説します。
大前提｜「有意差なし」は「差がない」ではない
チェックリストに入る前に、絶対に押さえておくべき考え方があります。統計的仮説検定は「差がある」ことを示す仕組みで、「差がない」ことは証明できません。
p ≥ 0.05は「帰無仮説（差がない）を棄却できなかった」だけで、「差がないと証明された」わけではありません。証拠が足りなかったのか、本当に差がないのか、この時点では区別できないのです。「有意差なし」を「差がない」と言い切るのは、検定でもっとも多い誤解です。第1種・第2種の誤りの関係は第1種の誤りと第2種の誤りで解説しています。
この前提の上で、「証拠が足りなかった」可能性を7項目で潰していきます。
有意差が出ないとき確認する7項目
① サンプルサイズ・検出力は足りているか
最も多い原因です。データ数が少ないと、本当に差があっても検定が拾えません（第2種の誤り）。差を検出する能力を検出力と呼び、一般に0.8以上が目標です。検出力が不足していないかは統計的検出力（パワー分析）で確認できます。
必要なサンプルサイズの目安は、効果量d（後述）を使って1群あたり n ≈ 16 / d² でざっくり見積もれます。効果量が小さいほど必要数は跳ね上がります。
| 効果量d | 必要n（1群あたり・目安） |
|---|---|
| 0.8（大） | 約25 |
| 0.5（中） | 約64 |
| 0.2（小） | 約400 |
各群10個程度で「差が出ない」なら、まず数が足りていない可能性を疑ってください。詳しい計算はサンプルサイズの決め方にあります。
② 効果量は実質的に意味があるか
逆に、差そのものが小さいケースです。効果量は差の大きさを標準偏差で割った指標で、2群なら次で求めます。
\[d = \frac{\bar{x}_1 – \bar{x}_2}{s}\]
Excelでは平均差を標準偏差で割ります：=(AVERAGE(A:A)-AVERAGE(B:B))/STDEV.S(全データ)。効果量が小さければ、統計的に有意でなくても実務的に無視できる差かもしれません。逆に効果量は大きいのにp値が出ないなら、原因は①のサンプル不足です。効果量の求め方は効果量（Cohen’s d・η²）の求め方を参照してください。
③ ばらつき（測定誤差）が大きすぎないか
データのばらつきが大きいと、差がノイズに埋もれます。特に見落としがちなのが測定システム自体のばらつきです。測定のばらつきが大きければ、真の差があっても検出できません。測定誤差の評価はゲージR&Rで確認できます。
④ 検定の選択は正しいか
検定の選び方を間違えると検出力が落ちます。よくあるのが、対応のあるデータ（同じサンプルの前後）に対応のないt検定を使ってしまうケースです。対応関係を正しく扱うだけで有意になることもあります。手法の選択は統計的検定の選び方で確認してください。
⑤ 前提条件が崩れていないか
t検定や分散分析は正規性・等分散を前提とします。前提が崩れると結果が信頼できません。正規性はExcelで正規性を確認する方法、等分散はルビーン検定で確認します。前提が満たせないなら、ノンパラメトリック検定への切り替えも選択肢です。
⑥ 外れ値が効果を隠していないか
1つの外れ値がばらつきを膨らませ、差を見えなくすることがあります。まず散布図やヒストグラムで分布を目視し、疑わしい点は外れ値の検出方法で判定します。ただし、都合の悪いデータを外れ値と称して安易に除くのは厳禁です。除外は技術的な根拠とセットで。
⑦ 片側・両側の設定は適切か
方向性がある仮説（「増える」だけを見たい）なら片側検定の方が検出力が高くなります。両側で0.06でも、事前に方向を決めていれば片側で有意になることがあります。ただし結果を見てから片側に変えるのは不正です。片側・両側の使い分けは片側検定と両側検定の違いで解説しています。
確認の順番｜まず①②から
7項目のうち、実務で原因になりやすいのは①サンプルサイズと②効果量です。この2つをセットで見ると、状況がはっきりします。
| 効果量 大 | 効果量 小 | |
|---|---|---|
| n 大 | 有意になるはず（③〜⑦を点検） | 実質的に差は小さい |
| n 小 | サンプル追加で有意化の可能性大 | 判断保留（データ不足） |
効果量が大きいのに有意にならないなら、原因はばらつきか手法か前提（③〜⑦）です。効果量も小さくnも小さいなら、そもそも結論を出せる段階にありません。
現場のミニ事例｜p=0.08からの立て直し
樹脂部品の反り改善で、金型温度を変更した効果を確認した場面です。改善前後で各10個を測定し、対応のないt検定を実施したところp=0.08。有意水準0.05に届かず、「効果なし」として報告書を書きかけていました。
ここでチェックリストの①②を確認します。効果量を計算すると d ≒ 0.8（大）。平均差はしっかり出ているのに、n=10ずつでは検出力が足りていない状況です。目安の式 n ≈ 16/d² に当てはめると、d=0.8で必要なのは1群あたり約25個。そこで各15個を追加測定して各25個で再検定したところ、p=0.01で有意になりました。
ポイントは、やみくもに測り足したのではなく、効果量から「本来必要だったn」を逆算してから追加したことです。もし効果量がd=0.2程度しかなければ、必要nは各400個。その場合は「追加測定で有意化を狙う」より「実質的な効果が小さい」と判断する方が正しい選択でした。①と②をセットで見る意味がここにあります。
よくある質問
Q. p=0.06のとき「有意傾向がある」と書いてもいい？
A. 社内報告なら「有意水準には届かないが効果量はdでこの程度」と、pと効果量を並記するのが誠実です。「傾向がある」という表現だけで有意差があるかのように扱うのは避けてください。判断の土台はp値の意味の理解です。
Q. サンプルを増やせば必ず有意になる？
A. 差がゼロでない限り、nを増やせばいつかは有意になります。だからこそ「統計的に有意」と「実務的に意味がある」は別物です。巨大なnで検出したごく小さな差に、改善コストをかける価値があるかは効果量で判断してください。
Q. 「有意差なし」を報告書にはどう書けばいい？
A. 「差がない」と断定せず、「今回の条件（n=◯、検出力◯）では有意な差は検出されなかった」と、条件つきで書くのが正確です。あわせて効果量と、必要なら追加データ数の見積もりを添えると、次のアクションにつながる報告になります。
まとめ
- 「有意差なし」は「差がない」ではない。証拠不足と真の差なしは区別できない
- 最頻の原因はサンプルサイズ・検出力の不足。n ≈ 16/d² で目安を確認
- 効果量が小さいなら、統計以前に「実務的に意味のある差か」を問う
- ばらつき・検定選択・前提・外れ値・片側両側の順に切り分ける
- 効果量×サンプルサイズのマトリクスで状況を素早く判断できる
有意差が出ないときは、結論を急がず①サンプルサイズと②効果量から点検するのが近道です。検定の土台を確認したいときは仮説検定の考え方と手順、p値の意味はp値とはもあわせてご覧ください。
有意水準ぎりぎりのp値が出たときの具体的な次の一手は、p値が0.06だったら？にまとめています。
