「p=0.051だったので有意差はなかった」「p=0.049なので有意差があった」という報告を、論文や学会発表で目にしたことはないでしょうか。
有意水準0.05を基準に「有意差あり/なし」を判定するのは統計解析の基本的な手順ですが、p=0.051とp=0.049は、本当に「結論が変わるほど違う」結果なのでしょうか？
今回は、有意水準0.05という基準がどのように決められた数字なのか、そして0.05という境界線の前後でp値をどう解釈すべきかを解説します！
有意水準0.05はどうやって決まった？
有意水準0.05の由来には諸説あり、統計学者Ronald Fisherが著書の中で「基準として扱いやすい値」として提案したのが始まりとされています(コインを投げて4,5回表だけ出るのは珍しい結果だ、ということも(0.5^4=0.06, 0.5^5=0.03))。
5%という数字自体に、数学的・生物学的な必然性があるわけではありません。「20回に1回程度なら、偶然起こってもおかしくない」という直感的にキリの良い基準として広く定着し、現在まで慣習として使われ続けている、というのが実際のところです。
つまり、有意水準0.05は絶対的な真理ではなく、便宜的に選ばれた1つの基準にすぎません。
p=0.051とp=0.049は本質的に違うのか？
結論から言うと、p=0.051とp=0.049が示す証拠の強さに、実質的な差はほとんどありません。
p値は0-1の範囲で動く連続的な指標であり、0.05という値の前後で急に性質が変わるわけではないためです。
以下のように考えてみましょう。
| p値 | 0.05との関係 | 慣習的な判定 |
|---|---|---|
| 0.049 | 0.05をわずかに下回る | 有意差あり |
| 0.050 | ちょうど0.05 | 有意差あり(境界含む場合) |
| 0.051 | 0.05をわずかに上回る | 有意差なし |
わずか0.002の差で「統計学的に有意」と「統計学的に有意ではない」という異なる判定になってしまうのは、0.05という単一の閾値を使って、結果を二値的に分類していることによる問題です。実際には、p=0.049とp=0.051の間で、研究結果の意味や証拠の強さが突然大きく変化するわけではありません。
さらに、研究データにわずかな変化が加わるだけで、p値が0.05をまたぐこともあります。例えば、症例が1例追加されたり、1例の測定値が変わったりするだけで、p=0.049からp=0.051になることもあります。
このような場合に、p=0.049なら「効果あり」、p=0.051なら「効果なし」と機械的に結論づけることが適切でしょうか？
ここに、p値0.05を絶対的な境界線として扱うことの難しさがあります。
p値だけでなく効果量・信頼区間もあわせて確認する
p=0.051のような境界付近の結果を見たときには、p値の数字だけで「差があるかないか」を判断しないことが重要です。
p値だけでなく、効果量(治療効果の大きさ)とその95%信頼区間も報告することを心がけましょう。
例えば、オッズ比1.8(95%信頼区間: 0.98-3.4、p=0.058)という結果があったとします。
この場合、以下のように解釈できます。
- 点推定値のオッズ比1.8は、臨床的に意味のある効果の大きさを示している
- 95%信頼区間は0.98～3.4であり、1をわずかにまたいでいるため、「差がない」という可能性を完全には否定できない
- 一方で、推定された効果の方向はオッズ比1より大きく、今回のデータだけから「効果がなかった」と結論づけることも適切ではない
このように、p値が0.05をわずかに上回っているからといって「効果がなかった」と結論づけるのではなく、効果量と95%信頼区間をあわせて確認することが重要です。
特に、信頼区間がどの程度の効果を示し得る範囲なのかを確認することで、結果の不確実性や臨床的な意味をより適切に評価できます。
p値と信頼区間の関係については「p値の落とし穴」でも詳しく解説しているので、あわせて参考にしてください。
実務ではどう報告すればよい？
境界付近のp値が出たときの実務的な報告のポイントを整理します。
- 「有意差がなかった」ではなく「有意差を示すには至らなかった」と表現する: p>0.05は「差があるという証拠が不十分だった」という意味です。「差がない証拠」ではないので注意しましょう。
- 具体的なp値を報告する: 「n.s.(not significant)」とだけ書くのではなく、実際のp値(例: p=0.06)を報告することで、読者が境界付近の結果であることを判断できます。
- 効果量と信頼区間を必ず併記する:p値だけでは、効果の大きさや推定値の不確実性を十分に評価できません。効果量と95%信頼区間をあわせて報告することが重要です。
- 事前に定めた有意水準を変更しない: 「p=0.051だったので、有意水準を0.10に変更する」といった、結果を見た後の基準変更は避けましょう。解析結果に合わせて判断基準を変更すると、恣意的な解釈につながります。
まとめ
今回は、有意水準0.05という基準がどのように決められたか、そしてp値が0.05の境界付近にあるときの考え方について解説しました。
- 有意水準0.05は数学的な必然性のある値ではなく、慣習的に定着した基準
- p=0.051とp=0.049が示す証拠の強さに、実質的な差はほとんどない
- 「有意差なし」は「効果がない」ことの証明ではないという点に注意する
- 境界付近のp値が出たときは、p値の数字だけでなく、効果量と95%信頼区間もあわせて確認する
p値0.05という基準を機械的に「合格・不合格」のように扱うのではなく、効果の大きさや95%信頼区間、研究結果の背景などを含めて、結果を総合的に解釈することが重要です。
p値は研究結果を評価するうえで重要な指標の一つですが、p値だけで研究結果の価値や臨床的な意味を判断することはできません。「p<0.05だったから重要」「p>0.05だったから意味がない」と単純に判断するのではなく、得られた結果がどの程度の効果を示しているのか、その推定にはどの程度の不確実性があるのかを確認することを意識しましょう！
コメント