P値(ピーち)
Probability(確率)の略。実際には何の差もないのに,誤差や偶然によって差が生じる確率のことをいう。P値が大きければ,偶然でも起こりうると考えられ,小さければ(慣例的には5%以下),偶然には起こりそうにないレベルの差と考えられる。
検定
100%正しい訳ではないが,95%以上正しいのでおおむね正しいと考えて問題ないという推測統計の考え方を応用し,真意の疑わしい主張や仮説に対して,論理的・統計的な否定を行うこと。その否定を数多く繰り返すことで,否定されない仮説が積み上がり,真理に近づくという考え。
-------
P値は,英語でも p-value と略され,それを直訳して「P値」として使われている。確かに P は probability の略ではあるが P値=probability でないことは明らか。単に 「probability」 ではないし,「確率」でもない。「●●の確率」ということで,「●●」が厳密に定義されている。だから probability という一般名称ではなく,特別な名前(専門用語)「p-value」になっているのだ。
「実際には何の差もないのに,誤差や偶然によって差が生じる確率のことをいう」は不正確すぎる。「実際には何の差もないのに」というのは,「差がないという帰無仮説のもとでは」ということだろう。「誤差や偶然によって差が生じる確率」というのは何を指しているのか?正確に述べれば,「差がないという帰無仮説のもとで,観察された事象以上に極端な事象が生じる確率」のことである。だからこそ,この値(確率)が小さければ,「そんな小さな確率でしか観察されない事象が実際に観察された。本当は,帰無仮説が間違えている(差がある)と考えた方がよい(帰無仮説を棄却する)と判断する」のである。素人に説明するときに帰無仮説だの,観察された事象以上に極端な事象が生じる確率だのいうのがいやなんだろうけど,曖昧にするときりがない。
「100%正しい訳ではないが,95%以上正しいのでおおむね正しいと考えて問題ない」言っていることがよくわからない。信頼区間の信頼率や,「1-第一種の過誤」を言っているのだろうが,それらは「95%以上正しい」とか「おおむね正しい」とか「正しいと考えて問題ない」などというものとは本質的に違う。
「真意の疑わしい主張」って,何だろう?「真偽の疑わしい主張」か?
検定は,「論理的・統計的な否定を行うこと」ではない。「帰無仮説を棄却する」ことは検定の 1 つの結論だが,「帰無仮説が棄却できない」というのも,もう一つの結論だ。「否定」することだけではない。
「否定を数多く繰り返すことで,否定されない仮説が積み上がり,真理に近づく」というのは,科学的なものの考え方であって,検定はその一つの方法・アプローチであろう。
検定とは,「平均値に差がない,相関関係がないなどの仮説(帰無仮説)が正しいとしたときに,実際に観察されたデータに基づいて計算される平均値の差,相関係数などの数値以上の結果(統計量)が得られる確率(P値)を求め,その確率が小さい(慣例的には5%が採用されることが多い)ときに,平均値に差がある,相関関係があるなど,帰無仮説を否定する仮説(対立仮説)を採択するという推論過程。P値が大きいときには,帰無仮説を保留する。」とでも。
本文中にも,対談者が,「『偶然にすぎない確率が何パーセント』という検定の考え方」とか「検定を行えば『偶然そうなった可能性が5%以下なので,暫定的に正しいと考えてよいだろう』といえます」と(微)妙なことを言っている。