「p」って何？

１年生からあらためて「pって何ですが？」という質問を受けた。毎年ありがちなことなので、次のような例え話を考えてみた。

外国で「日本人みたいな」人にあった。そこで「彼は日本人である」と考えた（仮説）。
実際を話をはじめようとしたら、いきなり握手を求められた。そのようなことは、日本人はあまりしない（そのようなことが観察される確率pは小さい）。
そこで、彼は日本人ではない（日系２世？）と結論した（仮説の棄却）。

分散分析やt検定（平均値の差の検定）なら、
平均値が等しいと仮定する（帰無仮説）。
そのもとで観察されたデータからFやtの確率pを求める。その結果、pが小さかった（p<.05あるいは.01）。
そこで（帰無）仮説を棄却して、平均値が異なると結論した。