t 検定するべからず

今学期は自分の所属する言語学科ではなく、統計学科のアシスタントをしてます。仕事は宿題の採点のみ。とはいえ教科書を読み、週３回の授業に出て、宿題を解き、45人分の採点をするのはかなりしんどく、規定どおり週20時間くらい費やしてるのでは。

授業はIntroduction to Staticsというタイトルで、大学院生向け入門。もちろん採用してもらったからには、コイツは大丈夫という判断があるわけですが、教えられる内容全てを完全に知ってるわけはなく、はじめて知ることも多々。

さて今日の授業。おなじみ「Studentのt検定」の講義でしたが、担当のTrosset先生が大学院生（UC Barkeley）だったときに授業で聞いた話を教えてくれました。高名な（という話の）Erich Lehmann教授が「この授業でこれだけは記憶に残して欲しい、ということを挙げるなら『t検定はやってはいけない』ということです」と言ったのだそうです。

この発言に学生だった先生はたまげたそうですが、理由はというと、Gossetによる提案以降、フツーのt検定の「２グループの分散が等しい」という仮定がまずく、その仮定が怪しいときに検定のパフォーマンスが著しく落ちることが検証されている。そもそもこの等分散の仮定がいかんワケで、それを前提とした（フツーの、等分散を仮定する）t検定はほぼいかなるときも避けなさい、ということだそうな。だから、それでも母集団が正規分布と仮定してオッケーなら、等分散を仮定しないWelchのt検定やりなさい、と。そういえば、日本の統計学者のWebsiteでも、Welchのt検定のほうが望ましい、という意見が主流になってるという情報をみつけたことがあるような。

でも、思えばt検定をしてる論文なんていっくらでも見る。たいてい自由度がキリのいい数字だから、Welchじゃあないんでしょう。そんな中に、実は等分散の仮定が不適切で、さらにp値が有意水準ぎりぎりで、Welchのt検定やったら、結果がひっくり返る（帰無仮説を棄却できなくなる）なんてケースがたくさんあったりして。今後、論文を読むとき気をつけてみようと。

自分自分でも、研究助手をしてたときなんかに、t検定をやたらたくさん実行しましたが、よくないということらしい。t(15.78）＝2.12なんていうふうに自由度が半端になって、分かりにくい（分かってもらいにくい）かもしれないけど、Welchの方法をやるべきでした。

もう一つ面白かったのは、Welchの方法を選ぶケースで、両グループの分散を別個に推定した場合、平均値がどんな確率分布に従うか、まだ明らかにされていないというお話。（自由度を調整した）t分布を使うのは、経験則による近似だったんですね。宿題は、Rを使って解くことが推奨されてます。画像は私の作業結果。