（陶芸の里あすかのＨＰより引用。）
壺があって、その中に赤い豆１，０００粒と白い豆１，０００粒が混ざって入っていると想像してください。
目隠しをしてその壺から豆を１０粒取り出すとします。（これを１トライと呼ぶことにします。）取り出した１０粒の豆は、赤と白がほぼ半々になるでしょう。しかし、全部赤い豆だったり、全部白い豆だったりすることもまれにあります。むろん、赤い豆が１粒で残りの９粒が白い豆のこともあります。
このトライを１００回くらい行うと、全部赤い豆や白い豆という例はきわめて少なく、５：５とか４：６ということが圧倒的に多いでしょう。そのときに、壺の中には赤い豆と白い豆が同じ数はいっていると言いきってよいかという問題が生まれます。
２００トライくらい行えば、５粒と５粒というケースが一番多いヒストグラムが出来上がります。２００トライのまとまりをさらに２０回行うとします。
そうすると「壺の中には赤白が（ほぼ）同数入っている」という主張が２０回できます。この２０回の主張のうち、１回くらいは間違っていてもよいと制限をゆるくすると、「壺の中には赤白が（ほぼ）同数入っている」という主張は有意水準（危険値）を５％と見込むなら、言ってもよいということになります。
しかしながら、有意水準を１％ときつくすると、まだまだトライの数が足りません。
実は抗うつ剤ＳＳＲＩの薬効調査で、プラセボーより効くという調査結果はすべて有意水準５％で行われています。１％ととするとほとんどの調査でプラセボーとの有意差がなくなってしまいます。
さらに、有意水準５％で統計をとってもプラセボーとの有意差が見いだせられなかった調査は、そもそも発表さえされません。これを出版（公表）バイアスといい、現在問題になっていることは、2014-05-16 に述べたとおりです。そのページから「すべての治験を登録して公表せよ」というＴＥＤの動画が見られますが、ここに再録します。(All Trials Registered...)。日本語字幕がついていて、たいへん分かりやすいので、ぜひご覧ください。
（私は統計学者ではないので、上の説明は数学的に不完全かもしれません。でも、概念的にお分かりいただければＯＫです。）
