論文の再現性について

　夏休みなのですが、文科省関係のいくつかの審議会の委員を務めていて、けっこう宿題があってブログの更新が遅れてしまいました。前のブログの続きを書かないとね。

　でも、その前に前回のブログのコメントで11jigenさんから、最近、論文の再現性の低いことが問題にされていることが書かれていますので、ちょっと僕のコメントも書いておきます。僕もまったく11jigenさんに同感です。僕は、論文の質だけではなく量も大切であると主張しているのですが、この論文の再現性の問題、つまり質の問題は何とかしていただかないといけませんね。

　ずいぶん前になりますが、僕は1984－86年にアメリカのテネシー州バンダービルト大学医学部の分子生理学部門にポスドクとして留学をしていました。研究テーマはインスリンの脂肪細胞における糖輸送促進作用についての基礎的な研究でした。その時のラボのボスが河野哲郎（故人）という日本人で、インスリンの糖輸送促進作用のメカニズムとして”トランスロケーション説”を初めて実証した業績で、その分野では有名な先生でした。研究の説明は長くなるので今回は省きます。

　ちなみに、河野哲郎先生は東大の農学部のご卒業で、彼のおじいさんは、第一回文化勲章を受賞した国文学者佐々木信綱です。もう1つちなみに佐々木信綱は三重県の出身です。三重県四日市市石薬師にある佐々木信綱記念館には、河野哲郎先生が幼いころ、おじいさんの佐々木信綱に宛てた和歌の手紙が残っていました。

　河野哲郎先生は、科学者として厳しい姿勢を貫かれた先生です。彼の研究者としての信条は、誰にでも追試ができる論文、つまり再現性のある論文を書くということでした。そのために、僕たち若手研究者のやった実験も、必ずご自分で追試をされ、再現できたデータだけを論文にしておられました。その結果、河野先生の論文の数は、他の研究者に比べて少なく、半年に１編くらいのペースだったと思います。もっとも、論文数が少なかった理由としては、ポスドクの数が少なく、研究室そのものが小さかったことも一因です。河野先生と、彼の実験助手が1人、あと日本人のポスドクが2人の4人だけでした。僕は幸い1年半にJournal of Biological Chemistryという、生化学の分野では、まずまず定評のある学術雑誌に２編の論文を出すことができましたが、ポスドクの中には3年間滞在して1編も論文を書けずに帰国せざるをえない人もいました。

　彼の口癖は科学者としての信用がもっとも大切であるということでした。河野先生に言わせると、追試のできない、つまり、他者がやって再現できない論文がたくさんあり、定評のあるJournal of Biological Chemistryの論文ですら、8割は追試ができない、というものでした。

　8割はちょっと高すぎる数字なのではないかと僕は思っていました。追試のやり方が悪いという場合もありますしね。しかし、今回11jigenさんがあげておられる参考文献を見ると、河野先生がおっしゃっていた8割というのは、あながち間違っていない数字だったかもしれませんね。

　いずれにせよ、再現のできない論文がたくさん存在するというのは、今に始まったことではなく、けっこう前からあるということだと思います。再現できない論文が多々あることの理由としては、意図的なねつ造の場合もありうるわけですが、多くはねつ造ではなく、研究者本人はほんとうにその結果が出たことを正しいと信じて論文を書いています。意識的ではなくても、自分が立てた仮説に好都合のデータがたまたま偶然の確率で出た場合には、それを信じ切って、そうならないデータを異常値であるとして切り捨ててしまうことなどは、十分に起こりうることであると感じます。

　河野先生ご自身も、いつもどおり追試をして再現ができたので論文を書き、いざ投稿しようとする直前に、まてよ、もういっぺん確認してみよう、と思い直して、再再度追試をやったところ、再現ができないことが時々あったとおっしゃっていました。そんなことで投稿直前までいったけれども間一髪でお蔵入りになった論文の原稿が、けっこううず高く積もっているとのことでした。それだけ、再現性のある論文を書くことは大変ということだと思います。

　河野先生は、他の研究者からも、彼の論文は追試ができるということで、高い評価を受けていました。つまり、科学者として信用されていました。再現性があるということは、論文として最低限満たさなければならない”質”だと思うのですが、再現性のある論文を書く研究者が尊敬されるということ自体、現実は、いかに再現性のない論文が多いかということの裏返しであるとも思います。

　研究者が研究費を獲得して研究をした場合には一定の期限内に何らかの結論を出して、論文を書かないといけません。とにかく論文を書かないと、次の研究費は獲得できないわけで、研究者として生命が絶たれてしまいます。しかし、研究というものは、予想をした期待通りの結果が出ることはむしろ稀で、大した結果が得られないまま、期限が近づいてくることもよくあるわけです。そして、どのような論文にも何らかのオリジナリティー・独創性がないと評価されません。このようなプレッシャーの中で研究者は日々論文を書いています。そのような中で、現在でも論文のねつ造事件を根絶できないでいますし、また、再現性の低い論文も必然的に生まれてくるものと想像されます。

 　研究者が非常に重要な発見をしたと思った場合に、他の研究者に先を越される危険があるので、十分な確認をせずに、見切り発車で論文を書いてしまうこともありうることです。一瞬の差でノーベル賞を逃した研究者の存在はしばしば聞き及ぶ話です。それが当たれば、たいへん高く評価されるわけですが、見切り発車であるが故に、再現ができない論文となる確率も高まることになります。

　インパクトファクターの高い学術誌ほど、論文のretraction rate、つまり、後で取り消すことになる論文の率が高いというデータがあるようですが、これを説明する仮説の一つとして、先ほどのことが挙げられています。他の可能性としては、有名な雑誌ほど、衆目の目が集まりやすく、間違いが見つかりやすいとか、あるいは、レフェリーの能力の限界が挙げられています。

　論文の取り消しは、他者からその研究は再現できなかったということがわかるので、まだいいと思います。再現できない論文が取り消されずにいると、他の研究者に迷惑がかかることが生じえます。ただし、多くの研究者は、再現できない論文があることはすでに織り込み済みであり、1つの論文に書かれたデータを信用することは少なく、他の研究者が追試をやって同様の結果を示す論文が複数出てきて初めて、最初の論文を信用することになります。

　多くの研究者に引用される論文には、追試ができない論文の割合は少ないのではないか、そして、追試のできない論文は、時がたてば、他の研究者から引用されることもなく自然に忘れさられる運命にあるのではないか、と思うのですが、11jigenさんのあげておられる文献の中には、被引用数の多い論文でも追試のできない論文がけっこうあるようです。

　また、再現性とは異なりますが、論文の数にこだわりすぎる研究者の中には、同じような実験を手を変え品を変えて繰り返し、その都度論文にするというケースもしばしば見られます。僕の研究分野でも、毎月１編以上の論文を1人で産生している研究者もいましたが、ぼくにはそんな芸当はできませんでした。本質的に同じ実験を、手を変え品を変えて論文数を増やしても、その一連の論文が読者に伝えることのできるメッセージは少ないわけです。それを勘違いして、論文の数が多ければいいということで、とにかくおびただしい英語の論文を量産して、しかし、教授の選考で選ばれなかったケースを見ました。見る人が見れば、一見論文数は多いけれども、本質的なメッセージが少ないことは見抜けるわけです。

　僕たちが他の研究者の論文を引用する場合も、本質的に同じメッセージの論文を手を変え品を変えて数を増やした論文をすべて引用することはせずに、通常はその研究者の代表的論文を1つ引用することが多いのではないでしょうか。ですから、被引用数の多い論文を選ぶということは、このようなメッセージ性の少ない論文を省く作用もあるのではないかと想像します。

　11jigenさんのコメントの通り、論文の質は非常に大切です。そして、質×量、つまり、再現性があり、かつメッセージ性の高い論文の数を増やすことが最も大切であると思います。そして、このような論文はイノベーションにも結び付きやすいと思われます。再現できない論文を０にすることは難しいと思いますが、少しでも少なくするような何らかの仕組みを導入しつつ、現時点では、論文数や注目度の高い論文数が増えれば、ある程度質の高い論文数も増えると仮定して、分析をするしかないのかなと思っています。

　いずれにせよ、論文の質×量を高めるには、お金が必要であるという考えに変わりはありません。

　時間が遅くなったので、前回のブログの続きは次回です。