これは私自身の経験である。ある論文を発表したことがある。内容が何でであったのかは忘れたが、すくなくとも私の主張に沿うデータが得られたのであった。ところがこの数値計算は大学院生だった学生に委ねていたのだが、その彼が卒業して他の人に同じプログラムでやらせたら結果が上手く出ない。同じ入力データを使えば、同じ結果が出てくることはいいのだが、そのデータの近くの数値を入れると結果がまったく異なってくる。
いわゆる数値計算の安定性がないのである。それでその論文の拡張版を出すことができなかったというお粗末な次第であった。ある特定の入力データでうまく望みの結果を出すことができたのは多分間違いがないだろう。だが、もしそれが十分にいいモデルならば、その数値の近くの入力データに対しても同じようにいいモデルとならねばならない。ところがその条件が満たされていないのである。これは私の大失敗の一つであった。そういうことが起こっているとは思いもしなかったので、吟味が十分ではなかった。
昨日、科学にも再現性がなかなか得られない例が生命科学を中心としてあるのだという。特に実験室が移転した後などで実験の再現性がなかなか得にくいことがあるという。これでは科学としての名に値しないことになる。
一昨日（２０１７．８．１６）の朝日新聞の記事にはあるAIの研究者が「還元主義的な科学からAIは卒業した」とあったが、これはちょっと問題ではないか。この研究者はつづけてAIが自ら機械学習という方法をくり返して強くなった将棋ソフトのポナンザ指す手を人間が理解できないことがあるという。将棋ソフトの作者は「その過程は私にもブラックボックス。でも人間が全部理解できるというのは傲慢で、今後も未知の領域は拡大するかも」といっているそうだ。だが、そこのところをなんとか理解するのがやはり人間のするべきことではないのだろうか。簡単ではないしても。