Diamond onlineに興味深い記事が出ていた。それは「AIの判断は人種差別的」米調査に見るAI人事選考の危険性」という記事である。これはアメリカのFBIなどの司法当局が使っているAIで逮捕されて刑期を終えた人物の再犯可能性を評価しているものである。このような予測は完全なことはあり得ないので、「再犯しないと予測したが、実際には再犯した」という間違いと、「再犯すると予測したが、実際には再犯しない」という間違いとを起こす。これを人種別に分析すると白人に対しては前者の間違いが多く、黒人に対しては後者の間違いが多かったという。但し、このAI予測のデータとして人種は用いられていらず、出身地域、学歴、年収等と犯した罪がセットになっているようである。
記事は、「AIは人種差別的判断をしている」と結論付けている。従って就職のエントリーシートの振り分けにAIを使うことは注意しなければならない、と結んでいる。さて、皆さんは「AIは人種差別的判断をしている」と思われるだろうか？
私は全く賛成しない。人種情報は入力されていないのだから、AIは人種差別をしている訳ではない。ただ、人種差別的結果が出たということも事実なので（おそらく十分なデータをそろえたと思われる）、黒人のほうが「客観的に見て再犯率が高いと思われる属人的データ」を持っているということだと思う。本来はAIに対して間違いがあったという結果のフィードバックをかけて、その結果としてAIのアルゴリズムが修正されていくはずだと私は考えている。
このDiamond onlineの記事を書いた人物は文科系のようだが、元になっている論文は元マイクロソフトの社員が書いているそうなので、AIの素人とは思えない。しかし、論文を出す前に、「AIは人種差別的判断をしている」ように見えるのはなぜだろう？、と深く考察するのが本来技術者のあるべき姿だと思うのだが、著者の意識はどうだったのだろう？。あるいは論文を書くことで広く一緒に考えてくれる人を求めたのかもしれない。
先日書いた囲碁のAIでも二つの異なるAIが異なる形を好み、両方が正しいことはあり得ないのでどちらかが間違っているのだが、間違った状態でAIの学習が安定してしまうことは実際に起こっている。この「犯罪AI」の場合も色々な試行錯誤（例えば学習させるデータの順番を変えるなど）してみると様々な知見が得られるはずだと私は考えている。
現在は、AIが出した結論に対して「なぜそのような結論が出たのか？」は分からないことになっている。しかし、Deep Learningの奥のほうのレイヤの動きを観察して、その動作を言語化することは原理的には不可能ではなく、いつかはできるものだと思っている。それができれば非常に大きな価値を生むだろうと思う。