Diamond onlineに興味深い記事が出ていた。それは「AIの判断は人種差別的」米調査に見るAI人事選考の危険性」という記事である。これはアメリカのFBIなどの司法当局が使っているAIで逮捕されて刑期を終えた人物の再犯可能性を評価しているものである。このような予測は完全なことはあり得ないので、「再犯しないと予測したが、実際には再犯した」という間違いと、「再犯すると予測したが、実際には再犯しない」という間違いとを起こす。これを人種別に分析すると白人に対しては前者の間違いが多く、黒人に対しては後者の間違いが多かったという。但し、このAI予測のデータとして人種は用いられていらず、出身地域、学歴、年収等と犯した罪がセットになっているようである。
記事は、「AIは人種差別的判断をしている」と結論付けている。従って就職のエントリーシートの振り分けにAIを使うことは注意しなければならない、と結んでいる。さて、皆さんは「AIは人種差別的判断をしている」と思われるだろうか?
私は全く賛成しない。人種情報は入力されていないのだから、AIは人種差別をしている訳ではない。ただ、人種差別的結果が出たということも事実なので(おそらく十分なデータをそろえたと思われる)、黒人のほうが「客観的に見て再犯率が高いと思われる属人的データ」を持っているということだと思う。本来はAIに対して間違いがあったという結果のフィードバックをかけて、その結果としてAIのアルゴリズムが修正されていくはずだと私は考えている。
このDiamond onlineの記事を書いた人物は文科系のようだが、元になっている論文は元マイクロソフトの社員が書いているそうなので、AIの素人とは思えない。しかし、論文を出す前に、「AIは人種差別的判断をしている」ように見えるのはなぜだろう?、と深く考察するのが本来技術者のあるべき姿だと思うのだが、著者の意識はどうだったのだろう?。あるいは論文を書くことで広く一緒に考えてくれる人を求めたのかもしれない。
先日書いた囲碁のAIでも二つの異なるAIが異なる形を好み、両方が正しいことはあり得ないのでどちらかが間違っているのだが、間違った状態でAIの学習が安定してしまうことは実際に起こっている。この「犯罪AI」の場合も色々な試行錯誤(例えば学習させるデータの順番を変えるなど)してみると様々な知見が得られるはずだと私は考えている。
現在は、AIが出した結論に対して「なぜそのような結論が出たのか?」は分からないことになっている。しかし、Deep Learningの奥のほうのレイヤの動きを観察して、その動作を言語化することは原理的には不可能ではなく、いつかはできるものだと思っている。それができれば非常に大きな価値を生むだろうと思う。
コンピュータのソフトで、「判断」するためのカテゴリの定義、カテゴリ別の基本データ、それに対するインプット、それをCPUがどの様に判断するか? 更にその判断結果をもとに、行ったアクションが正しかったのか、もしくは外れていたのかのフィードバック情報をどのように集めて、軌道修正するかのプログラム等々。
人種要因を加えても加えなくても、多くのデータを基に少しずつ修正(フィードバック)することで、より正しい判断ができるようになるのは、十分納得がいきます。
だからビッグデータを基に、常にこの種のフィードバックを入手し、反映できるようなソフトは、市場で充分評価されるし、それを禁止する要因はないと思います。
AIという言葉にとらわれず、この種の「より高い信頼性の推論マシーン」はビッグデータの活用観点から見て、早晩、市場に登場するし、もうすでに始まっているとも思います。
Wikipediaが急速に市場での地位が固まって、多くの人が活用しているように、多くの人が関わるような情報と、その集積、修正が規則だって行われれば、良いシステムになることを私は期待します。
AIと定義することで、マシーンが情報を収取、分類しその結果を水からフィードバックする所まで「勝手」に進めるのではなく、人間系が何らかのシナリオを描いています。AIがどの様にして、中身を判断し、修正を進めているを記録に残すのは易しいことです。
だからAIと言うことで身構えたり、新しい時代に入るというよりも、今までの予想の延長と思っています。
『ASCII.jp』(2017年11月13日 23時10分更新)にも似たような記事の投稿があるのをたまたま見つけました。こちらの方が先のようです(『MIT Technology Review』の和訳のようです)。
http://ascii.jp/elem/000/001/584/1584663/
こちらもダイヤモンド・オンライン投稿の渡部幹氏と同様に「ブラックボックスを鵜呑みにできない」ということで締められています。AIを疑うというよりは、AIの名を借りて(中身はAIでなくても良い)正当化される危険性を提示しているという風に受け取りました。
論文原著は以下のサイトで閲覧できるようです。
『Cornell University Library』
https://arxiv.org/abs/1710.06169
人種情報による検証を怠ることにより、人種差別や偏見とは独立ではないデータでAIの人種差別的判断を助長していると思われます。
人種差別や偏見により危険な地域に住む貧しい人々は、なかなかそうした環境から抜け出ることができませんが、そうした現実の歪みを考慮しない判断は人種差別的と言えます(人種という視点を持たなければ良いという話ではない)。教育の機会平等や格差の固定回避の視点が必要で、記事の事例も教育による社会適応の伸びしろは黒人の方が大きいことを示唆していると思われます。