京都アカデミアフォーラムで行われるセミナー。
「未来につながる情報化社会 －展望と課題－」がテーマの
シリーズ29の2回目の今回は、
『脳から心を読む技術』と言うタイトル。
講師は。情報学研究科教授の神谷之康さん。
概要は、以下の感じですかね
- 今回の講演テーマのこの研究の事を、ブレインデコーディングと呼んでいる。
- 心の状態は脳でcodingされていると考えているので、脳の情報をdecodeすると心の状態がわかるのではないか。心の状態と脳の状態には、対応関係があるのではないか
- fMRIで脳の状態を測りながら、人が手を動かすと、その時の脳の状態を読み取ってロボットの手を動かすことが可能。ただし、数秒のタイムラグがある
- コンピュータを活用して、コンピュータにdecodeさせる。そして、機械学習を使ってどういう時にどういう脳の状態であるかを学習させる。その際、学習に用いていない新しいデータでテストすることが重要
- 脳の情報処理一般で言えることだが、脳のある1箇所だけで表現されているわけではなく、脳の全体にちょっとずつ情報がある。なので、局所的な脳の情報の組み合わせで、ある情報を表現できる
- 学習済みdecoderで、画像を見ることなしで画像を想像した状態を読むと、なんとなく想像している画像を読み取ることができる。mind-reading
- その拡張で、夢を観測することができるか？と言う実験を行った。実は、人は必ずしもREM睡眠中に見ているわけではない。夢は、睡眠のどのタイミングでも見得る。
- その実験は、人に脳波計をつけてfMRIの中で眠らせる。そして、寝入り端に起こして、夢の内容を確認すると言う実験。それを何回も繰り返す。1時間で、5～6回測定できる。夢を測定すると言うと、脳波で見ると言う様な事を思うかもしれないが、実は脳波だけでは、夢の内容（画像）は判らない。
- 今回の実験は、夢の内容を説明する被験者の言葉から、物体の名詞を取り出す（抽出する）。その後、実際にものを見ている時の脳活動を測定。その覚醒時のデータで学習したデータでdecoderを学習させて、睡眠時のデータを入力する。実験していて分かったのは、起こす20～30秒前にも夢を見ていると思われるのだが、起こした時には、その内容は覚えていない。なので、20～30秒前の脳の状態のデータをdecoderに入力したら、そのもしかしたら、本人も覚えていない夢の内容もわかるかも？
- 視覚像再構成は、像が単純な線では無いと言う事もあって難しい。画像の各ピクセルに対応するdecoderを作り、その組み合わせで、画像を再構成すると言う手法を取る
- 実は、ここまでの話は、10年前の研究。今は、どこまで進んでいるか？
- 多層の深層ニューラルネットワーク（DNN）を作り、入力信号（画像）に応じてDNNのどの部分が反応するかを、画像をピクセル単位で入れてみて観測する。それを繰り返すことで、脳で見ている画像を再構成できる。10年前は単層だったが、今は多層のDNNで実現できることが違う
- 人間の視覚野は、認識する物体の複雑さに応じて、様々な部位が関与している事がわかっている。今回の研究でのDNNでは、その視覚野の低層部分はDNNの低層で表現でき、高次の視覚野は高次のDNNで表現できることが確認された
- DNNを使うことで、10年前には低次の脳活動しかわからなかったが、高次の脳活動が測定（予測）できる様になった
- 脳波で、人の細かい意図を読み取ることはできない。世の中には、そういうものがはんらんしているが、そう言うものは全部嘘。何か、読み取っている様に見えても、実際には顔の表面筋肉の動きを読んでいるに過ぎない。
- 所謂植物状態の人には、表面的に意識が無いように見えても、実は意識があると言う人がいる。覚醒した後で、本人に話を聞いてみると、話の内容の判っていたと言う事であった。そして、本人は“意識がある”と認識していた。イギリスやベルギーでは、植物状態の人のうち5％程度そう言う人がいると言われている
- 脳コード変換器を作る上で問題なのは、同じ入力情報であっても、脳のどの部位が反応するかは人によって共通だが、反応のパターンが人によって異なると言う事。それゆえにdecoderは人によって違う。decoderの汎用化は研究中。なんとなくははできてきた。ただ、まだ精度は低い。
そんな感じでしょうか？
究極的には、脳の情報を直接やり取りしている相手に送ると言う、
“脳情報通信2.0”と言う話も、最後の方にしていましたね。
そこまで行くと、変な事は考えられないですね(笑)
