人の心を読むコンピュータ、単語のイメージの言い当てに成功

はてなブックマーク - 人の心を読むコンピュータ、単語のイメージの言い当てに成功 - ITmedia News
見逃していたな、これ。半年前の記事なのでオリジナル記事は消えてしまっているけれど、とりあえずメモ。後で論文を読む。
英文記事
Carnegie Mellon computer model reveals how brain represents meaning
論文
Predicting Human Brain Activity Associated with the Meanings of Nouns

読んでみた。
物の名前から連想される行動をヒントに、人がある単語を聞いた時に活動する脳の部位をコンピュータに予測させることに成功したという話。

予備知識として、
１、fMRIは脳の活動部位を推定する方法（about fMRI）
２、WordNetという英単語の概念辞書データベースが作られている（WordNet - Wikipedia）

まずコンピュータに学習させるためのデータとして、被験者は60個の名詞の中からランダムに単語を提示され、そのときの脳の活動部位をfMRIで測定された。次に感覚運動（sensory-motor）に関わる動詞の中から日常での使用頻度が高い25個を提示して、そのときのfMRIの結果が集計された。これらの結果とWordNetのデータがコンピュータに入力され、WordNetの分類上60個の名詞に強く関連する動詞と、動詞・名詞それぞれのfMRIデータを統計的に処理して、予測プログラムを得た。

学習プロセス
A)セロリ　　　→　　fMRIデータ
B)セロリ→1)食べる←fMRIデータ　　（WordNetでの関連強度で重み付け）
　　　　→2)味わう←fMRIデータ　　
　　　　→3)切る　←fMRIデータ
　　　　　・　　←　　・
　　　　　・　　←　　・
　　　　　・　　←　　・
（統計処理してAとBを近付けるように学習させる）

予測プログラム
A)ポテト→食べる→
　　　　　味わう→
　　　　　潰す　→
　　　　　・　　→　　・
　　　　　・　　→　　・
　　　　　・　　→　　・　
（WordNetで関連動詞を抽出してfMRI結果を予測）
細かい部分は殆ど理解できていないので説明がかなり怪しいのだけれど、こんな感じ。過去の実験である程度、人が言葉を連想する仕組みの解析に見通しがついていたのかな。

下位語の場合、人間が名詞の属性を見つけることのできる早さは、その特徴を定義している階層を見つける早さに依存していることが心理学実験で明らかになっている。したがってカナリアは鳴き鳥の一種である（直下の下位語となっている）ため、人は「カナリアは歌う」かどうかをすぐに判断することができるが、「カナリアは飛ぶ」かどうかを判断するにはもう少し時間がかかり（二層の隔たりがある）、「カナリアは皮膚を持っている」かどうかを判断するにはより多くの時間を要する（複数の階層の隔たりがある）。これは、人間はある概念と他の似た概念を区別するのに必要なもっとも明確な情報のみを保持していることから、 人間がWordNetに似た方法で意味の情報を記憶しているということを示唆している。（Wikipediaより）

文法が大きく影響するよなあ、これは。SVOCという語順の英語だから名詞・動詞の予測が最も強くリンクするのかなと思った。日本語ではどうなるだろう。形容詞の方が先に連想されそうだ、「セロリ」なら「苦い」とか「細長い」とか。英語が読める脳を開発すると謳っている英語学習のトレーニング方法って、まさにこの単語の語順を切り替える脳の訓練だろうな。
日本から英語圏へ移った人の脳の活動部位の変化とか、追っていけたら面白いなあ。留学予定者を集めて留学前後で比較してみるとか、帰国子女と日本にずっと暮らしている人を比較してみるとかどうだろう。

文化の違いもあるだろうな。日本人なら魚で「食べる」を連想する人が多いだろうけど、他の国ではどうだろう。でも、これはWordNetのデータに反映されることかな。

単語から何かが連想される仕組みって、まだまだこれから分かってくる部分が多いんだろうな。NLPっていうものがあるけれど、こういう未知の部分は考慮されていないように思う。言語や文化やその他社会的な背景で、連想される言葉はまちまちなはずなんだけど、そのへん、ちゃんとフォローされているのかな。なんてことを思った。

連想ゲームってあるけれど、あれって、その人の深層心理や育ちや性格が露になるのでこういう解析と組み合わせて、いろいろ比較したら楽しそうだ。いずれにしても想像力をくすぐられる研究ってわくわくする。

感情を読み取るよりも先に行うこと

相手の感情を読み取る上で必要なもの、それはプロファイリングです。無意識に行っているものだから、むしろ先入観と呼ぶべきか。

リアルタイムで今対面している相手がどのように感じているのか、それを観察から読み取るのももちろん重要ですが、その情報よりも先に、相手の言葉遣い、表情、身長、身なり、動作、癖、しぐさ、肩書き、評判……対面する瞬間までに可能な限り相手をプロファイリングし、情報を取得済みであるように思います。それは、ほぼ無意識です。精度はまちまちですが、この先入観で、相手のリアクションをある程度事前に予測して絞り込んでいます。その予測を頼りに、リアルな相手の反応のどの部分に注目して観察するべきなのか、意識の持ち方が変わります。相手がだけに留まらず、集団の心理や、未来の状況把握にも利用されます。
私、このセンスは大変鈍いです。判断が慎重といえば聞こえはいいですが、この人はこういう人だという思い込みを持って判断することで失敗した体験が多いので、他の人よりも決断が鈍いです。それでも、相手の文章から、性別や性格をイメージしてしまうのを止めることは難しく、かなり注意しないと、難しいです。

抽象的過ぎるので、具体例を挙げてもう少し考察を深められたら良いのですが、ひとまずここまで。

経験から学ぶ（目次的備忘録）

自己観察を元に、無意識に行動や感情へのリンクの仕方を学習しているプロセスを探る試み。

仮定１
感情を読み取る、あるいは適切なレスポンスが（反射的に）できるようになる学習の過程が存在する。（訓練によって感情を読み取ったり、適切な反応が行えるようになる。／後天的に獲得された行動パターンである。）

とりあえずの仮説
＜行為決定プロセス＞
１、因果関係を抜き出す。
２、予想された結果が得られたか否かで、成功か失敗かを評価する。
３、自分の行為を調整する。
　　　　　成功体験→行為の維持
　　　　　失敗体験→行為の変更
という段階を踏んで決定されている。
＜各ステップでの刺激と受容の構造＞
１、因果関係を抜き出す
ある行為（アクション）＝「原因」に対する反応（リアクション）＝「結果」を基本単位として事象を捉える。
この時、
　何を自分のアクションと考え、何を相手のリアクションとして受け取めるか。
　相手のノーリアクションをリアクションとして気付けるか？
　自分の「ノーアクション」という行為に気付けるか？
　「ノーアクション」に対する相手の「ノーリアクション」を分析することができるか。
　自分の行為に対する自分の感情をリアクションとして受け止められるか。
　個人でない「相手」を想定できるか、組織、集合体、無機物、文章、動作、作品、言葉、表情……
　事象の起点を確認できているか（自分が起点か相手が起点か、第三者が起点か）

２、予想された結果が得られたか否かで、成功か失敗かを評価する。
　褒められた
　喜ばれた
　嬉しくなった
　行為の維持を求められた
ならば成功

　叱られた
　泣かせた
　がっかりされた
　悲しくなった
　文句を言われた、
　行為の変更を求められた
ならばそれは失敗

それを成功と受け取るか失敗と受け取るかというメンタリティ。
コップに水が半分しか入っていないのか、それともまだ半分もある、か。
エジソンの電球の発明にまつわる逸話。
「失敗ではない。うまくいかない方法を一万通り発見しただけだ」

多くの場合、個人がそれまで積み上げて来た体験から、統計的に成功と捉えるか失敗と捉えるかを判断しているのではないだろうか。過去に失敗体験が多い人の場合、自分は確率的に失敗する可能性が高いと偏向フィルターが掛かって（思い込んで）しまわないだろうか。

３、自分の行為を調整する
　成功体験→行為の維持
　失敗体験→行為の変更

あるがままに受け止め分析するには。
　反省はしても後悔はしない。
　予想はしても期待はしない。
　＝感情を切り離すこと。

他者の経験（失敗でも成功でも）から学習する。
　トラブルは誰のものか。
　当事者ではない人間が、他者の事例から学習することはできるか。
　実体験のない人間が、その事柄について予測をするには？→論理的に推測する、もしくは、他者の体験から学習する。
　複合リアクションの分析（AのaというアクションがBを喜ばせ（b）、一方でCをがっかりさせ（c）た。）

より良くする、という発想。
　成功体験にも関わらず、行為を変更しようとする動機とは？
　トラブルでない事例から学習するには。
　当たり前のことに気付けるか否か。今現在スムーズに進行している状況は成功事例であるという考え。

＜感情、情動、欲求とのリンク＞
まず上記の仮説を補修して、その後、自己観察から行為と感情との結びつきのプロセスを探る。

感情と表現をリンクする

ちょっと気になる記事を見つけたので、メモしておきます。
Important Clue To Learning Deficit In Children With Autism
おおざっぱにまとめると、こんな内容です。
子供が相手の動作を真似るという作業において、相手のどこを観察しているのか、その視線を追うことができるヘッドギアを被験者に装着してもらい視線の動きを調査した。自閉症スペクトラムと診断されたグループと定型発達と診断されたグループで比較すると、自閉症スペクトラムのグループに属する子は、相手の動作を真似るのが不得手であった。このことは従来より知られていたが、これまでその原因は注意力不足であるという仮説が立てられていた。しかし、視線の動きを比較した結果、そのような傾向は認められなかった。両グループの違いとして、自閉症スペクトラムのグループでは、動作そのものを見ている傾向が強いのに対して、定型発達グループでは、相手の表情にも視線が向けられることが観察された。つまり、定型発達者が動作を真似るときには、動作そのものだけでなく、その動作を行う動機となる感情もしくはその動作を行うことで得られる感情を、相手の表情から情報として受け取って、動作と感情をリンクさせているのではないかということが推測される。ここから、（幼少期の）学習過程では、行為と感情をリンクさせる作業が重要なのではないかという結論を導いた。

記事の書かれ方が、あくまでも定型発達者のレスポンスが正しいという前提であることに引っかかりを覚えますが、興味深い調査結果だと感じました。

学習するということについて、引き続き漠然と考え続けています。そちらはまだまとまりません。私にとって人生の命題でもあるので、まとまらないなりに、折々の思考の到達点を記録する為に、整理をつけて表現していきたいと思っています。

感情を維持できない

前の記事の続きです。

書いている間にも、何を考えていたのか、何を訴えたかったのか、そのゴールを見失っては関連記事や書き留めたメモを読み返すという状況が続いています。論理的に構成できていないので、読み辛いものになっていると思いますが、断片的でも資料的価値を見出してもらえることに期待して、公開してしまおうと思います。

もし、ASの方と定型発達者との間に決定的な違いがあるとすれば、それはなんだろうと考えていて、二つの仮説を立てました。
１「感情を維持できない」
感情を切り離せないのと同様に、もう一つ、何らかの行動を起こす際に生じる事象です。感情を維持できないので、モチベーションが下がります。行動に転嫁するには、エネルギーが必要です。感情的な、即ちテンションの高い状態でいられる、非常に限られた時間内にリアクションを起こす必要性を感じて焦る（そしてしくじる）というパターンが、自分にはよくあります。感情を維持できないので、行動の途中で目的が変化したりします。ひょっとすると、これがASの人には理解し難いことなのかもしれないと推測してみました。
２「喜怒哀楽を励起する条件が異なる」
言葉と感情を切り離せないという現象は定型、非定型に関わらず持っているものなのではないかと感じています。そして問題は、この感情の励起条件の違いなのではないだろうかと考えました。

しろさんの記事を読んで抱いた感情や思考を思いつく限り全て列挙する。
実際に、自分の行動について、その決断の過程で自分が抱いた感情や頭の中をよぎった考えの一切を書き出してみたいと思います。ここでは、しろさんの一連の記事を読んだ私の感想や考え方、感情の変遷を提示します。読み手に、共感できる／できない、持つ／持たない、という形で比較してもらうことを狙っていますので、本来ならば表に出すべきでない、恥ずかしいと思うことなども書き出したつもりです。

私の心の動きを追体験してもらえるように、時系列に沿って順番通りに記録したいところですが、実際には、その場で思ったことや感じたことを後々までしっかり覚えている訳ではありません。そこで、喜怒哀楽、それぞれの感情毎に思い返し、見つけたものを時系列に沿うように並べてみました。

(10/15追記）
何らかの感情や感想を抱くよりもさらに前の段階として、相手をプロファイリングしている自分があることに気付きました。先入観と呼ばれるものです。これについて書くことができたときには、ここに記事のリンクを挿入する予定です。
(追記ここまで)

●記事を読みながら抱いた感情
1）しろさんは、全てのトラブルで、自分自身の問題として抱え過ぎなのではないかという心配。ここから、しろさんを守りたいという欲求が生じる。
2）自分も同様のトラブルや迷いを経験したという共感。
3）そして、それを昇華してきたという自負。その（年長者としての）優越感。しろさんと自分を比較して、（定型発達者として）メジャーなグループに所属しているという安堵感。
4）そして、それが正当であるという優越感（これは違うかもしれない。あったとしても限りなく小さく、瞬間的なもの）。
●読み終えた直後の反射的な感想、感情
5）結論が間違っているようだという読後感。混乱。それを修正したいという欲求。ただし、この時点では違和感を覚えたという程度。不安感。論理的にここがおかしいと指摘できるような理解はなかった。もやもやした、という表現がしっくりくる感覚。
6）それでも、私が現在自分なりに辿り着いた心理的な境地に、いずれしろさんも辿り着くだろうという判断を下す。楽観。不安感の払拭。
●ここで一旦、混乱の原因はどこにあるのだろうと記事を読み返し、また自分の考えを整理してみようと、自らの体験に思いを巡らせる。
7）自分が無意識に行っていた脳内処理に対する気付き、それへの好奇心。自分を理解したいという欲求。純粋な好奇心。
8）嫉妬心。これは後から気付いたもので、実際に抱いていたかは不明。しろさんの文章（構成がしっかりしてテーマがぶれない、説得力を持つ）への嫉妬、そしてこれを読んで影響を受ける人達がいるという事実への羨望。そして、それを自分のものにしたいという欲求が少なからず発生する。これらの感情が、潜在意識に近いレベルで湧いてくるように思う。
9）しろさんの無意識の部分への好奇心、文章に書かれていないより深い部分での心理に対する好奇心を抱く。
10）しろさんが無意識に行っている心の処理に影響を与えたい（結論を変えさせたい）という欲求。他者をコントロールしたいという欲求。
11）自分が正しいと考えることを表現したいという欲求。特に不特定多数に読まれることを意識してのもの。自己承認欲求なのだろうか。
（ここで、しろさんの記事に対して、何らかのコメントを残したいという欲求にかられる）
（コメントを書きたい気持ちとコメントを留まらせようとする気持ちのどちらもが浮かんでいました。それを書き出してみます）
●コメントを書くに至るまでに考えたこと。逡巡。
12）議論の発展を期待する、そして議論を発展させるようなコメントを残したいという気持ち。自分にもしろさんにも、さらに多くの人の目にさらされることで、予測し得ない誰かに良い影響を与えたり、与えられたりしたい。
13）コメントを書く作業は重要な価値があるという考え。ここには一部、仕事からの現実逃避の口実として利用したいという心理が含まれています。
14）コミュニケーション（特に文字だけに限定されがちなインターネット上）における基本的な問題を理解したい。それは、自分の将来のコミュニケーションスキルの向上に繋がるだろうという期待。
15）しろさんの文章に刺激を受けたことは間違いないが、他にも同時期にいろいろな記事を目にして漠然と散漫と思考していたことを自分の理解の為に整理したいという気持ち。
16）とりわけ、しろさんのところには一度コメントをしたこともあって、またそのときに丁寧に返事を頂いたという好い印象を抱いているので、自分の意見を真摯に受け止めてくれるであろうと見込んでいるという気持ちも。
17）また、しろさんを読み手として念頭において文章をまとめることは、労力を要するけれども、より丁寧に校正できるという実感があって、そこから、コメントをしてみると自分に利益があると感じていること。
18）他の方が残されたコメントからも刺激を受けたことで、他の読み手を意識した。でも、そのコメントでもまだ触れられていないと感じる部分があったこと。
＜一方で、コメントを躊躇わせる感情もあった＞
19）自分の意見を表明する、ましてそれが、誰かの意見を否定する内容である場合、その誰かを不快にさせたり、落ち込ませたり、傷付けるかもしれない。それを受けて、自分も批判されるかもしれないし、自分も落ち込んだり傷付いたり公開したりする可能性もある。
20）そもそも自分の読み方が甘いだけかもしれない。それで理解力不足を露呈して、公開の場で恥をかくかもしれない。
21）確かに理解できない部分もあるし、それを認識した上でしろさんも書かれているだろう、書かずにいることもあるだろう。その辺をより深く理解したい。好奇心。
22）自分の表現力不足で、またしろさんの感受性を理解していないことで、しろさんを傷付けることにはならないだろうか。何も書かなければ少なくとも、しろさんは影響を受けることはない。
23）しろさんが精神的にもう少しリラックスしていることを確認したい。
24）自戒を込めて、定型発達者といっても未熟な反応だということを伝えたい。
25）コメントするにあたっては、しろさんを心理的に脆い状況と見て、これを改善したい（第三者から見てそう見えるようなしろさんの発言を引き出したい）と思っている。
26）傷付けないように言葉を選ぶ作業も行っている。丁寧語なのかくだけた口調なのか、相手の呼び方や敬称、相手が好んで使っている表現、一般的に使って良い言葉と避けた方が良い言葉、想定した読み手に対して避けた方がよいと予想される言葉、一貫した表現、主観に依存しない表現、主格が明確な表現。論理的に整理された構成、これらを意識的に、また無意識的に行っている自分に気付きます。
27）これを目にする自分のことを知らない人達がどのように感じるか、
28）そしてその感情をもって、どのようなレスポンスが引き起こされうるか、
29）その二次的な反応がしろさんの負担にならないか。
30）しろさんには通じても、他の人には通じないかもしれないこと。
31）自分が伝わると思っていてもしろさんには伝わらないこと。
32）それがしろさん独自の感性で伝わらないのかASという特徴から伝わらないのか。
33）相手を不幸から救いたいという気持ちが昂じて、相手のちょっとしたネガティブな変化や言動も見逃すまいとするあまり、バイアスがかかってしまい、まるで相手の不幸を望んでいるかのような感情を抱いてしまうものだと気づく。レッテル貼り。
34）あなたは不幸なのでしょう？つらいのでしょう？と思い込みたい感情ってなんなのだろう。しろさんに対して、そのような見方をしていなかっただろうかと反省する。
35）自分の考察の仕方が、自分に出来て相手に出来ないこと、という観点になっていることに気付く。これは「定型発達者は感情を切り離せない」に対する本能的な反発であるように感じる。

大凡、以上のような感情や思考が頭をよぎりました。後半、かなりアバウトになっていますが、実際に思考の過程で集中力が徐々に落ちていく状況や心理的な変化が再現されているように思います。

引き続いて（あるいは並列的な処理で）、感情を判断から切り離す作業、もしくは感情を理性的に再構成しようとする反応が起こります。コミュニケーションを図りたい、意思表示をしたいという欲求に繋がる感情とそれを抑制しようとする感情という相反する欲求を比較する作業とも言えます。このとき、それぞれの欲求に沿う動機付けとどの理屈が最も優先順位が高いかの重み付けを次々と行っていました。すると、倫理的なこと、過去の体験との擦り合わせ、論理的な一貫性などを判断材料にして、考えが整理される過程で、感情の優先順位（気持ちに占める割合）に変化が生じます。記事読了直後は、文章からダイレクトに励起された感情が優位に立ちます。今回の場合は不安感でした。しろさんを心配する気持ちと言っていいと思います。しかし、時間の経過に従い、徐々に好奇心の方が強くなっていきます。この好奇心についても、最初はASに対するものから徐々にしろさん個人に対するものにシフトし、それから次に、自分自身の心理へと興味の対象が移っていきました。何らかの行動を起こそう（コメントを書き残そう）と決意した段階では、すでに自分を理解したいという好奇心が一番強い気持ちになっていて、不安感や心配する気持ちも残ってはいたものの、比率としてはかなり低くなっていました。むしろ、自分の行動（コメント）に対するリアクションから、自分はどのようなレスポンス（＝情報）を得られるだろうかと楽しみにする気持ちで書き込みボタンを押しました。しかし、書き込んだ直後にはまた、相手のリアクションを心配する不安感が強くなってきました。多くの場合、自分の判断が正しいだろうという推測の下に行動しますので、期待して行動し、不安になってリアクションを待つというパターンになります。

以上のようにして、まず感情を励起され、リアクションを起こすまでに、感情を切り離す作業を入れることになります。その過程でも連鎖的に感情は励起されますが、通常は、徐々に落ち着く方向に向かいます。

不安感、優越感、期待する気持ち、欲求に従おうとする気持ちは、生得的に持っていたもののように感じます。それに対して、自分以外の人間を気遣う発想や、欲求を一次保留させようとする心の動き、期待に沿わない状況を許容する気持ちなどは、後天的に学習して手に入れたもののように感じます。
なぜそれが後天的なものだと思うのか、また、それならばどこでどのように学習したのか、それに関わるような自分の過去の記憶や体験とリンクできると良いのですが、また収拾がつかなくなるので、ひとまずここでおしまいにします。

ASの方は抱かないだろうという感情や思考がこの中に見られるようであれば、それがASと定型発達者の違いなのかもしれません。ASの方と定型発達者で、はっきり異なる反応条件があるならば、しろさんの考え方は正しく、決定的な違いは別のアプローチで補う必要があるでしょう。しかし私は、これがすっかり個人差に含まれるだろうという印象を持っています。そして、どちらが正しいかに関わらず、多くの定型発達者（ASの性質を理解できない人）は、私と同じように考え（＝感じ）るだろうと思って（＝直感して）います。この時点で、既に齟齬が生じてしまうという問題があります。例えば、言葉に言外の意図（感情）を込める能力*1をしろさんは持ち合わせていないと自己分析しているのに対し、定型発達者はそのような能力を持ち合わせていない人間を想定していないので、単にしろさんがまだその能力を未開発なだけだと考えてしまう。実はここでいう定型発達者というのは、彼自身が未熟なのだと思う。通常は、相手がどう感じるのかを予想して行動し、想定の範囲内でレスポンスが戻ってくることを期待します。これが、想定外のレスポンスであった場合、成熟した定型発達者は、自分のアクションに対するリアクションのズレの原因を自他両方に確認しようと考えることができます。しかし、定型発達者でも未熟であればこのズレを期待を裏切られたとして相手の責任のように考えます。一人一人の感情のズレは、本来あって当然のことだと経験的に学習し、予想に反した相手のリアクションに動揺しない訓練が、定型発達者にも求められて然るべきだろうと、私は思います。

（*1　例えば、「いいよ」という肯定の言葉に「（本当はやりたくないんだけど、しょうがないな、君がそうしたいならそうしても）いいよ」というようなニュアンスを込めるということかなと理解しています。それならば確かに、自分は無意識に行っていることが殆どです。コミュニケーションの過程で意図的に自分の感情を押し隠す方向で訓練されていくようですが、さらにその押し隠された真意すら読み取ってしまう人もいて憧れもしますし、一方で相手の本音が見え過ぎてしまうのもしんどいかなと思ったりもします。しかし結局、これにも個人差や相性が大きな要因であるように感じます。読み取りやすい表現をする人もいれば読みとりにくい表現をする人もいます。読み取り難い人も、その人とのコミュニケーションの時間を重ねることでその人の趣味嗜好などを知り、論理的な判別基準を持てるようになるケースも少なくないように思います。いわゆる、無駄に思える雑談、というものがここで活かされます。）