使用言語に関係なく脳活動から言葉を翻訳するAIが登場！
ナゾロジー より 220910川勝康弘
未来の翻訳は全て脳活動の測定で行われるかもしれません。
米国の「Meta AI」社で行われた研究によれば、脳活動を脳磁場や脳波を測定することで、人間が聞いたり話している音声や単語を当てられるAIを開発した、とのこと。
この技術が発展すれば、言語にとらわれない翻訳が可能になります。
将来的には、脳活動から読み取られたデータを意味のある音声に変換することで、麻痺により言葉を介して意思疎通がとれなくなってしまった患者に、自らの言葉を伝える手段を提供することも可能になるでしょう。
脳活動と音声のリンクは、脳とコンピューターを接続するブレイン・コンピューター・インターフェースを実現する新たな方法として期待されています。
研究内容の詳細は2022年8月25日にプレプリントサーバーである『arXiv』にて公開されています。
◆目次
脳に電極をささない「体に優しい方法」で脳活動を解読する
「不思議の国のアリス」と「老人と海」を使ってAIをテストする
脳に閉じ込められた人との意思疎通も可能になる
⚫︎脳に電極をささない「体に優しい方法」で脳活動を解読する
私たちの脳は巨大な生体電子機械であり、あらゆる情報処理が脳内ネットワークを走る電気を介して行われています。
人間が言語を話したり聞いたりするとき、脳内では活発な電気活動が観測されます。
そのため以前から、脳の活動を測定することで、人間が話したり聞いたりした言葉を特定する試みが行われてきました。
しかし既存の脳活動を言葉に変換する技術の多くは、脳に電極を埋め込むなど、危険な脳外科手術を必要としていました。
たとえば「マウス」という言葉を聞いた時に発生する脳波を測定する場合、脳に電極を刺した場合にはかなり正確な測定データが得られます。
一方、脳波や脳磁場など頭部の外側かの脳活動を測定する場合、危険な手術は必要ないものの、ノイズが多く正確さに欠けるデータしか得られませんでした。
そこで今回、「Meta AI」社の研究者たちはAI技術を用いてノイズを乗り越え、体に負担のない方法（脳波と脳磁場）でも脳活動から言葉を読み取れる方法を開発することにしました。
（※脳波は脳に発生した電気活動を測定し、脳磁場は電気活動の発生と同時に形成される磁場を測定しました。どちらも頭部を切開することなしに、頭を覆う測定器で調べることが可能です）
開発にあたってはまずAIに学習教材を与えるために、被験者が特定の音声を聞いたときに観測された脳活動を、53の言語から5万6000時間に及び収集しました。
Credit:Alexandre Défossez et al . Decoding speech from non-invasive brain recordings (2022) . arXiv
教材が集まると研究者たちAI（ニューラルネットワーク）に対して、被験者が効いた音声と、その瞬間に発生した脳活動の関係を対応付けるように学習を繰り返させました。
たとえば上の図では「once upon a taime(むかしむかし)」という音声を聞いた時に発生する脳活動を測定し、脳活動と音声の関係を対応付ける学習が行われる過程を示しています。
Credit:Alexandre Défossez et al . Decoding speech from non-invasive brain recordings (2022) . arXiv
ニューラルネットワークはコンピューターの仮想空間に脳を真似たニューロンを設置し、学習を繰り返すことで正しい判断ができる疑似的な脳を作り出すことで機能します。
学習を繰り返すことでニューラルネットは優秀さを増し、得意とする分野では人間を遥かに上回る判断力を持つこともあります。
今回の研究でAIに求められたのは、人間には判別不能な膨大な脳波や脳磁場のデータを人間の音声に結びつけるという難事でした。
AIはとりとめのない数値データと人間の音声を結びつけることができたのでしょうか？
⚫︎「不思議の国のアリス」と「老人と海」を使ってAIをテストする
Credit:Alexandre Défossez et al . Decoding speech from non-invasive brain recordings (2022) . arXiv
AIは脳活動と音声を対応付けられたのか？
学習結果を調べるために研究者たちは、AIの性能を測るテスト問題を作ることにしました。
テスト作成にあたっては169人の被験者たちに対して「不思議の国のアリス」や「老人と海」のようなさまざまな物語や文章を聞いてもらい、そのときの脳活動（脳波と脳磁場）を毎秒1000カ所で測定しました。
このテスト問題は英単語の意味を答えるテストに似ています。
テストにおいてAIには、被験者から採取された3秒間の脳活動データが提示され、そのときに被験者が効いていた音声（793種類の単語）を当てるためにいくつか候補をあげてもらいます。
（※793語には1日に使用される大部分の単語が含まれています）
テストの結果、脳磁場の測定データを使った場合、AIの推測した上位10位に、正解の音声が含まれている確率が73%になると判明。
また研究者の1人は後に、AIの推測した第1位が正解と一致する確率が44%に達することを報告しています。
（※一方で、脳波の測定データを使った場合、AIの推測した上位10位に正解の音声が含まれる可能性は30%に届きませんでした）
この結果は、AIは脳活動を読み取って意味のある音声へとある程度の正確さで変換できることを示します。
⚫︎脳に閉じ込められた人との意思疎通も可能になる
今回の研究により、脳活動を測定することで人間が聞いていた音声を当てられるAIを開発することに成功しました。
脳活動の測定は体を傷つけない方法で行えるため、多くの人々が健康リスクを気にせず実践することが可能となっています。
また追加の研究で、学習教材のバリエーションを増やすことで、正確さを上げられることも判明しました。
研究者たちはより大規模な脳活動と音声のデータがあれば、よりAIをより高精度にできると述べています。
脳活動を直接的に音声へと変換する技術があれば、口を動かさず文章を書いてメールで送るなど、半分テレパシーのようなコミュニケーションを可能にします。
研究者たちは将来的に、麻痺などによって脳と体の接続が経たれた人々が、再び他人とコミュニケーションすることが可能になると述べています。
▶︎参考文献
Using AI to decode speech from brain activity https://ai.facebook.com/blog/ai-speech-brain-activity/
▶︎元論文
Decoding speech from non-invasive brain recordings https://arxiv.org/abs/2208.12266
🧠内の思考が読まれて秘密が無くなる…
