AI界の巨人たちはなぜ、 「人類存亡の危機」を 訴え始めたのか？ 2023/06

AI界の巨人たちはなぜ、 「人類存亡の危機」を 訴え始めたのか？
　MITテクノロジーレビュー　　より　Will Douglas Heaven

Stephanie Arnett/MITTR | Getty

　大きな悪いボットを恐れている人はたくさんいるようだ。多くの著名人が、人工知能（AI）の破滅的な危険性を警告する声明を発表したり、その旨の公開書簡に署名したりするようになった事実は衝撃的だ。

　深層学習の開拓者であるジェフリー・ヒントンやヨシュア・ベンジオ、一流AI企業の最高経営責任者（CEO）であるサム・アルトマンやデミス・ハサビスから、カリフォルニア州内の選挙区選出のテッド・リエウ米連邦下院議員、エストニアのケルスティ・カリユライド前大統領に至るまで、何百人もの科学者、ビジネスリーダー、政策立案者が声を挙げている。

　先に名前を挙げた全員やその他の人々が署名している、この種のものでは最も赤裸々な主張は、サンフランシスコを拠点とする政策提言型の研究機関であるAI安全センター（Center for AI Safety：CAIS）が2週間前に発表した、英単語で22語から成る声明だ。この声明は次のように宣言している。

「AIによる滅亡リスクの軽減は、パンデミックや核戦争などの他の社会規模のリスクについてと同じように世界的な優先事項であるべきです（Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.）」。

　この言葉遣いは意図的なものだ。CAISのディレクターであるダン・ヘンドリクスは、「ロールシャッハテスト風の声明を狙うなら『存在に関わる危機』と述べたことでしょう。

　これなら、さまざまな人を対象にさまざまな意味を持たせることができるからです」と語った。だがCAISは、経済的な破滅を意味するわけではないことを明確にしたいと考えたという。「そこで、『滅亡の危機』という言い回しを用いましたが、実際には、私たちの多くは他のさまざまなリスクについても懸念しています」とヘンドリクスは述べる。

　こうした状況は以前にもあった。AIの誇張された宣伝にはAIによる破滅論が続く。だが、今回は様相が異なるようだ。オヴァートンの窓（日本版注：多くの人に受け入れられる考え方）は移動した。

　かつては極端とされた意見が、今では主流の論点になり、メディアの見出しを飾るだけでなく、世界的リーダーの注目も集めている。「AIについて懸念を述べる人々の声が大きくなりすぎて、無視できなくなっただけです」と、テクノロジーの社会的影響について研究する団体、データ・アンド・ソサエティ（Data and Society）のジェナ・バレル調査部長は言う。

　一体何が起こっているのだろうか。本当にAIの危険性は増したのだろうか。これまでAIを先導していた人たちが警鐘を鳴らすようになったのはなぜだろうか。

　こうした意見がAI業界の分断を招いているのは間違いない。2018年のチューリング賞をヒントン、ベンジオと共同受賞しているメタの主席科学者であるヤン・ルカン（Yann Lecun）は、この破滅論主義を「荒唐無稽」と称した。

　AI企業コーヒア（Cohere）のエイダン・ゴメスCEOは「時間の無駄遣い」と述べた。

　嘲笑を浴びせる者は他にもいる。「現在、AIが存在に関わる危機を突き付けるようになるというエビデンス（科学的根拠）は、1950年当時ほどはありません」と述べるのは、シグナル（Signal）のメレディス・ウィテカー社長だ。

　同社長は、AIの社会や政策への影響を研究するAIナウ研究所（AI Now Institute）の共同創設者でもある。「怪談は伝染します。怖がるのは、とてもわくわくするし、刺激的なのです」。

「これは現在起こっていることすべてをざっと眺めるという手法でもあります」と、データ・アンド・ソサエティのバレルは言う。「本物の、あるいは重大な被害がまだ見られていないことを示唆しています」。

⚫︎昔ながらの恐怖
　制御不能になった自己改良型機械についての懸念は、アラン・チューリングの時代から存在する。ヴァーナー・ヴィンジやレイ・カーツワイルといった未来学者は、俗に「シンギュラリティ」と呼ばれる概念を用いて、この考えを大衆化した。

　シンギュラリティとは、AIが人間の知性を追い抜き、機械が支配するようになる仮定の日のことである。

　だが、こうした懸念の核心にあるのは、「機械の方が賢くなった場合に、どのようにして人間の方が優位に立ち続けるか」という制御の問題だ。

　トロント大学でAIの哲学を研究するカリーナ・ヴォルド助教授（CAISの声明に署名している）は、2017年に発表した、「AIはどのように存在に関わる危機を突き付けているか（How Does Artificial Intelligence Pose an Existential Risk?”）」という論文で、この恐怖の背後に潜む基本的な論調を明確に描き出している。

　そこには3つの大きな前提がある。

1つ目は、人類は、他のすべての知性を凌駕する可能性のある超知能の機械を作り出す可能性がある。

2つ目は、人類を凌駕する超知能を、私たちは制御できなくなる可能性がある。

3つ目は、超知能は、私たちが望まないことをする可能性がある。

　これらすべてを掛け合わせると、人類の一掃まで含めて、私たちが望まないことをする機械を作り出し、しかも停止させることができなくなる可能性がある、となる。

　このシナリオには、趣の異なるさまざまなバージョンがある。先の5月にヒントンがAIについての懸念を提起した際は、ロボットが送電網内の電力の流れを変更して、より多くの電力供給を受けるようにするという例を挙げた。

　だが、必ずしも超知能、または汎用人工知能（AGI）が必要となるわけではない。裁量を与えられすぎた愚かな機械も、同じように破滅をもたらす恐れがある。多くのシナリオは、利己的なボットではなく、思慮に欠ける、あるいは悪意に満ちた展開に基づくものだ。

　6月16日にオンライン投稿された論文で、カリフォルニア大学バークレー校のAI研究者であるスチュアート・ラッセル教授とアンドリュー・クリッチ博士（2人ともCAISの声明に署名している）は、存在に関わる危機の分類を提示している。

　そこには、数百万人の人々に大学から退学するように促す高人気の助言チャットボットから、独自の有害な経済目標を追求する自律型産業や、AI搭載型の超強力兵器を作る国家まで含まれる。

　多くの想像上の事例では、理論的モデルは人間に与えられた目標を達成するが、人類にとってよくない方法で実行する。 

　訓練データ内に認められない入力を与えられた深層学習モデルが、ときに予期されない、望ましくない方法で振る舞うありさまを研究したヘンドリクスにとっては、万能ではなく、壊れているからこそ、AIシステムは破滅的な存在になる可能性がある。

「目標を与えられたAIが私たちになじみのない解決策を見つけ出したら、私たちは奇妙な道のりを歩まされることになるでしょう」。

　こうしたあり得る未来を扱う際に問題になるのは、「もしも」の連鎖の上に乗っかっており、SFのように響くことだ。ヴォルド助教授もこの点を認めており、「存在に関わる危機を構成する、あるいは引き起こすイベントは前例がないため、AIが大きな脅威をもたらすという趣旨の論調は本質的に理論上のものになります」と記している。

「さらに、こうしたイベントはごくまれにしか起こらないと考えられるため、それがいつどのように起こり得るかについての推測は主観的であり、経験論的に検証できません」。

　では、なぜより多くの人がこうした考え方を額面どおりに受け取るようになったのだろうか。「さまざまな人がさまざまな理由でリスクについて語っています。

　そのリスクの意味もさまざまである可能性があります」と、グーグルのAI研究者であるフランソワ・ショレは言う。だが、これは抗いがたいナラティブ（物語）でもある。「存在に関わる危機はいつの時代も魅力的な物語なのです」。

「この物語には、神話的で、ほとんど宗教的なある種の要素が存在しており、軽視することはできません」とウィテカー社長は言う。

「エビデンスがないことを前提にすると、文章化されているこれらのものは、科学的な言説というよりも信仰、すなわちある種の宗教的熱狂に基づく論文にはるかに近いことを認識する必要があると思います」。

⚫︎破滅論の伝染
2012年のイメージネット（ImageNet）コンテストでヒントンらが画像認識スコアの新記録を叩き出し、2015年にディープマインド（DeepMind）が「アルファ碁（AlphaGo）」で初めて人間のチャンピオンに勝利するなど、深層学習の研究者が初めてまとまった成功を収めた時期にも、大げさな宣伝はすぐに破滅論への道を歩んだ。

　スティーブン・ホーキングや同僚の宇宙論研究者マーティン・リースといった著名な科学者や、イーロン・マスクなどの著名なテックリーダーが、存在に関わる危機について警鐘を鳴らした。ただし、これらの人物はAIの専門家ではなかった。

　8年前、バイドゥ（Baidu：百度）の主席科学者であったAI開拓者のアンドリュー・エンは、サンノゼのステージに立ち、こうした考えの一切合財を笑い飛ばした。

　2015年に開かれたエヌビディアのGPUテクノロジー・カンファレンスで、エンは聴衆に向けて、「遠い将来には殺人ロボットの競技会が開催されるかもしれません」と語った。

「しかし、現在、私はAIを邪悪な存在に変えないようにする取り組みに携わるつもりはありません。火星の人口過剰問題について心配しないのと同じ理由からです」（エンの発言は当時、テックニュースWebサイトであるザ・レジスター＝The Registerで報じられた）。

　2011年にグーグルのAIラボの共同創設者になり、現在はランディングAI（Landing AI）のCEOを務めるエンは、その後、一連のインタビューでこの発言を繰り返したが、今はあいまいな態度をとる。

「開かれた心で、詳しく理解するために何人かの人と話をしています」と、エンは筆者に語った。「開発のペースが速いため、科学者はリスクの再考を促されています」。

　エンも多くの人と同じように、生成AI（ジェネレーティブAI）の急速な進歩やそれが悪用される可能性に懸念を抱いている。エンは先月、AIが生成したペンタゴン（米国防総省）の爆発画像が広く共有され、人々を驚かせ、株式市場の下落に至った出来事を指摘する。

「AIは非常に強力であり、残念ながら、大きな問題を生み出す可能性も高いと思えます」とエンは言う。だが、それでもまだ、殺人ロボットまでは認めていない。

「現時点では、AIがどのように人類の滅亡につながるかを理解しようと悪戦苦闘しています」。

　AIに何ができるかが広範に認知されるようになったことも、新たな展開だ。今年に入ってチャットGPT（ChatGPT）が、AIを一般の人々のもとにもたらした。

「突然、AIが社会の主流における人気の話題になりました」とグーグルのショレは言う。「能力が突然跳ね上がったことを、将来にさらなる飛躍が起こる予兆だと捉えた人々は、AIを真剣に受け止めるようになりました」。

　チャットボットと会話するという経験も、不安感を醸成する可能性がある。通常、会話は人が別の人と交わすものだと理解されている。

「AIは人間のような、あるいは感情を持つ対話者であるという考えに、ある種の信ぴょう性を与えました」とウィテカー社長は言う。

「AIが人間のコミュニケーションを模倣できるのなら、最後まで行ってしまうかもしれないという考えを増強したと思います」。
「これこそ、エビデンスもなく類似した状況に当てはめるという、存在に関わる危機を巡る言説が陥りやすい落とし穴だと思います」。

　皮肉っぽい見方もできる。規制当局がテック業界に追い着いてきて、どのような活動を規制対象とし、どうようなものは規制しないかを巡る問題が俎上に載せられている。

　雇用差別や誤情報といった短期的な害よりも、長期的リスクを際立たせることで、規制当局の関心の的を今後、仮定の問題にそらしているわけだ。

「当局による規制が現実のものになるという恐れが、人々を立場の表明へと追いやったのではないかと疑っています」とバレルは言う。

　存在に関わる危機について語れば、ビジネス機会を損なわずに、規制当局の懸念に有効に対処できるかもしれない。

「人類に襲いかかる超知能のAIというのは恐ろしく響きますが、これまでに起こっていないことも明らかです」。

　存在に関わる危機についての恐怖を煽ると、別の観点でもビジネスに有利になる。

一流のAI企業は、「汎用人工知能が到来しようとしている、それを作ろうとしているのはあの人たちだ」と人々に理解させる必要があると、ショレは指摘する。

「自分たちが取り組んでいるものが強力であると人々の心に刻み付けたいのなら、恐怖を抱かせるのは良いアイデアです」。

　ウィテカー社長も同じような意見だ。「人間より強力になり得る存在の創造者という役を自らに割り当てるのは、たいへんに魅力的です」。

　これがマーケティングや大げさな宣伝に関するものに過ぎないなら、何もそれほど大きな問題にはならないだろう。

　だが、何がリスクで何がリスクでないかを決定することには、結果が伴う。予算や注視できる範囲に限りがある世界では、核戦争ほど極端ではない害は、目こぼしされる可能性がある。優先事項ではないとすでに決定されてしまったからだ。

「特に、政策的介入の狭い枠組みとして、ますますセキュリティや安全性に焦点が絞られている中では、これは重要な問題です」と、AIナウ研究所のサラ・マイヤーズ・ウエスト部長は述べている。

　5月に英国のリシ・スナク首相がサム・アルトマンCEOやデミス・ハサビスCEOなどAI企業トップと会談した際、英政府は、「首相とCEOたちは、デマや国家安全保障から存在に関わる脅威に及ぶ、テクノロジーがもたらすリスクについて協議した」という声明を発表している。

　その前週には、アルトマンCEOは米上院で証言し、最も心配しているのは、AI産業がこの世界に大きな被害を及ぼすことだと述べた。

　同CEOの証言は、こうした前例のない被害に対処する規制機関などの新設を求める声が沸き上がるのに一役買った。

　オヴァートンの窓は移動したが、被害は発生していたのだろうか。「遠い将来や神話的なリスクについて語っているのであれば、私たちは問題を、空想の世界に存在する問題にすっかり置き換えていることになります。

　となると、その解決策も空想の世界に存在する可能性があります」とウィテカー社長は述べる。

　だが、ウィテカー社長は、何年も、つまり最近の恐怖の拡散の期間よりも長く、AIを巡る政策議論がなされてきた事実を指摘し、「私は不可避性を信じません」と言う。「私たちは、この大げさな宣伝が撃退されるのを目のあたりにすることになるでしょう。騒ぎは収まります」。