「大規模言語モデルは新たな知能か―ChatGPTが変えた世界：岡野原大輔」（Kindle版）（サポートページ）
内容紹介：
対話型サービスChatGPTは驚きをもって迎えられ、IT企業間で類似サービスをめぐる激しい開発競争が起こりつつある。それらを支える大規模言語モデルとはどのような仕組みなのか。何が可能となり、どんな影響が考えられるのか。人の言語獲得の謎も解き明かすのか。新たな知能の正負両面をみつめ、今後の付き合い方を考える。
■著者からのメッセージ
本書では大規模言語モデルの可能性と課題、その仕組みを一般の方に向けて書きました。また最新の研究成果にもとづいて現時点でわかっている知見や将来の展望もまとめています。
本書では大規模言語モデルのもつ大きな可能性とともに、考えられるリスクについても述べています。そのリスクは非常に大きく、人類社会を脅かす可能性もゼロではない以上、よく向き合うべきだという懸念が世界的に示されています。今後、そうした可能性には具体的にどのようなものがあるかを検討し、どうすれば対応していけるのか、考えていく必要があります。
本書の後半では、これまで機械はなぜ人のように話せなかったのか、どのように言語モデルと機械学習が発展してきたのか、そして、ChatGPTを実現した大規模言語モデルはどのような仕組みであるのか、数式を用いずに解説しています。
しかしながら、大規模言語モデルがなぜこのように成功したのか、まだわかっていないところも多いのです。さらに言えば、私たちはまだ、なぜ人がうまく言語を獲得でき運用できるのか、深く理解できていません。大規模言語モデルと人の言語獲得には、解明すべき謎が多くあるのです。
今後、大規模言語モデルを人類が適切に扱えるようにしていくことが重要です。本書が大規模言語モデルを理解する一助になれば幸いです。
2023年6月20日刊行、136ページ
著者について：
岡野原大輔（おかのはら・だいすけ）
X（旧Twitter）：@hillbig
ホームページ：https://hillbig.github.io/
1982年生まれ。2010年東京大学大学院情報理工学系研究科博士課程修了、情報理工学博士。2006年Preferred Infrastructureを共同で創業、2014年Preferred Networks（PFN）を共同で設立。PFN代表取締役最高研究責任者およびPreferred Computational Chemistry代表取締役社長を務める。著書に『高速文字列解析の世界――データ圧縮・全文検索・テキストマイニング』『拡散モデル――データ生成技術の数理』（岩波書店）ほか。
著書を検索： 書籍版 Kindle版
大規模言語モデルに関する本を検索： 書籍版 Kindle版
ChatGPTに関する本を検索： 書籍版 Kindle版
理数系書籍のレビュー記事は本書で486冊目。
本書を僕が知ったのは通勤電車だった。前に立っていた男性が熱心に読んでいたからだ。カバーをかけていなかったからである。食い入るように読んでいたから気になって仕方がなくなり、スマホで検索してKindle版を即購入。
ChatGPTで初めて遊んだとき、かなりのショックを受けた。30年あるいは50年先になる映画『2001年宇宙の旅』に出てくるHAL 9000のような人工知能がいきなり目の前にあらわれたからだ。2016年にディープラーニング技術を使った囲碁や将棋で名人を超えるAIが登場したとき、画像生成AIが登場したときの衝撃よりもはるかに大きなショックだ。
2021年3月に僕は「ゲーデル、エッシャー、バッハ―あるいは不思議の環： ダグラス・R. ホフスタッター」という本を紹介した。この本は1980年頃のコンピュータ技術で、将来のAIがどのように開発されるかという夢を数理論理学とソフトウェアのアルゴリズムを主軸に置く形で紹介した本だ。知的興奮に満ちた本だし、将来のAIはこの延長線上にあるのだと僕は思っていた。
ところが、予想はまったく外れた。ディープラーニングにしても、大規模言語モデル、そしてトランスフォーマーと呼ばれる技術は、まったく新しい技術だった。人間脳内の神経回路（ニューラルネットワーク）でどのように働いて思考や感情を生み出すかがほとんど解明されていないにもかかわらず、ソフトウェア上（あるいはハードウェア上）にニューラルネットワークを構成し、あたかも思考を行なっているように動作させることに成功したからだ。機械翻訳にしても、これまでのような文法解析はまったく必要としていない。これが驚きだった。
科学雑誌Newtonでディープラーニングや大規模言語モデル（ChatGPT）のあらましは知ることができた。しかしなぜそのように動作するのかは、自分でプログラミングしてみないとわからない。おちおちしている間に僕は完全に取り残されてしまった。プログラミングはあきらめて「使えるようになるだけ」で満足することにしようか？それとももう少し深く学んでみようか。。。
そのようなときに目にしたのが本書だった。科学雑誌Newtonよりは深く学べるのかしら？と思って読んだわけだ。136ページの薄い本だからすぐ読み終えることができた。章立てはこのとおり。
序章 チャットGPTがもたらした衝撃
1章 大規模言語モデルはどんなことを可能にするだろうか
2章 巨大なリスクと課題
3章 機械はなぜ人のように話せないのか
4章 シャノンの情報理論から大規模言語モデル登場前夜まで
5章 大規模言語モデルの登場
6章 大規模言語モデルはどのように動いているのか
終章 人は人以外の知能とどのように付き合うのか
あとがき
数式はまったく書かれておらず、あっという間に読み終えることができた。最初の6割は科学雑誌Newtonなどを通じて知っていたことばかりだった。残りの4割がためになった。以下のようなことが新たに得た知識で、あらたな驚きと好奇心が生じた。
1) 自己注意機構を使って次の単語を予測するしくみが理解できた。
2) 通常の汎化を超えた汎化（分布外汎化）を達成することにより、まだ見たことがないデータでも適応することができる。
3) 人間のフィードバックによる強化学習（目標駆動学習）が可能。
4) 特に衝撃を受けたのは「べき乗則」の発見である。データを増やすこと、モデルを大きくすること、そして投入計算量を増やすことで「確実に」性能はアップするのだ。一般にこれは成り立たない。機械翻訳では辞書の語数をいくら増やしても翻訳品質の向上には結びつかず、かえって品質低下をもたらすのだ。
そして、本書を読んでいちばん衝撃を受けたのは、なぜこのような学習によって性能が向上するのか、つまりなぜ「べき乗則」が成り立つのかがわかっていないという事実。ディープラーニングもそうだが、学習過程を完全にトレースすることは不可能なのである。
1980年代にプログラミングを学び始めた僕にとって、自分の理解を超えた挙動をするシステムは気持ち的に受け入れがたい。なぜだかわからないけれども結果を出してしまう化け物を目にしたときの感覚にとらわれた。これが物理シミュ―レーションであれば、内部の詳細の計算をトレースできなくても納得することができる。しかし、AIのように仕事や生活、そして社会全体に影響を与えるシステムであれば、その可能性や脅威の大きさは計り知れない。
あと、ふと思ったのは「ゲーデルの不完全性定理」との関係である。AIには解けない問題が存在するということに通じるわけだが、この結果とディープラーニング、大規模言語モデルとの関係はどのようになるのだろうか？数理論理的な意味ではディープラーニングや大規模言語モデルから生じる結果の正誤は判断できないわけだから、この問いは今のところ無意味なのだろうか？
限られた時間の中で学ぶこと、経験できることは限られる。この分野についても、よい本を選んで読むこと、あるいは適切なオンライン学習をしていきたいと思った。
手軽に読める本なので、ぜひお読みいただきたい。
関連記事：
ゲーデル、エッシャー、バッハ―あるいは不思議の環： ダグラス・R. ホフスタッター
https://blog.goo.ne.jp/ktonegaw/e/6220ca683bd90204f671b44633e56890
将棋ソフト（Bonanza、GPS将棋、Apery）
https://blog.goo.ne.jp/ktonegaw/e/9c39fa7ba13e6b9f06728f9d26097191
「大規模言語モデルは新たな知能か―ChatGPTが変えた世界：岡野原大輔」（Kindle版）（サポートページ）
序章 チャットGPTがもたらした衝撃
登場から二カ月で月間一億人が利用するサービスに
大規模言語モデルはこれまでにない汎用サービスを実現する
生活や社会を変えうる
社会への脅威となりうる
言語獲得の謎は解けるのか
新しい知能との付き合い方
1章 大規模言語モデルはどんなことを可能にするだろうか
文書の校正・要約・翻訳
プログラミングのサポート
ウェブ検索エンジンの上位互換
言語を使った作品を作る
言語以外を使った作品を作る
カウンセリング、コーチング
学習のサポート
高度な専門性が必要な仕事のサポート
人にやさしいインターフェース
科学研究の加速
演繹的なアプローチと帰納的なアプローチの融合
2章 巨大なリスクと課題
情報の信憑性――幻覚
幻覚の解決は簡単ではない
誤った情報の拡散
プライベートな領域に入り込む
価値観や偏見の扱い方
本人であることの証明が難しくなる
変わる仕事、残る仕事
AIの補助で仕事の構造が変わっていく
大規模言語モデルの開発が一部に独占される
3章 機械はなぜ人のように話せないのか
人は言語をどのように獲得し、運用しているのか
私たちは言語をいつのまにか獲得している
自然言語処理と機械学習
これまでの機械学習では言語獲得・運用は難しかった
4章 シャノンの情報理論から大規模言語モデル登場前夜まで
意味をなくし確率を使って情報を表わす――革命的だったシャノンの情報理論
どの文がもっともらしいか――言語モデル
言語モデルは言語を生成することができる
消された単語を予測することで言語理解の能力を獲得する
多様な訓練データをタダでいくらでも入手できる自己教師あり学習
問題の背後にある法則やルールを理解できるか――汎化
実験結果は言語モデルが意味や構造を理解していることを示唆する
言語モデルは文の意味を理解し、かつ文も生成できる
《コラム》圧縮器としての言語モデル
データを生成できるモデルの発展
《コラム》人も言語モデルから学習しているのか
5章 大規模言語モデルの登場
限界への挑戦
言語モデルの「べき乗則」の発見
データと計算力があれば知能が獲得できる
モデルを大きくすると問題が急に解けるようになる
《コラム》普遍文法と現在の大規模言語モデル
大規模化はどこまで進むのか
《コラム》人の脳とAI
プロンプトで変わるAIの使い方
AIを使った開発は誰でもできるようになる
人によるフィードバックを与える
6章 大規模言語モデルはどのように動いているのか
ニューラルネットワークの進化
ニューラルネットワークの学習――誤差逆伝播法
汎化――未知のデータの予測へ
ディープラーニングの登場
《コラム》アレックスネット開発の裏側
なぜディープラーニングはここまで成功したのか
《コラム》モデルサイズと汎化の謎
データの流れ方を学習し、短期記憶を実現する注意機構
大規模言語モデルを実現したトランスフォーマー
指示を受け、その場で適応していく本文中学習
人間に寄り添う生成のための目標駆動学習
チャットGPTでの矯正法
終章 人は人以外の知能とどのように付き合うのか
道具としての大規模言語モデル
間違いもするし、自分と考え方も違う人のように付き合う
人はこうしたツールを飼いならせるのか
コンピュータ将棋、囲碁のケース
人間自身の理解へ
あとがき
内容紹介：
対話型サービスChatGPTは驚きをもって迎えられ、IT企業間で類似サービスをめぐる激しい開発競争が起こりつつある。それらを支える大規模言語モデルとはどのような仕組みなのか。何が可能となり、どんな影響が考えられるのか。人の言語獲得の謎も解き明かすのか。新たな知能の正負両面をみつめ、今後の付き合い方を考える。
■著者からのメッセージ
本書では大規模言語モデルの可能性と課題、その仕組みを一般の方に向けて書きました。また最新の研究成果にもとづいて現時点でわかっている知見や将来の展望もまとめています。
本書では大規模言語モデルのもつ大きな可能性とともに、考えられるリスクについても述べています。そのリスクは非常に大きく、人類社会を脅かす可能性もゼロではない以上、よく向き合うべきだという懸念が世界的に示されています。今後、そうした可能性には具体的にどのようなものがあるかを検討し、どうすれば対応していけるのか、考えていく必要があります。
本書の後半では、これまで機械はなぜ人のように話せなかったのか、どのように言語モデルと機械学習が発展してきたのか、そして、ChatGPTを実現した大規模言語モデルはどのような仕組みであるのか、数式を用いずに解説しています。
しかしながら、大規模言語モデルがなぜこのように成功したのか、まだわかっていないところも多いのです。さらに言えば、私たちはまだ、なぜ人がうまく言語を獲得でき運用できるのか、深く理解できていません。大規模言語モデルと人の言語獲得には、解明すべき謎が多くあるのです。
今後、大規模言語モデルを人類が適切に扱えるようにしていくことが重要です。本書が大規模言語モデルを理解する一助になれば幸いです。
2023年6月20日刊行、136ページ
著者について：
岡野原大輔（おかのはら・だいすけ）
X（旧Twitter）：@hillbig
ホームページ：https://hillbig.github.io/
1982年生まれ。2010年東京大学大学院情報理工学系研究科博士課程修了、情報理工学博士。2006年Preferred Infrastructureを共同で創業、2014年Preferred Networks（PFN）を共同で設立。PFN代表取締役最高研究責任者およびPreferred Computational Chemistry代表取締役社長を務める。著書に『高速文字列解析の世界――データ圧縮・全文検索・テキストマイニング』『拡散モデル――データ生成技術の数理』（岩波書店）ほか。
著書を検索： 書籍版 Kindle版
大規模言語モデルに関する本を検索： 書籍版 Kindle版
ChatGPTに関する本を検索： 書籍版 Kindle版
理数系書籍のレビュー記事は本書で486冊目。
本書を僕が知ったのは通勤電車だった。前に立っていた男性が熱心に読んでいたからだ。カバーをかけていなかったからである。食い入るように読んでいたから気になって仕方がなくなり、スマホで検索してKindle版を即購入。
ChatGPTで初めて遊んだとき、かなりのショックを受けた。30年あるいは50年先になる映画『2001年宇宙の旅』に出てくるHAL 9000のような人工知能がいきなり目の前にあらわれたからだ。2016年にディープラーニング技術を使った囲碁や将棋で名人を超えるAIが登場したとき、画像生成AIが登場したときの衝撃よりもはるかに大きなショックだ。
2021年3月に僕は「ゲーデル、エッシャー、バッハ―あるいは不思議の環： ダグラス・R. ホフスタッター」という本を紹介した。この本は1980年頃のコンピュータ技術で、将来のAIがどのように開発されるかという夢を数理論理学とソフトウェアのアルゴリズムを主軸に置く形で紹介した本だ。知的興奮に満ちた本だし、将来のAIはこの延長線上にあるのだと僕は思っていた。
ところが、予想はまったく外れた。ディープラーニングにしても、大規模言語モデル、そしてトランスフォーマーと呼ばれる技術は、まったく新しい技術だった。人間脳内の神経回路（ニューラルネットワーク）でどのように働いて思考や感情を生み出すかがほとんど解明されていないにもかかわらず、ソフトウェア上（あるいはハードウェア上）にニューラルネットワークを構成し、あたかも思考を行なっているように動作させることに成功したからだ。機械翻訳にしても、これまでのような文法解析はまったく必要としていない。これが驚きだった。
科学雑誌Newtonでディープラーニングや大規模言語モデル（ChatGPT）のあらましは知ることができた。しかしなぜそのように動作するのかは、自分でプログラミングしてみないとわからない。おちおちしている間に僕は完全に取り残されてしまった。プログラミングはあきらめて「使えるようになるだけ」で満足することにしようか？それとももう少し深く学んでみようか。。。
そのようなときに目にしたのが本書だった。科学雑誌Newtonよりは深く学べるのかしら？と思って読んだわけだ。136ページの薄い本だからすぐ読み終えることができた。章立てはこのとおり。
序章 チャットGPTがもたらした衝撃
1章 大規模言語モデルはどんなことを可能にするだろうか
2章 巨大なリスクと課題
3章 機械はなぜ人のように話せないのか
4章 シャノンの情報理論から大規模言語モデル登場前夜まで
5章 大規模言語モデルの登場
6章 大規模言語モデルはどのように動いているのか
終章 人は人以外の知能とどのように付き合うのか
あとがき
数式はまったく書かれておらず、あっという間に読み終えることができた。最初の6割は科学雑誌Newtonなどを通じて知っていたことばかりだった。残りの4割がためになった。以下のようなことが新たに得た知識で、あらたな驚きと好奇心が生じた。
1) 自己注意機構を使って次の単語を予測するしくみが理解できた。
2) 通常の汎化を超えた汎化（分布外汎化）を達成することにより、まだ見たことがないデータでも適応することができる。
3) 人間のフィードバックによる強化学習（目標駆動学習）が可能。
4) 特に衝撃を受けたのは「べき乗則」の発見である。データを増やすこと、モデルを大きくすること、そして投入計算量を増やすことで「確実に」性能はアップするのだ。一般にこれは成り立たない。機械翻訳では辞書の語数をいくら増やしても翻訳品質の向上には結びつかず、かえって品質低下をもたらすのだ。
そして、本書を読んでいちばん衝撃を受けたのは、なぜこのような学習によって性能が向上するのか、つまりなぜ「べき乗則」が成り立つのかがわかっていないという事実。ディープラーニングもそうだが、学習過程を完全にトレースすることは不可能なのである。
1980年代にプログラミングを学び始めた僕にとって、自分の理解を超えた挙動をするシステムは気持ち的に受け入れがたい。なぜだかわからないけれども結果を出してしまう化け物を目にしたときの感覚にとらわれた。これが物理シミュ―レーションであれば、内部の詳細の計算をトレースできなくても納得することができる。しかし、AIのように仕事や生活、そして社会全体に影響を与えるシステムであれば、その可能性や脅威の大きさは計り知れない。
あと、ふと思ったのは「ゲーデルの不完全性定理」との関係である。AIには解けない問題が存在するということに通じるわけだが、この結果とディープラーニング、大規模言語モデルとの関係はどのようになるのだろうか？数理論理的な意味ではディープラーニングや大規模言語モデルから生じる結果の正誤は判断できないわけだから、この問いは今のところ無意味なのだろうか？
限られた時間の中で学ぶこと、経験できることは限られる。この分野についても、よい本を選んで読むこと、あるいは適切なオンライン学習をしていきたいと思った。
手軽に読める本なので、ぜひお読みいただきたい。
関連記事：
ゲーデル、エッシャー、バッハ―あるいは不思議の環： ダグラス・R. ホフスタッター
https://blog.goo.ne.jp/ktonegaw/e/6220ca683bd90204f671b44633e56890
将棋ソフト（Bonanza、GPS将棋、Apery）
https://blog.goo.ne.jp/ktonegaw/e/9c39fa7ba13e6b9f06728f9d26097191
「大規模言語モデルは新たな知能か―ChatGPTが変えた世界：岡野原大輔」（Kindle版）（サポートページ）
序章 チャットGPTがもたらした衝撃
登場から二カ月で月間一億人が利用するサービスに
大規模言語モデルはこれまでにない汎用サービスを実現する
生活や社会を変えうる
社会への脅威となりうる
言語獲得の謎は解けるのか
新しい知能との付き合い方
1章 大規模言語モデルはどんなことを可能にするだろうか
文書の校正・要約・翻訳
プログラミングのサポート
ウェブ検索エンジンの上位互換
言語を使った作品を作る
言語以外を使った作品を作る
カウンセリング、コーチング
学習のサポート
高度な専門性が必要な仕事のサポート
人にやさしいインターフェース
科学研究の加速
演繹的なアプローチと帰納的なアプローチの融合
2章 巨大なリスクと課題
情報の信憑性――幻覚
幻覚の解決は簡単ではない
誤った情報の拡散
プライベートな領域に入り込む
価値観や偏見の扱い方
本人であることの証明が難しくなる
変わる仕事、残る仕事
AIの補助で仕事の構造が変わっていく
大規模言語モデルの開発が一部に独占される
3章 機械はなぜ人のように話せないのか
人は言語をどのように獲得し、運用しているのか
私たちは言語をいつのまにか獲得している
自然言語処理と機械学習
これまでの機械学習では言語獲得・運用は難しかった
4章 シャノンの情報理論から大規模言語モデル登場前夜まで
意味をなくし確率を使って情報を表わす――革命的だったシャノンの情報理論
どの文がもっともらしいか――言語モデル
言語モデルは言語を生成することができる
消された単語を予測することで言語理解の能力を獲得する
多様な訓練データをタダでいくらでも入手できる自己教師あり学習
問題の背後にある法則やルールを理解できるか――汎化
実験結果は言語モデルが意味や構造を理解していることを示唆する
言語モデルは文の意味を理解し、かつ文も生成できる
《コラム》圧縮器としての言語モデル
データを生成できるモデルの発展
《コラム》人も言語モデルから学習しているのか
5章 大規模言語モデルの登場
限界への挑戦
言語モデルの「べき乗則」の発見
データと計算力があれば知能が獲得できる
モデルを大きくすると問題が急に解けるようになる
《コラム》普遍文法と現在の大規模言語モデル
大規模化はどこまで進むのか
《コラム》人の脳とAI
プロンプトで変わるAIの使い方
AIを使った開発は誰でもできるようになる
人によるフィードバックを与える
6章 大規模言語モデルはどのように動いているのか
ニューラルネットワークの進化
ニューラルネットワークの学習――誤差逆伝播法
汎化――未知のデータの予測へ
ディープラーニングの登場
《コラム》アレックスネット開発の裏側
なぜディープラーニングはここまで成功したのか
《コラム》モデルサイズと汎化の謎
データの流れ方を学習し、短期記憶を実現する注意機構
大規模言語モデルを実現したトランスフォーマー
指示を受け、その場で適応していく本文中学習
人間に寄り添う生成のための目標駆動学習
チャットGPTでの矯正法
終章 人は人以外の知能とどのように付き合うのか
道具としての大規模言語モデル
間違いもするし、自分と考え方も違う人のように付き合う
人はこうしたツールを飼いならせるのか
コンピュータ将棋、囲碁のケース
人間自身の理解へ
あとがき
アクセス
トータル
ランキング
お久しぶりです。
1980年代後半にニューラルネットワークを弄っていたのですが、細かい動作がブラックボックスであるにも係わらず、入力に対する出力を学習させると、それらしい答えを出す .... それらしいどころか正解を出すところをとても不思議と感じ、最初はうさんくささを感じました。
一旦そのような動作を受け入れることで、味や匂いのセンシングに役立つことを見いだし、原理の追求ではなく応用の面白さにハマったものです。
chatGPTが導く出力は、それが正しいか間違っているかではなく、人間が言語を使う様子をただ学習して単語を繋ぐだけ。つまり本質は、我々人間の言葉使いを無条件に学習しているわけですよね。
つまり情報の民主主義と言えるのではないかと感じています。国民が愚かなら国家も愚かになるし、国民が自分事として政治を考えれば、国家も愚かなことをしづらくなるのと同じではないかと、そんなことを思います。
一言で言えない事柄かも知れませんが、ふとそんなようなことを考えました。
お久しぶりです。
「良くも悪くも情報の民主主義」という解釈にはっとさせられました。どのようなAIになるかは私たち次第なのですね。ChatGPTは言葉を操り、紡ぎ出しますが、論理的な方法で思考をするようになるわけではありません。
今後、自分を含め私たちの仕事や生活、社会にどのような影響を与えていくのかを興味深く見守っていきたいと思います。
そういう人たちが機械に置き換えられるのは必然なわけで、元から人間のふりをしてただけです。
ついに自分を騙してたのがバレたんですが、気づいてないだろうなー。
それ、めっちゃ深いです！
chatGPTは、人々を単に映し出している鏡．．．
つまり考える前に行動して、それをする理由は後付けで作られるとか。
これから意識とはエピソード記憶を引用しやすくするためのタグであって、記憶の頭に付けられるから意識が行動に先行すると錯覚するだけ。という説が出てるそうで、こりゃ思考も自由意志もないですね。
何らかのアルゴリズムで行動したものを後付けで自由意志と錯覚してるだけとは、皆信じないでしょうね。