Fireside Chat with Ilya Sutskever and Jensen Huang: AI Today and Vision of the Future

Fireside Chat with Ilya Sutskever and Jensen Huang: AI Today and Vision of the Future


2023/3 の GTC2023 での、
OpenAI のCTO（だった）Ilya Sutskever と
NVIDIA の Jensen Huang の対話。

この動画はイントロだけで、
約１時間にわたる全体は
NVIDIA のサイト
で見ることができる。
（抜粋版も非公式にいろいろとあがっている。）

Jensen Huang が Ilya に
質問する形式だが、
さすがに質問が素晴らしい。

以下は質問と回答のいくつかの例：

質問：「なぜ Deep Learning が機能すると思ったのか？」
回答：教師無し学習（自己教師あり学習）のアイデアの
素晴らしさは、それが情報圧縮だということだ。
GPT のようなモデルは、次の単語を予測することの学習
を通じて、テキストの背後にある現象について学習できる」

質問：「スケーリング則についての直観と、
GPT 群の開発のどちらが先行したのか？」
回答：「自分は、大きいほど良いということを
ずっと信じてきた」

質問：「生成 AI の分野で
今後１，２年の未来に起こることは？」
回答：「予測するのは難しいが、一番頑張っているのは
モデルの信頼性をあげることだ」

質問：「ChatGPT や GPT-4 について
あなた自身が一番驚いた能力は？」
回答：「詩を書いたり、ジョークを理解したりすること」
「そもそも、とても単純なアイデアと学習アルゴリズムが
機能したということが、最大の驚きだ」

「自己回帰的な単語の予測学習と、
Dota2 などで培った強化学習手法が合流して
ChatGPT になった。RLHF もとても重要。」
というコメントもうなづける。

Ilya は今、どうしているのだろう？