Sakana.Ai が「AI サイエンティスト」を発表

元Google AIの研究者であるLlion Jones氏と
David Ha氏が2023年8月に日本に設立した
AI スタートアップ Sakana.AI が、
LLM を使って、ほぼ自動で
機械学習の研究を行う AIエージェント
「AIサイエンティスト」を発表した。

研究の分野を設定し、
種となる論文とプログラムを与えると、
それをベースとして性能を向上させるような
アイデアを創り出し、
そのアイデアに基づいて実験を行い、
その結果を論文にまとめる、
というプロセス全体を
自動で実行するという。

さらに、生成された論文を評価するための
自動査読システムも開発している。

実際に作成された論文を見たが、
ざっと読んだ感じでは、
人が書いたような感じだった。

自動査読システムの評価では、
機械学習のトップ国際会議に
採択されるレベルに
ぎりぎり届かないくらい、
ということで、
３つの分野で 30本くらいずつ
合計 100本くらい作成した中の
１本が、Weak Accept（ぎりぎり採択レベル？）
に達したようだ。

原理的には、このシステムを
動かし続ければ、AI自身が能力を
自分で向上させてゆくことができる。

最近の AI のニュースの中では
インパクトがあった。

今後、ベンチマーク問題の一つとして
いろいろな人が参加して
研究が急速に進みそうで、
実際に成果が出るのかどうか、
楽しみのような、怖いような・・・