対話型AIの得意・不得意

一昨日触れた対話型AIは、「何かを作ってもらう質問に対しては良い答えを返してくれるけど、具体的な事実に基づいた質問には驚くほどしれっと嘘を吐き出す」という評判だ。そこで、自分の祖父のことを聞いてみた。祖父はwikipediaにも項目がある児童文学作家なので、その情報を参照して正しい答えを導き出してくれるはず・・・。

---------------------------------------------------------------------
Q：「●●●●という児童文学作家について教えて」

A：●●●●は、日本の児童文学作家です。1928年に生まれ、1992年に亡くなりました。東京教育大学（現・筑波大学）卒業後、小学校教員を経て、1959年に児童文学作家としてデビューしました。

代表作には、「ぼくはマンボウを食べたかった」、「ちびっこ捕虫師」、「五右衛門」などがあります。彼の作品は、自然や動物、そして子どもたちが直面する問題などをテーマにしています。また、彼は写真も撮影しており、自身の作品に写真を使用することもありました。

彼は、1970年に「五右衛門」で読売児童文学賞を受賞し、1983年には「にんじん」でメルヘン・童話大賞を受賞しました。また、1988年には、日本児童文学者協会賞を受賞しています。
---------------------------------------------------------------------

・・・！

生年・没年・学歴・職歴・作品名・受賞歴・・・ぜーーーーーーーーーんぶまったく違う。すがすがしいぐらい嘘の答えだ。「ぼくはマンボウを食べたかった」「ちびっこ捕虫師」ってなんだよ・・・そんな本、うちのじーさんは書いてませんってば。

その後もいろいろな質問をこのAIで試してみたけれど、得意・不得意がかなりはっきり分かれていることがわかった。「創造的な答え」を求める質問に対しては、かなり的確で面白い答えを返してくれる。「●●と○○を使っておかずを2品作って」、「××と△△をキーワードにした小説を書いて」みたいな質問は得意みたいだ。驚くことに、「*******の開発に関する論文の研究背景を書いて」「***と●●●をキーワードにした研究テーマのアイデアをいくつか出して」みたいな質問を投げかけてみても、結構「それっぽい」答えを返してくる。一方、先ほどの例のように「情報」を求める質問に対しては、しれっと嘘の答えを堂々と流してくることが多い。

でもこんなAIでも、5年後ぐらいたつと驚くぐらい進化するんだろうなぁ・・・