人工知能と対話をしてみる。
＞
あなたの日本語はどこで学習しましたか？
私はOpenAIが提供する自然言語処理技術の一環として、日本語を学習しました。日本語の学習には、多数の日本語の文章や書籍、ウェブページ、ニュース記事、そして日本語の話者が発話する音声データなどを使用しています。また、私たちは専門の言語学者や日本語教師からの指導も受けています。これらの方法を通じて、私は自然な日本語の文章や会話を生成できるようになりました。
学習量はどれくらいありますか？
OpenAIは、私を含む多数のモデルを開発しており、それぞれのモデルが異なる学習量を持っています。私はGPT-3.5というアーキテクチャで訓練された大型の言語モデルであり、学習に使用されたデータは約45テラバイトにも及びます。このデータは、多数のウェブページ、書籍、ニュース記事、Wikipediaの記事、そして日本語の発話データなどから収集されました。この大量のデータを使用することで、私は高度に自然な日本語を生成することができます。
具体的なウェブページ、ニュース記事を教えてください。
申し訳ありませんが、私は情報源として特定のウェブページやニュース記事を提供することはできません。ただし、日本語で書かれた多数のウェブページやニュース記事があります。例えば、NHKニュースや朝日新聞、読売新聞、毎日新聞、日本経済新聞、CNN Japan、BBC News Japanなどが挙げられます。また、Wikipedia日本語版も、日本語の情報を検索する上で重要な情報源の一つです。
日本語文章になっている回答だから、信じてしまう、言語の魔法だ！
もっとも本物らしい偽物ととらえるべきであるが、政治家の答弁に活用しようと、経済産業省の役人に使わせるような、そんなことを言っている。本物か偽物かの境めはそう、答弁は役人が作ってきたのを大臣が代読していたようなものだから、偽物を本物らしくではなくて、答弁そのものを本物にすべく偽物であったわけ、ChatAIは、日本語版のウイキペディアがご愛用と言っているから、かつて国会でもめた、どこの誰とも知れないフリー百科の文章をくたして貶める発言が議員にあったけれど、人工知能が学習してくるとそれらしくなってしまうということか。
https://ainow.ai/2022/05/23/264997/
AINOW編集部 2022.05.23
GPT-4は間もなく登場。それについて私たちが知っていること。
＞GPT-4は2022年の7月から8月頃にリリースされ、その特徴は以下のような5項目
自然言語処理の最新研究にもとづいて予想されるGPT-4の特徴
モデルサイズ至上主義からの方向転換：最新の自然言語処理研究によって、モデルサイズは言語モデルの性能を決定する要因のひとつに過ぎないことが判明した。こうした知見により、GPT-4開発ではモデルサイズ増加が最重要視されないので、そのパラメータ数はGPT-3を少し上回る程度だろう。
計算予算分配の最適化：最新の研究によると、モデルサイズと学習データ量の最適な関係が満たされると、言語モデルの性能は最大化される。GPT-4開発では、計算予算をモデルサイズ増加と学習データ量増加のそれぞれに最適に分配されるだろう。
ユニモーダルモデル：GPT-4はテキストのみを処理するユニモーダルモデルとなり、テキストから画像を生成するDALL-E 2のようなマルチモーダルモデルにはならないだろう。
高密度モデル：GPT-4は、GPT-3と同様にすべてのパラメータを使ってタスクを遂行する高密度モデルとなり、近年評価されているタスクの遂行にパラメータの一部のみを使うスパース性は備えないだろう。
アライメント問題への対応：GPT-4は、出力に関して人間の評価を組み込んだ言語モデルInstructGPTの知見を取り入れたより「倫理的なAI」となるだろう。
