ChatGPTの衝撃（2023年のこと）

　昨年、ChatGPTはさまざまな意味で世界に衝撃を与えた。その中で、以下の3つがおそらく最も大きな衝撃であった。

　1つ目は、ChatGPTが普通の文で質問に答え、何でもやってくれそうに見えるため、シンギュラリティが近づいているのではないか、多くの仕事が奪われるのが現実になるのではないかという危機感を抱かせたことである。

　2つ目は、これまで変な回答をするのではないかという恐れから公開を躊躇していたGAFAMが、ChatGPTに衝撃を受けたことだ。特に、Microsoftは早くからOpenAIに投資し、Azureを使って大量データの学習を行っていたため、すぐにBingにAIを搭載したが、Googleは激震を受けたと言われる。その後、GoogleやMetaも新しいAIを公開したが、Bardは最初の登場時に時折変な答えをすることがあり、批判された。

　3つ目は、ChatGPTや新たな大規模言語モデル（LLM）のエンジンを使ってAIサービスを開始しようとする動きがあったことだ。テレビ東京のドキュメント番組では、シリコバレーのエンジニアたちが興奮している様子が取り上げられた。松尾豊氏の言葉を借りれば、第4次AIブームが来たのではないかという状況である。

　イーロンマスクや他のアメリカの開発者たちはChatGPTの開発に対して警告を発し、AIの使い方についてもう少し検討すべきだとし、開発を6か月間停止すべきだと主張した。日本のホリエモンは、6か月という期間を区切ったことから、後発のAI企業などの思惑が絡んでいると指摘した。META、Google、X、Microsoftなども大量の解雇を行ったり、発表したりしており、GAFAMはIT業界の後退局面をどう乗り越えるか模索していた。

ChatGPTは、実際に何ができるのか。どんなAIなのか。GPT-4に質問してみた。

■ChatGPTは、どんなAIで、何ができるか

ChatGPTは、OpenAIによって開発された大規模な言語モデルで、GPT-4アーキテクチャをベースにしている。このAIは、自然言語処理（NLP）タスクにおいて高い性能を発揮し、さまざまな用途で利用できる。主な機能は以下の通りだ。

自然言語の理解：文章や質問を理解し、適切な回答や情報を提供する。
文章生成：与えられたテーマや文脈に基づいて文章を生成する。物語やブログ記事、ニュースなどの作成が可能。
質問応答：質問に対する回答や解決策を提案する。一般的な知識から専門的な内容まで対応可能だが、知識のカットオフは2021年9月までである。
概要作成：長い文章や記事を要約して、短く簡潔な概要を作成する。
翻訳：複数の言語間での翻訳が可能。
コンテンツの改善：文章の文法や表現を修正し、より明確で洗練された文章に編集する。
ただし、ChatGPTは学習データに基づいて生成された回答を提供するため、最新の情報や未知のトピックに対応できない場合がある。また、時折誤った情報を提供することもあるため、利用者はその点に注意して活用する必要がある。

■GPT-4アーキテクチャとはどんなしくみか

GPT-4（Generative Pre-trained Transformer 4）アーキテクチャは、OpenAIが開発した大規模な深層学習モデルで、自然言語処理（NLP）タスクにおいて高い性能を発揮する。GPT-4は、GPT-3の後継モデルとして、性能向上とスケーラビリティの追求が行われている。以下の要素に基づいている。

トランスフォーマーアーキテクチャ：自己注意（self-attention）メカニズムを利用し、入力されたシーケンスの文脈を効果的に捉えることができる。
生成的事前学習：大量のテキストデータを用いて非監視学習で事前学習され、自然言語の文法や構造、一般的な知識を獲得する。特定のタスクに適応するために、監視学習を用いて追加の学習（ファインチューニング）が行われる。
マスクなし言語モデル：入力されたテキストの次に来る単語やフレーズを予測することで、文章生成や質問応答などのタスクを行う。
スケーラビリティ：大規模なデータセットや計算リソースを活用することで、性能が向上する。
逐次的な処理、転移学習、ファインチューニングにより、GPT-4は自然言語理解や生成、質問応答、翻訳、要約など、多様なNLPタスクを効率的にこなすことができる。ただし、GPT-4も完全ではなく、時折誤った情報を提供したり、意図しない文章を生成することがある。また、学習データに含まれていない最新の情報や未知のトピックに関しては対応が難しい場合があるため、利用者はGPT-4の回答や生成物を慎重に評価し、適切な応用や修正が必要である。

ただし、GPT-4も完全ではなく、時折誤った情報を提供することがあるし、意図しない文章を生成することもある。また、学習データに含まれていない最新の情報や未知のトピックに関しては対応が難しい場合もある。そのため、利用者はGPT-4の回答や生成物を慎重に評価し、適切な応用や修正が必要な場合があることを理解しておくことが重要である。
(ここにある「自己注意（self-attention）メカニズム」というのは、トランスフォーマーの面白い点で、OchiaiAIのイリア・サツキバーは、このメカニズムを知り、GPTの開発に取り掛かることができたと、どこかで読んだ記憶がある）.

　これを見ると、ChatGPTはいろいろな自然言語処理ができるが、最新の情報を持っていなくて、時おり過ちを犯すと言っている。したがって、現在、ChatGPTを使ったさまざまなサービスが開発されようとしているが、最新の情報を学習させたり、専門的な分野に特化させたり、できるだけ誤りを少なくする工夫をしているようだ。ChatGPT側からも、それらのプラグインのようなものを使って、たとえば旅行などを企画した場合に、専門のサイトと連携して、ぴったりの旅館の予約ができたりする。GPTを使って記事を書くこともできないことはないが、そのまま使うには問題があるようだ。
また、現在開発競争が行われているGoogleのBardやMicrosoftのCopilotなど、さらにAdobeの画像生成システムAdobeFirlyなどもいろいろなことに活用できるだろう。要するに、ChatGPTの登場は自然言語処理の世界に大きな一歩を踏み出させたということを理解することが重要である。これは、MicrosoftやGoogleが途中まで挑戦し、手をつけるのを先延ばししていたことを、「間違った回答もします」と公言することで乗り越えたものだ。ChatGPTでも、悪いことを全くできないというわけではなく、とんでもないことを言わせることも可能である。

　大切なことは、ChatGPTは何かを知っている機械ではないということである。それは、質問という条件の中で最も妥当な言葉を選択し、並べているだけである。つまり、ChatGPTは、微視的には、常に次にどの言葉をつなげるべきかを確率的に計算し、その結果、最も確率の高い言葉を並べているわけである。これは、おそらくベイズ的推定によって行われている。この意味では、脳が言語を生成している場合と微視的には同じかもしれない。ただし、数兆個のコーパスを持っていると言われているので、それは言語的な知識となっている可能性がある。アメリカの現在の大統領は誰かという質問にトランプと答えるのは、そういう知識があるからである。ここには、一種の推論のようなものさえ見える。まるで人間が考えているかのように見える。

　だから、ChatGPTの最も適切な活用法は、いかに言葉の選択をやりやすいような条件を与えることにある。落合陽一が動画で実演し、自分の履歴を渡し、それに基づいて自分になりきって文章を生成させる方法は、最も妥当なやり方であると思われる。つまり、ChatGPTは何かになりきって文章を生成することができ、それが最も適切な文章生成の方法であると言える。今年から、GPT'sというストアがオープンし、特別にカスタマイズされたChatGPTが登場する。ChatGPTとの付き合い方の最終形態は、おそらくそこにあると思われる。また、今年1年、OchiaiAIに翻弄されることになるかもしれない。