ブラックボックス

　AI（ Artificial Intelligence＝人工知能）の最大の特徴は、自ら「学習」する能力と、その学習成果を利用して、情報が欠損したり、不足した状態でも適切に処理する「推論」という能力を持っていることです。そしてGPT-4などの最新の大規模言語モデルは、非常に高い性能を有していて、ほぼ「知能」を持っていると見做してもよいのではないか、とも言われています。
　そこで問題となるのが、このような高い性能を誇るAIモデルが、実は、どのような思考を経て応答を出力しているのかが、開発者ですら把握できていない、という問題です。
　AIは、人間の脳の神経回路の働きを、計算機モデルに変換したニューラル・ネットワーク・モデルを根幹とするもので、シナプス結合の最適な重みづけ配置が「学習」によって獲得されたものです。
　カリフォルニア大学サン・ディエゴ校のガリソン・コットレルさんが1990年に発表した顔認識ネットワークでは、最適な重みづけ配置がなされた中間層がわずか一層であったことから、ネットワーク内のどのふたつの細胞についても、それらをつなぐシナプス結合の正確な値を知ることができました（ちなみに、このモデルで最適化する必要のある変数（シナプス結合）の数（パラメータ数）は、32万8320個でした）。しかし現在のAIネットワークは、中間層が多層なうえに、膨大な入力資源をもとに、スーパーコンピュータの能力をつかって、いわば力づくで、自動的に実行されていったものなのです（OpenAI社のGPT-3.5のパラメータ数は1750億個、最新のGPT-4はその500倍の100兆個ともいわれています）。それは、莫大な数のニューロンをつなぐ莫大な数のシナプスの「重みづけ」の複雑な関係を表現したネットワークであり、この「重みづけ」すなわち計算根拠をひとつずつ解明するのは、現時点では、ほぼ不可能に近いことなのです。
　これをAIのブラックボックス問題と呼んでいます。
　完成したニューラル・ネットワークの思考の仕組みはブラックボックス化していて、人間が読み解くのは難しく、したがって修正や評価も困難ということになります。それはたとえばAIを使った車の自動運転のように、人の命を左右するようなシステムの場合、万が一AIの判断ミスで事故が起こってしまっても、その原因を突き止めることが困難になることを示唆しています。このような問題のあるAIシステムの利用は当然懸念材料となります。
　そこで、AIの開発者たちはニューラル・ネットワークの思考を理解する手法の開発に取り組んでいます。昨年の10月にはニューラル・ネットワークをニューロン単位ではなく「features （特徴）」という単位にまとめる手法が発表＊01されました。ニューラル・ネットワークを特徴ごとに分類することで、たとえば「法律文章に反応する特徴」「DNA列に反応する特徴」といった解釈可能なパターンを見つけ出すことが可能となる、というのです。さらに今年の６月には、OpenAI社が大規模言語モデルの思考を読み取る手法を開発し、GPT-4の思考を1600万個の解釈可能なパターンに分解できたことを発表＊02しています。しかしながら、それでも同社はGPT-4の動作全体を分析することはできておらず、また、特徴の検出はニューラル・ネットワークを理解する1つのステップに過ぎない、といいます。同社は、さらなる理解のためには多くの作業が必要と述べていて、未解決の課題を解決するべく研究を続ける姿勢を示しています。


Black box systems

＊01：ニューラル・ネットワークの中身を分割してAIの動作を分析・制御　する試みが成功、ニューロン単位ではなく「特徴」単位にまとめるのがポイント／2023-10-10／ GIGAZINE

＊02：OpenAIがGPT-4の思考を1600万個の解釈可能なパターンに分解できたと発表／2024-06-07／GIGAZINE