暫定的で力ずくな方法

　人の顔を認識するコットレルさんのニューラル・ネットワーク＊01では、シナプス結合の重みづけ配置を見つけるために逆伝播法（backpropagation）を採用していました。その大まかな手続きは、チャーチランドさん＊02によれば次のようなものでした。　
　まずAさんの写真を入力層に投影します。当然その写真に顔が映っていることやAさんの性別、人名を表すコード番号はわかっています。最終的に重みづけを調整して出力層にAさんのそれらを示すコードが表示されればよいことになります（出力層の8つの細胞の最初の一つは顔性（人の顔であるか否か）、2・3個目は男・女の性別、残りの５つが人名のコード番号を出力するように調整されています）。
　最初は、シナプスの重みをすべて、ランダムに、正（興奮性）か負（抑制性）のあまり大きくない値に設定し、出力層に出力された値を確認します。この実際の出力を目標の出力（正解のコード）と比べると当然ながら大きな誤差があるのがわかります。
　そこで目標ベクトルの各成分から実際のベクトルの対応成分を引き、さらにこの八つの誤差をそれぞれ二乗して小さな誤差に対する大きな誤差の相対的重要性を際立たせます（小さな誤差は耐えられますが、大きな誤差はただちに修正されなければなりません）。この八つの二乗誤差の平均は平均二乗誤差とよばれ、これを減らすことによって正解に近づけていくのです。


出力層における平均二乗誤差の計算＊02

　具体的には、ネットワークのシナプスの重みのうちひとつ以外はすべて最初の値（ランダム）のまま一定に保ち、残るひとつの重みを少しずつ増減させ、出力ベクトルを目標ベクトルに近づけていく、という作業をします。ひとつの重みを少し変えて若干誤差を減らした後、今度は、そのすぐ隣の結合の重みに焦点を移して、まったく同じ手続きを繰り返します。この後、さらにこの長々とした手続きを第二、第三、等々のものに繰り返していくのです。
　もちろん、これらベクトルの提示から誤差の計算、重みの反復調整に至るまで全作業を在来型の直列コンピュータに任せることができます。
　すなわちコンピュータは各入力を生徒であるニューラル・ネットワークに提示して、各出力に含まれる誤差を計算し、上記の原理に従って重みを調整していくことになります。ネットワークの出力の平均二乗誤差が可能な限り小さくなるまで、つまり、訓練セットに対するネットワークの振舞いが「頂点に達する」まで、訓練セットのすべての入出力ペアにわたって、この手続きをコンピュータに繰り返させるのです（この手法を「教師あり学習」と呼んでいます）。
　実はこの逆伝播法（backpropagation）の考え方は、ローゼンブラットさんがパーセプトロンを発表した1960年代からすでに知られていた手法でしたが、計算の技術的課題やコンピュータの処理能力の問題で、何度も再発見されてきた手法でもありました。ネットワークの複雑さによって違いますが、この作業に要する時間は、最高級の機械で計算しても、何時間、何日、あるいは何週間、何カ月にもなる場合があり、コンピュータの計算能力に依存した、いわば力ずくの処理方法でもあったのです。
　チャーチランドさんは、シナプス結合の重みづけ配置を見つけるためのこうした手法は、経験の圧力に応じてネットワークのシナプスを絶えず調整するという点では、生物学的な実在性がある、といいます。ところが、残念ながら、その他の点では、ほぼいかなる点においても、生物学的な実在性がなく、あくまで脳の実際の学習手続きが見つかるまでの暫定的手法にすぎない、と述べています。しかしそれでも、それによって、目指す技能つまり変形能力をほんとうに学習したネットワークが得られる、というのです。

＊01：Categorization of faces using unsupervised feature extraction／Garrison W. Cottrell 　M.K. Fleming ／1990

＊02：認知哲学－脳科学から心の哲学へ／ポール・M・チャーチランド／信原幸弘・宮島昭二訳／産業図書　1997.09.04