基本的なニューラルネットワークでもある「階層型パーセプトロン」（第１図）を用いて、「３ビット信号を入力し、その反転信号を出力する」プログラムを作成し、実験を試みました。
階層型パーセプトロンは、入力層：３ユニット、中間層：９ユニット、出力層：３ユニットの構造とし、各ユニットには各々異なる閾値を設定しました。
学習方式は「バックプロパゲーション方式」を採用し、全てのパターンを繰り返し学習しながら、自動的にモデルの最適化を図っていくものです。
第１図・階層型パーセプトロンの構造
１回の学習が終わる毎に、全パターンの入力に対して、各々正しく反転できるかどうか、その誤差の変化を見てみました。学習回数と誤差の合計の推移を第２図に示します。
第２図・反復学習回数と誤差の関係（縦軸：誤差，横軸：反復学習回数）
学習を重ねるにつれて誤差は減少していきますが、300～400回の辺りと600～800回の辺りで誤差が急降下しているようです。それまでゆっくりと誤差が減少していたのに、ある時ふと一気に誤差が減る・・・という状態があるようです。
それまでずっと勉強し続けて、少しずつ少しずつ理解を深めていって・・・ある時、ふと「わかったぞ！」という悟りの瞬間が訪れる・・・そんな状態に似ているのかもしれません。
階層型パーセプトロンは、入力層：３ユニット、中間層：９ユニット、出力層：３ユニットの構造とし、各ユニットには各々異なる閾値を設定しました。
学習方式は「バックプロパゲーション方式」を採用し、全てのパターンを繰り返し学習しながら、自動的にモデルの最適化を図っていくものです。
第１図・階層型パーセプトロンの構造１回の学習が終わる毎に、全パターンの入力に対して、各々正しく反転できるかどうか、その誤差の変化を見てみました。学習回数と誤差の合計の推移を第２図に示します。
第２図・反復学習回数と誤差の関係（縦軸：誤差，横軸：反復学習回数）学習を重ねるにつれて誤差は減少していきますが、300～400回の辺りと600～800回の辺りで誤差が急降下しているようです。それまでゆっくりと誤差が減少していたのに、ある時ふと一気に誤差が減る・・・という状態があるようです。
それまでずっと勉強し続けて、少しずつ少しずつ理解を深めていって・・・ある時、ふと「わかったぞ！」という悟りの瞬間が訪れる・・・そんな状態に似ているのかもしれません。
