機械学習と人工知能が異なる過学習のメカニズム

20世紀のあいだはブレークスルーもなく低迷していた人工知能研究ですが、21世紀に入って10年ほど経ったところで、救いの手が思いもかけない方からやってきました。

いわゆる深層学習の登場です。深層学習はそれらしい名前が付いてはいるものの本質的にニューラルネットワークと同じもののようです。ニューラルネットワークは多数ある機械学習の手法の中で、脳の基本構成体であるニューロンの機能にヒントを得て提案されたひとつの手法です。

機械学習には多彩な手法があり、虫の群知能にヒントを得たスウォーミングや、二分木のボ―ティングに基づくランダムフォレストなどがありますが、この辺りは私も良く分かりません。ニューラルネットワークの評価はあくまでパフォーマンスの良しあしでしか評価されません。

知能のモデルとして妥当であるか以前に人間にもできることが出来ないならそもそもモデルとしての妥当性が疑われるからです。この点でニューラルネットワークは他の手法に比べ大きく劣っていました。一番劣っていたのは汎化性能と呼ばれる性能です。

汎化性能とは、学習していないデータセットに対してどれくらい性能を発揮できっるかという問題です。これがうまくいかないことを過学習と呼んでいます。要は与えられているデータセットからその普遍性を超えて個別性を学習してしまったことを意味します。

例えば個人の経歴からどの県の出身者であるかを推定したいという場合、ある県の出身者がたまたま全員ある年齢以上で、他の県の出身者はそれ以下の年齢だったら、機械学習はその県の出身者を推定するのに年齢という間違ったラベルを学習してしまうでしょう。

これが典型的な過学習です。汎化性能とはこのような答えと関係ないのに関係があると思って学習することがなく、答えと関係のある特徴だけをうまく選択くして学習する能力といいかえられます。

年齢と出身地がたまたま対応していたケースでは、過学習は避けようがありませんが、実際にはこのような極端な例はまれです。

多くの特徴の中に本当に正解に関係しているものとたまたま一致してしまっているものがある場合、どっちがより正解に関係しているかを見定めて、たまたま関係しているものは排除するように学習することが可能な場合は多いです。

有名な例としてはウマ娘プリティダービーという競走馬を擬人化したキャラクターを吸い描くアニメのシーンを物体認識ソフトで判別させたら馬と認識してしまったが、背景のレース場の画像を消したら人間と認識するようになったという例があります。

人間が画像を認識する場合、背景を加味して判断することは少ないでしょう。人間は背景とキャラは独立した存在だという常識を持っているからです。

長くなりましたが、やはりAIなどは私の理解を超える存在なのかもしれません。