強化学習

3月末でこれまでの大学を退職して、４月から新しい大学に赴任することになった。１２年ぶりの都心回帰でやはり雰囲気が全く違うと感じた。前の大学には言いたいことがいっぱいあったのだが、匿名でブログに書いても意味がないので省略したい。
10年ぐらい前に Neuro-DP の本を読んで、最適化への適用を考えていたのだが、別に強化学習のアルゴリズムなどを用いなくても SDP の場合では計算量の見積もりが割と正確に出来た。当時のコンピュータは、あまり複雑なモデルではなかったので現在のようにキャッシュの量とかコンパイラの違い、CPU のアーキテクチャなどを陽に考慮しなくても良かった。ところが現在では最適化ソフトウェアの計算時間は実際に実行してみないとわからないので、強化学習型のアルゴリズムで様々な問題を実行しながら、計算量の見積もりを学習させた方が良いと思うようになった。SDPA は ATLAS というソフトウェアを用いているが、これが CPU ごとに細かいチューニングをするので、例えば Opteron 用にチューニングしたバイナリを Core2Duo で実行すると数割ぐらい遅くなったりする。これでは、自分の環境で独自に学習しながら最適なパラメータを学習していった方が良さそうだ。