メタ解法の構築力と比較実験

こちらの記事に同感。メタ解法の漠然としたアイデアなどは誰でも出せるもので、実際に構築して実験的解析に持っていく力量が重要だと思う。私自身もこの世界（メタ解法、近似解法）では、ベンチマーク問題による比較すら悲観的で、SDP に関する経験などから考えて

1: 自分で自分のソフトを評価するとどうしても評価が甘くなりがちであり、ソフトは他人に渡して評価してもらえるような体制を作るべき。他人は多くの時間を掛けて実験したり、パラメータチューニングしてくれないので、自分で実験する場合と比べて結果が何割か悪くなる。ましてや研究者以外の一般ユーザーならばデフォルトの設定で使うのが精一杯では。比較数値実験の論文で、自分のソフトと同じくらい手間ひまかけて他人のソフトを実験している人はいったい何人いるのだろうか？

2: 1 と同じだが、開発者以外のユーザーが多数評価してくれて、はじめて優れたソフトということになろう。ソフトを公開しない、できないのなら、本来応用、実務志向のメタ解法の世界に論文を出さない方が良いと思う。もちろん単に公開しただけではユーザーは付きませんが。

メタ解法の論文や発表は、”私はこう考えて、こういう風に作ったら、他と比べて良かったです。おしまい”というのが多いので、聞いている方、読んでいる方も本当にそうなのかも検証出来ずに”はい。そうですか”としか言いようもなく無駄な時間を過ごしている気分になる。これも他の分野（例えば数理計画法）だと、アルゴリズムや内容からある程度の性能に関する予想が付き、聞いているだけでも結構程度判断できるのだが。