TSUBAME 2.0 というと多くの方は GPU の方に注目するようだが、私のような最適化ソフトウェア開発者から見た TSUBAME 2.0 最大の魅力は各ノードに Intel Xeon X5670(Westmere-EP) を２個搭載しているところである。多くの最適化ソフトウェア(例えば SDP, MIP, 最短路など)にとって現時点で最強の CPU はWestmere-EP になる。
1: 最適化アルゴリズムは構造が複雑で先の計算の状態は直前にならないとわからない場合が多い。よって先読み等も難しい
2: それでもデータの構造(大きさ、疎性など)を利用してデータ要求量やアクセス頻度を抑えていくと、だんだんとメモリバンド幅の要求が減っていき、最終的にはメモリの局所参照性からコア間の共有キャッシュメモリ(特に L3) のバンド幅に律速するようになってくる。よって L3 キャッシュの性能(特に複数スレッドの同時アクセス時)が良い CPU が最適化ソフトウェアにとっても良い CPU となる
3: 2 のような工夫を行うと通常では GPU での実行には適さない形になってしまう
4: Intel Nehalem-EX は、実際に使用したことはないが Westmere-EP よりもクロック周波数が低く、L3 キャッシュの性能が劣るのであまり数値計算向きではないと推測できる
一方、TSUBAME 2.0 のような CPU + GPU ハイブリッド型スパコンにおいて、MPI 下で CPU + GPU が協調して非常に大きな行列の Cholesky 分解を並列に行う高性能なライブラリがあれば、例えば DNN 緩和の SDP などは爆速で解くことができる。DNN 緩和についてはこれらの記事などを参照していただきたいが、DNN 緩和は通常、問題が非常に大きくなるので、最適化の世界では DNN 緩和を近似的に扱う工夫が研究されている。これが近似では無く厳密に解くことができれば非常にインパクトは大きい。ただし、こんな高度なライブラリが作れるのは私知る範囲では某 G 氏ぐらいしかいない。
1: 最適化アルゴリズムは構造が複雑で先の計算の状態は直前にならないとわからない場合が多い。よって先読み等も難しい
2: それでもデータの構造(大きさ、疎性など)を利用してデータ要求量やアクセス頻度を抑えていくと、だんだんとメモリバンド幅の要求が減っていき、最終的にはメモリの局所参照性からコア間の共有キャッシュメモリ(特に L3) のバンド幅に律速するようになってくる。よって L3 キャッシュの性能(特に複数スレッドの同時アクセス時)が良い CPU が最適化ソフトウェアにとっても良い CPU となる
3: 2 のような工夫を行うと通常では GPU での実行には適さない形になってしまう
4: Intel Nehalem-EX は、実際に使用したことはないが Westmere-EP よりもクロック周波数が低く、L3 キャッシュの性能が劣るのであまり数値計算向きではないと推測できる
一方、TSUBAME 2.0 のような CPU + GPU ハイブリッド型スパコンにおいて、MPI 下で CPU + GPU が協調して非常に大きな行列の Cholesky 分解を並列に行う高性能なライブラリがあれば、例えば DNN 緩和の SDP などは爆速で解くことができる。DNN 緩和についてはこれらの記事などを参照していただきたいが、DNN 緩和は通常、問題が非常に大きくなるので、最適化の世界では DNN 緩和を近似的に扱う工夫が研究されている。これが近似では無く厳密に解くことができれば非常にインパクトは大きい。ただし、こんな高度なライブラリが作れるのは私知る範囲では某 G 氏ぐらいしかいない。
アクセス
トータル
