某スパコンと SDPARA その９

３月３０日のブログで以下の問題は SDPA クラスタでは解けないと言ったが、64 プロセス x 2 スレッド にすれば 116910 x 116910 の巨大 Schur complement 行列も小さく分割できるので、SDPA クラスタでも以下のように解くことができる。しかし、SDPARA はプロセス数 = CPU 数に固定して、あとは CPU 内でスレッド並列にすると最高速になるように設計されているので(Opteron では最高速にならない場合も多いが)、64 x 2 ではあまり性能は良くない。F3 式の計算で差が付いているのは、2 スレッドでは F3 式のマルチスレッド化が有効に動作しないからで、反対に言えばスレッド数が多い場合には有効に動作していると言える。

○問題名 : O2+.2Pig.DZ.pqg.dat-s
○ソフトウェア : SDPARA 7.3.2
○実験結果

SDPA クラスタ
64プロセス x 2スレッド : 21910.6s(27反復 : pFEAS)
F3 式計算時間 = 3026.7s, 13.8%
Cholesky 分解計算時間 = 17537.3s, 80.0%

某スパコン
128プロセス x 16スレッド : 5943.1s(28反復 : pFEAS)
F3 式計算時間 = 542.8s, 9.1%
Cholesky 分解計算時間 = 4796.9s, 80.7%

記号定義
mDIM : SDP の主問題における制約式の数
mDIM : 116910


○ SDPA クラスタ
16 Nodes, 32 CPUs, 128 CPU cores;
CPU : Intel Xeon 5460 3.16GHz (quad cores) x 2 / node
Memory : 48GB / node
NIC : GbE x 2 and Myrinet-10G x 1 / node
OS : CentOS 5.4 for x86_64

○ 某スパコン
128 Nodes, 512 CPUs, 2048 CPU cores; (今回使用した分のみ)
CPU : AMD Opteron 8356 2.3GHz (quad cores) x 4 / node
Memory 32GB / node
NIC : GbE x 2 and Infiniband x 4 / node
OS : RHEL 4.x for x86_64