巨大 SDP(H2O)と計算結果 その 4

以下のブロック対角構造を持つ大きな SDP(量子化学の T2Prime 条件が付いた水分子(H2O)の基底状態でのエネルギー計算)に関する記事は過去にも何回か書いているので、例えばこちらなどを参照していただきたい。今回 SDPARA の最新バージョンを用いて、この問題を解き直したところ世界で初めて実行時間 7 時間を切ることが出来た。環境が異なるので単純比較は出来ないが、最新版の SDPARA とこちらのクラスタ計算機 192 コアを用いることによって(実行時間 6.38時間)、昨年の京大 T2K スパコン(2048コア)での実行時間 7.6時間よりも速くなってしまった。もちろん最新版 SDPARA を京大 T2K スパコンで実行すればこちらの実行時間も速くなるだろうが、それでも Intel Westmere-EP の優位性は動かないと言える。

問題名 : H2O.1A1.DZ.pqgt1t2p.dat-s


SDPARAによる、これまでの結果（実行マシンと計算時間等）は以下の通りである。

2006年
○産総研 AIST Super Cluster M64
2,060,237.619s(8CPU) ～ 24 日

2010年
○SDPA クラスタ
49,037.9s(32CPU x 8コア = 128コア) ～ 13.6 時間
○京大 T2K スパコン
27,523.8s(512CPU x 4コア = 2048コア) ～ 7.6 時間
○OPT クラスタ
32,379.1s(32CPU x 6コア = 192コア) ～ 9時間

2011年
○OPT クラスタ
22,988.0s(32CPU x 6コア = 192コア) ～ 6.4 時間


○ OPT クラスタ
１：PowerEdge M1000e(ブレードエンクロージャー) x 1台
２：PowerEdge M710HD(ブレードサーバ) x 16台
ブレードサーバの仕様：
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ： 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2(1台のみ 300GB x 2)
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 5.6 for x86_64

○ SDPA クラスタ
16 Nodes, 32 CPUs, 128 CPU cores;
CPU : Intel Xeon 5460 3.16GHz (quad cores) x 2 / node
Memory : 48GB / node
Disk : 6TB(RAID 5)
NIC : GbE x 2 and Myrinet-10G x 1 / node
OS : CentOS 5.6 for x86_64

参考 : SDPA による記録
クラスタ計算機等で SDPARA を用いなくても、メモリ搭載量の大きなサーバ上で SDPA を用いることによって解くことができる。
以下の計算サーバ２(48コア : Magny-Cours)では、遂に 52.7 時間で解くことができた（１サーバでは新記録)。

◯ソフトウェア SDPA 7.3.3 + GotoBLAS2 1.09 + MUMPS 4.9.2(全て ILP64 対応済み)

○計算サーバ１ (2 CPU x 6 コア = 12 コア)
CPU : Intel Xeon X5670(2.93GHz / 12MB L3, 6.4 GT/s QPI) x 2個
メモリ： 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
OS : Fedora 14 for x86_64

329,022.30秒 = 91.4時間(38反復)

○計算サーバ２ (4 CPU x 12 コア = 48 コア)
CPU : AMD Opteron 6174 (2.20GHz / 12MB L3) x 4個
メモリ : 256GB (16 x 16GB / 1066MHz)
OS : Fedora 14 for x86_64

189,947.08秒 = 52.7時間(38反復)