巨大 SDP(H2O)と計算結果

以下のブロック対角構造を持つ大きな SDP(量子化学の T2Prime 条件が付いた水分子(H2O)の基底状態でのエネルギー計算)をこれまで何回か解いている。

問題名 : H2O.1A1.DZ.pqgt1t2p.dat-s


1: 2006 年に産総研 AIST Super Cluster M64 を用いて初めて解くことができた。

○ASC M-64 クラスタ
CPU : Itanium 2 1.3GHz x 8 CPU
メモリ : 16GB
ソフトウェア SDPARA 1.0.1

8 CPU を用いて実行時間は 2060237.619 sec. = およそ 24 日

2: 次に SDPA クラスタで 2008 年に解いてみたのだが、ソフトウェア側の進歩があって 2010 年まで高速化が続いた。

○ SDPA クラスタ
16 Nodes, 32 CPUs, 128 CPU cores;
CPU : Intel Xeon 5460 3.16GHz (quad cores) x 2 / node
Memory : 48GB / node
NIC : GbE x 2 and Myrinet-10G x 1 / node
OS : CentOS 5.5 for x86_64
ソフトウェア SDPARA 7.3.2



128 コアを用いて実行時間は 49,037.9s(16CPU x 8コア) ～ 13.6 時間となった。

3: その後に SDPA の完全 64bit 化を行ったので、時間はかかるのだが 1 サーバで解くことができるようになった。

○計算サーバ : SDPA 7.3.2 (64bit)
CPU : AMD Opteron 2435（2.6GHz / 6MB L3）x 2
Memory : 64GB（16 x 4GB / 800MHz）
OS : Fedora 12 for x86_64
ソフトウェア SDPA 7.3.2

809,261.3s(12コア) ～ 224.8時間(9.4日)

4: また 2010 年3月に京大 T2K スパコンの 2048 コアを用いてこの問題を解いた。

○ 京大 T2K スパコン
128 Nodes, 512 CPUs, 2048 CPU cores; (今回使用した分のみ)
CPU : AMD Opteron 8356 2.3GHz (quad cores) x 4 / node
Memory 32GB / node
NIC : GbE x 2 and Infiniband x 4 / node
OS : RHEL 4.x for x86_64
ソフトウェア SDPARA 7.3.2

27,523.8s(128CPU x 16コア) ～ 7.6 時間

5: そして本年の締めくくりとして新クラスタ計算機で解いてみた。

○新クラスタ計算機
１：PowerEdge M1000e(ブレードエンクロージャー) x 1台
２：PowerEdge M710HD(ブレードサーバ) x 16台
ブレードサーバの仕様：
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ： 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2(1台のみ 300GB x 2)
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 5.5 for x86_64



32,379.1s(16CPU x 12 コア) ～ 9時間

以上をまとめると以下の結果になる。京大 T2K スパコンと新クラスタ計算機ではコア数で 10 倍以上の差があるが実行時間はあまり変わらない。Intel の Westmere(新クラスタ計算機)は性能は予想通りの良さとなっている。

問題： H2O.1A1.DZ.pqgt1t2p.dat-s
2006年
○産総研 AIST Super Cluster M64
2,060,237.619s(8CPU) ～ 24 日
2010年
○SDPA クラスタ
49,037.9s(16CPU x 8コア = 128コア) ～ 13.6 時間
○京大 T2K スパコン
27,523.8s(128CPU x 16コア = 2048コア) ～ 7.6 時間
○計算サーバ
809,261.3s(12コア) ～ 224.8時間(9.4日)
○新クラスタ計算機
32,379.1s(16CPU x 12コア = 192コア) ～ 9時間