京大 T2K スパコンと SDPARA その３

記事に掲載されているデータの中で NH3 に対する最も大きな SDP を解いたときの実行時間が 72025.6秒となっている。このときの SDPARA 7.3.2 の実行時間の内訳データを公開する。

1: Make bF3 とは、探索方向を求める際に必要な線形方程式の Ax=b の行列 A の要素を計算する部分で、元の問題が疎(Sparse)な場合では bF3 という関数が自動的に選択される。bF3 の計算時間が全体の 90% を占める。この bF3 関数は計算量が少なく、メモリやキャッシュのバンド幅に依存するので、CPU 数とコア数を増やすのが有効。
2: 線形方程式を解く部分 (Cholesky bMat と solve)を合わせても全体の 1% にも達しない。
3: 行列積などを用いる O(n^3) の部分は、それぞれ 1% 前後の割合。

Time(sec) Ratio(% : MainLoop)
Predictor time = 69667.382968, 96.761392
Corrector time = 1125.197473, 1.562793
Make bMat time = 68217.586398, 94.747762
Make bDia time = 0.054071, 0.000075
Make bF1 time = 0.470901, 0.000654
Make bF2 time = 0.000000, 0.000000
Make bF3 time = 64842.060968, 90.059477
Make bPRE time = 0.416426, 0.000578
Make rMat time = 478.294591, 0.664306
Make gVec Mul = 253.251834, 0.351743
Make gVec time = 259.539509, 0.360476
copy gVec time = 0.000017, 0.000000
copy bMat time = 27.810713, 0.038626
symm bMat time = 49.788584, 0.069152
Cholesky bMat = 511.755498, 0.710780
Ste Pre time = 0.006029, 0.000008
Ste Cor time = 547.911277, 0.760997
solve = 37.226793, 0.051704
copy DyVec = 0.220225, 0.000306
sumDz = 103.070958, 0.143156
makedX = 875.629523, 1.216166
symmetriseDx = 194.134001, 0.269634
makedXdZ = 1172.834662, 1.628956
xMatTime = 210.758996, 0.292724
zMatTime = 348.767075, 0.484404
invzMatTime = 0.000000, 0.000000
xMatzMatTime = 0.000000, 0.000000
EigxMatTime = 265.661827, 0.368979
EigzMatTime = 247.089794, 0.343184
EigxMatzMatTime = 0.000000, 0.000000
updateRes = 86.384080, 0.119979
EigTime = 512.751621, 0.712163
sub_total_bMat = 3781.567245, 5.252238
Main Loop = 71999.153643, 100.000000
File Check = 0.000000, 0.000000
File Change = 0.017756, 0.000025
File Read = 26.496288, 0.036801
File Trans = 196.762887, 0.273285
Total = 72025.667687, 100.036825