CentOS 7.x Infiniband

以前の記事でも触れましたように、ConnectX-3 Pro に関するサポートが終わってしまいましたので、CentOS 7.x に付属の Infiniband ドライバに切り替えました。性能は以下のようになります。

○ CentOS ドライバ
SDPARA 7.6.1 + Intel Compiler 19.1.3.304 + mvapich 2.3.4 + CUDA Toolkit 11.1
[gpdpotrf] ### END n=433411, nb=2048, 4x4 procs, ver 50: 1698.068sec --> 15981.722GFlops ###
　
○ Mellanox ドライバ
SDPARA 7.6.1 + Intel Compiler 19.0.5 + mvapich 2.3.2 + CUDA Toolkit 10.1 Update 2
[gpdpotrf] ### END n=433411, nb=2048, 4x4 procs, ver 50: 2013.504sec --> 13478.021GFlops ###

◯追加分
ノード数４
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ：256GB
ネットワーク：GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.7


◯現在の GPU クラスタ
ノード数４
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ：256GB
ネットワーク：GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.7