やはり mvapich の方が遅いです。。。
mvapich 2.2 & Intel コンパイラ Parallel Studio XE 2016 update4
[gpdpotrf] ### END n=249675, nb=1024, 4x4 procs, ver 50: 416.346sec --> 12460.906GFlops ###
OpenMPI 2.0.1 & Intel コンパイラ Parallel Studio XE 2016 update4
[gpdpotrf] ### END n=249675, nb=1024, 4x4 procs, ver 50: 344.350sec --> 15066.186GFlops ###
◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.2
◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.2
mvapich 2.2 & Intel コンパイラ Parallel Studio XE 2016 update4
[gpdpotrf] ### END n=249675, nb=1024, 4x4 procs, ver 50: 416.346sec --> 12460.906GFlops ###
OpenMPI 2.0.1 & Intel コンパイラ Parallel Studio XE 2016 update4
[gpdpotrf] ### END n=249675, nb=1024, 4x4 procs, ver 50: 344.350sec --> 15066.186GFlops ###
◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.2
◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.2