原因はよくわかりませんが、以下の新環境で性能が上がりました。。。
◯ SDPARA 7.6.1
1: CUDA 9.0 & Infiniband MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.4-x86_64
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1158.714sec --> 15704.452GFlops ###
2: CUDA 9.1 & CentOS 7.4 Infiniband ドライバ
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1121.286sec --> 16228.655GFlops ###
◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4
◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4
◯ SDPARA 7.6.1
1: CUDA 9.0 & Infiniband MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.4-x86_64
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1158.714sec --> 15704.452GFlops ###
2: CUDA 9.1 & CentOS 7.4 Infiniband ドライバ
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1121.286sec --> 16228.655GFlops ###
◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4
◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4