原因はよくわかりませんが、以下の新環境で性能が上がりました。。。
◯ SDPARA 7.6.1
1: CUDA 9.0 & Infiniband MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.4-x86_64
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1158.714sec --> 15704.452GFlops ###
2: CUDA 9.1 & CentOS 7.4 Infiniband ドライバ
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1121.286sec --> 16228.655GFlops ###
◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4
◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4
![](https://blogimg.goo.ne.jp/thumbnail/18/3e/b7d3cdf47bc04c317b2574869ad40439_s.jpg)
![](https://blogimg.goo.ne.jp/thumbnail/0d/64/e75a97eed4a06593537d33f81adf2681_s.jpg)
![](https://blogimg.goo.ne.jp/thumbnail/2d/64/27d45db9d7402b66310bebb2c8f2f105_s.jpg)
![](https://blogimg.goo.ne.jp/thumbnail/3c/dc/e114d3da957edc09d74950650336d662_s.jpg)
◯ SDPARA 7.6.1
1: CUDA 9.0 & Infiniband MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.4-x86_64
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1158.714sec --> 15704.452GFlops ###
2: CUDA 9.1 & CentOS 7.4 Infiniband ドライバ
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1121.286sec --> 16228.655GFlops ###
◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4
◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4
![](https://blogimg.goo.ne.jp/thumbnail/18/3e/b7d3cdf47bc04c317b2574869ad40439_s.jpg)
![](https://blogimg.goo.ne.jp/thumbnail/0d/64/e75a97eed4a06593537d33f81adf2681_s.jpg)
![](https://blogimg.goo.ne.jp/thumbnail/2d/64/27d45db9d7402b66310bebb2c8f2f105_s.jpg)
![](https://blogimg.goo.ne.jp/thumbnail/3c/dc/e114d3da957edc09d74950650336d662_s.jpg)
![](https://blogimg.goo.ne.jp/thumbnail/06/ec/87df055066cd47cebe87cced71857e9a_s.jpg)