ネットワークの性能測定 その３

両クラスタ計算機の性能を比較すると、GbE の性能は全く同じだが、Myrinet-10G では性能に差が出ている。両クラスタとも Myrinet-10G のカードや 10GbE のスイッチは同じなので、各種ドライバの性能差が原因となっている可能性がある(CPU の性能差も多少影響を与えているかもしれないが）。SDPA クラスタにおいて、TCP_STREAM で 6821.03 Mbps の性能が出ているのは予想を上回っている。mpich-mx や mpich2-mx の性能も期待できそうである。

ネットワークの性能測定 その２

今度は、新 SDPA クラスタを用いて測定を行う。

1: SDPA クラスタ
CPU : Intel Xeon X5460 3.16GHz × 2
メモリ : 48GB
OS : CentOS 5.2
Myrinet ドライバ : 1.4.2
mx ドライバ : 1.2.6
netperf : 2.4.1
MTU : 9000

○ GbE (1000BASE-T)
[root@sdpa01 src]# netperf -H sdpa02 -t TCP_STREAM -C -c -l 60
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to sdpa02.indsys.chuo-u.ac.jp (10.0.10.2) port 0 AF_INET
Recv Send Send Utilization Service Demand
Socket Socket Message Elapsed Send Recv Send Recv
Size Size Size Time Throughput local remote local remote
bytes bytes bytes secs. 10^6bits/s % S % S us/KB us/KB

87380 16384 16384 60.02 941.45 2.89 4.04 2.009 2.815

[root@sdpa01 src]# netperf -H sdpa02 -t UDP_STREAM -l 60 -C -c -- -m 8972 -s 1M -S 1M
UDP UNIDIRECTIONAL SEND TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to sdpa02.indsys.chuo-u.ac.jp (10.0.10.2) port 0 AF_INET
Socket Message Elapsed Messages CPU Service
Size Size Time Okay Errors Throughput Util Demand
bytes bytes secs # # 10^6bits/sec % SS us/KB

262142 8972 60.00 799090 0 955.9 2.94 2.016
262142 60.00 799090 955.9 2.52 1.731

○ Myrinet-10G
[root@sdpa01 src]# netperf -H sdpa02m -t TCP_STREAM -C -c -l 60
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to sdpa02m.indsys.chuo-u.ac.jp (192.168.10.2) port 0 AF_INET
Recv Send Send Utilization Service Demand
Socket Socket Message Elapsed Send Recv Send Recv
Size Size Size Time Throughput local remote local remote
bytes bytes bytes secs. 10^6bits/s % S % S us/KB us/KB

87380 16384 16384 60.00 6821.03 14.97 11.17 1.439 1.073

[root@sdpa01 src]# netperf -H sdpa02m -t UDP_STREAM -l 60 -C -c -- -m 8972 -s 1M -S 1M
UDP UNIDIRECTIONAL SEND TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to sdpa02m.indsys.chuo-u.ac.jp (192.168.10.2) port 0 AF_INET
Socket Message Elapsed Messages CPU Service
Size Size Time Okay Errors Throughput Util Demand
bytes bytes secs # # 10^6bits/sec % SS us/KB

262142 8972 60.00 6702268 0 8017.6 12.55 1.026
262142 60.00 6701595 8016.8 11.66 0.953

GbE では、TCP_STREAM で 941.45 Mbps, UDP_STREAM で 955.9Mbps。また、Myrinet-10G では TCP_STREAM で6821.03 Mbps, UDP_STREAM で 8017.6 Mbps となる。

ネットワークの性能測定 その１

netperf を用いて二つのクラスタ計算機のネットワークの性能測定を行う。両クラスタとも Myrinet-10G を搭載していて、同じ HP 製の 10GbE スイッチで接続されている。

1: Powerクラスタ
CPU : Intel Xeon E5345 2.33GHz × 2
メモリ : 16GB
OS : CentOS 5.2
Myrinet ドライバ : 1.3.1
mx ドライバ : 1.2.2
netperf : 2.4.1
MTU : 9000

○ GbE (1000BASE-T)
[root@opt-power00m src]# netperf -H power01 -t TCP_STREAM -C -c -l 60
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to opt-power01.indsys.chuo-u.ac.jp (10.0.200.1) port 0 AF_INET
Recv Send Send Utilization Service Demand
Socket Socket Message Elapsed Send Recv Send Recv
Size Size Size Time Throughput local remote local remote
bytes bytes bytes secs. 10^6bits/s % S % S us/KB us/KB

87380 16384 16384 60.03 941.45 7.52 10.31 5.233 7.175

[root@opt-power00m src]# netperf -H power01 -t UDP_STREAM -l 60 -C -c -- -m 8972 -s 1M -S 1M
UDP UNIDIRECTIONAL SEND TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to opt-power01.indsys.chuo-u.ac.jp (10.0.200.1) port 0 AF_INET
Socket Message Elapsed Messages CPU Service
Size Size Time Okay Errors Throughput Util Demand
bytes bytes secs # # 10^6bits/sec % SS us/KB

262142 8972 60.00 799105 0 955.9 7.64 5.240
262142 60.00 799098 955.9 8.55 5.863

○ Myrinet-10G
[root@opt-power00m src]# netperf -H power01m -t TCP_STREAM -C -c -l 60
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to opt-power01m.indsys.chuo-u.ac.jp (192.168.200.1) port 0 AF_INET
Recv Send Send Utilization Service Demand
Socket Socket Message Elapsed Send Recv Send Recv
Size Size Size Time Throughput local remote local remote
bytes bytes bytes secs. 10^6bits/s % S % S us/KB us/KB

87380 16384 16384 60.00 4158.17 16.29 12.64 2.567 1.992

[root@opt-power00m src]# netperf -H power01m -t UDP_STREAM -l 60 -C -c -- -m 8972 -s 1M -S 1M
UDP UNIDIRECTIONAL SEND TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to opt-power01m.indsys.chuo-u.ac.jp (192.168.200.1) port 0 AF_INET
Socket Message Elapsed Messages CPU Service
Size Size Time Okay Errors Throughput Util Demand
bytes bytes secs # # 10^6bits/sec % SS us/KB

262142 8972 60.00 5020105 0 6005.2 17.45 1.914
262142 60.00 4993149 5973.0 14.05 1.541


GbE では、TCP_STREAM で 941.45 Mbps, UDP_STREAM で 955.9Mbps。また、Myrinet-10G では TCP_STREAM で4158.17 Mbps, UDP_STREAM で 6005.2 Mbps となる。

新SDPA クラスタ その４

新クラスタを稼働させてから、すでに２週間ほど過ぎた。この間はいろいろと忙しかったので、インストール＆設定それに少しだけ SDPARA と Linpack を実行しただけで、本格的に使用するのはこれからになる。1.3 から 1.4 TFLops 程度のクラスタ計算機でも相当大がかりなことができる。性能を引き出して使いこなすのは結構大変そうである。何か実行してみたいアプリケーションあれば連絡していただきたい。

日本の夏

関西（京都、大阪、神戸）はとにかく暑い、日差しが強い、湿気が多い。名古屋も同程度の暑さ不快さだった。東京も暑いが多少は関西、名古屋よりはましといった感じ。この暑さだと地上が３５、３６度くらいなので、少しぐらい高い場所に行ってもやはり３０度以上でかなり暑め。ただし夕方ぐらいに軽井沢付近を通ったらかなり涼しかった（２２度くらい）。釧路や根室あたりだと最高気温が２１、２２度くらいなので軽井沢よりもさらに涼しい。もはや西日本と東日本は違う気候帯に属するのではないかと思える。

カーナビ

ここ１週間で車を 1500km 以上運転したので、車に搭載のカーナビを多用することになった。施設や場所の名称、あるいは住所によって検索できるのは非常に便利だと思う。しかし、現行のカーナビ（とは言っても 2005 年製だが）の問題点としては、
１：道路データが最新でない。すでに開通している高速道路等などが反映されない。販売店に行けば有償でデータをアップデートできるが、手間、コスト、データの最新度などから考慮するとあまり現実的な方法ではない。
２：現在の道路の渋滞情報を元にして経路を探し出すので、実際に進んでみると状況が変わり渋滞に巻き込まれる可能性がある。将来的な（予想される）渋滞情報を用いていない。
３：割と探索範囲を限定しているように見える。少し突飛なようでも、つまり相当遠回りしても反対に早く到達できる場合もある。
この三つの問題などはインターネットで検索すれば良いので、カーナビとインターネット検索を組み合わせると非常に効果的だ。その他にもいろいろなアイデアがあるが、カーナビもまだまだ発展の余地が大きい。

書店の品揃え

観光に行くよりも書店を巡る方が好きなので、観光地に来ても結局大型書店を巡り歩くことになる。京都の新京極に紀伊国屋書店が開店していた（以前はゼスト御池にあったのだが）。大型書店というとジュンク堂というイメージがあるのだが、コンピュータ関係（Linux やプログラミング等)は、ジュンク堂神戸三宮店の品揃えが良く、ジュンク堂の新宿書店（三越の上の階）に匹敵するほどだ。ただし、どこの書店でも出版社は同じなので、無い本は無いというか、なかなか良い本が見つからない。

新SDPA クラスタ その３

新クラスタはインストール＆設定＆Linpack測定後はしばらく放置状態になっている。遠隔でログインしてみると全ノードが無事に動いているようなのだが、もし何らかの原因でエアコンが停止することを考えると大変恐ろしい。以前雷による瞬間停電が発生して、その後で全ノードが自動的に再起動したものの、当然ながらエアコンは自動的に再起動しないので、部屋が異常高温になってしまう事態に遭遇した。この場合では幸い熱暴走したノードが幾つかあったものの、壊れてしまうノードは一つも無かった。

新SDPA クラスタ その２

新SDPAクラスタとりあえず安定して動作しているようだ。Linpack 測定でかなり負荷をかけても、１台も停止することが無かった。別に Dell に限らないと思うが、やはりサーバ製の仕様のマシンは電源、熱、ディスクなどの問題が発生しにくいように設計、製造されている。とは言ってみたものの、何台かに異常な音（ファン？）がしているのも事実で少し心配なところだ。

木造建築と耐震性

関西の大学の建築系研究室を訪れて、いろいろと見学させていただいた。特に木造建築の耐震性や振動の解析などを行っている。ここ数年で新潟や岩手などで非常に大きな地震が発生して、重力加速度が 4G(4022ガル)を超える例もあった。先日の岩手の大きな地震でも幸い木造建築には大きな被害が無かったようで、かなり以前に建てられた木造建築でも地震に耐えている。木造建築が地震に弱いというのは、かなり怪しいというか、十分に検証されなければならない仮設であろう。

とりあえず Linpack 測定 その２

Linpack 測定で少しだけ値を更新できた。1.355TFlops なので、性能比率は 1.355 / 1.61792 = 83.75％ となった。写真は Myrinet 10G を繋ぐ、HP 社製 10GbE スイッチ。
============================================================================
HPLinpack 1.0a -- High-Performance Linpack benchmark -- January 20, 2004
Written by A. Petitet and R. Clint Whaley, Innovative Computing Labs., UTK
============================================================================

An explanation of the input/output parameters follows:
T/V : Wall time / encoded variant.
N : The order of the coefficient matrix A.
NB : The partitioning blocking factor.
P : The number of process rows.
Q : The number of process columns.
Time : Time in seconds to solve the linear system.
Gflops : Rate of execution for solving the linear system.

The following parameter values will be used:

N : 308000
NB : 200
PMAP : Row-major process mapping
P : 16
Q : 8
PFACT : Crout
NBMIN : 4
NDIV : 2
RFACT : Crout
BCAST : 1ringM
DEPTH : 0
SWAP : Mix (threshold = 64)
L1 : transposed form
U : transposed form
EQUIL : yes
ALIGN : 16 double precision words

----------------------------------------------------------------------------

- The matrix A is randomly generated for each test.
- The following scaled residual checks will be computed:
1) ||Ax-b||_oo / ( eps * ||A||_1 * N )
2) ||Ax-b||_oo / ( eps * ||A||_1 * ||x||_1 )
3) ||Ax-b||_oo / ( eps * ||A||_oo * ||x||_oo )
- The relative machine precision (eps) is taken to be 2.220446e-16
- Computational tests pass if scaled residuals are less than 16.0

============================================================================
T/V N NB P Q Time Gflops
----------------------------------------------------------------------------
WR01C2C4 308000 200 16 8 14370.31 1.355e+03
----------------------------------------------------------------------------
||Ax-b||_oo / ( eps * ||A||_1 * N ) = 0.0002723 ...... PASSED
||Ax-b||_oo / ( eps * ||A||_1 * ||x||_1 ) = 0.0008679 ...... PASSED
||Ax-b||_oo / ( eps * ||A||_oo * ||x||_oo ) = 0.0001518 ...... PASSED
============================================================================

Finished 1 tests with the following results:
1 tests completed and passed residual checks,
0 tests completed and failed residual checks,
0 tests skipped because of illegal input values.
----------------------------------------------------------------------------

End of Tests.
============================================================================

とりあえず Linpack 測定

クラスタ計算機の設定等が終了したので、Linpack 測定を行った。他の用事が忙しいので、あまり真面目に測定している時間がない。とりあえずは以下のように測定を行った。実測性能は 1.352 TFlops であるが、理論的には 3.16GHz × 4命令 × 8 コア × 16 台 = 1617.92GFlops なので、効率は 1.352 / 1.61792 = 83.56 ％となる。

============================================================================
HPLinpack 1.0a -- High-Performance Linpack benchmark -- January 20, 2004
Written by A. Petitet and R. Clint Whaley, Innovative Computing Labs., UTK
============================================================================

An explanation of the input/output parameters follows:
T/V : Wall time / encoded variant.
N : The order of the coefficient matrix A.
NB : The partitioning blocking factor.
P : The number of process rows.
Q : The number of process columns.
Time : Time in seconds to solve the linear system.
Gflops : Rate of execution for solving the linear system.

The following parameter values will be used:

N : 300000
NB : 200
PMAP : Row-major process mapping
P : 16
Q : 8
PFACT : Crout
NBMIN : 4
NDIV : 2
RFACT : Crout
BCAST : 1ringM
DEPTH : 0
SWAP : Mix (threshold = 64)
L1 : transposed form
U : transposed form
EQUIL : yes
ALIGN : 16 double precision words

----------------------------------------------------------------------------

- The matrix A is randomly generated for each test.
- The following scaled residual checks will be computed:
1) ||Ax-b||_oo / ( eps * ||A||_1 * N )
2) ||Ax-b||_oo / ( eps * ||A||_1 * ||x||_1 )
3) ||Ax-b||_oo / ( eps * ||A||_oo * ||x||_oo )
- The relative machine precision (eps) is taken to be 2.220446e-16
- Computational tests pass if scaled residuals are less than 16.0

============================================================================
T/V N NB P Q Time Gflops
----------------------------------------------------------------------------
WR01C2C4 300000 200 16 8 13310.37 1.352e+03
----------------------------------------------------------------------------
||Ax-b||_oo / ( eps * ||A||_1 * N ) = 0.0005644 ...... PASSED
||Ax-b||_oo / ( eps * ||A||_1 * ||x||_1 ) = 0.0008752 ...... PASSED
||Ax-b||_oo / ( eps * ||A||_oo * ||x||_oo ) = 0.0001439 ...... PASSED
============================================================================

Finished 1 tests with the following results:
1 tests completed and passed residual checks,
0 tests completed and failed residual checks,
0 tests skipped because of illegal input values.
----------------------------------------------------------------------------

End of Tests.
============================================================================

新 SDPA クラスタ

新しいクラスタ計算機が納入されてから２日間でインストール＆設定作業を行う予定だったが、いろいろとトラブルが発生したり、忙しかったりで結局４日かかってしまった。
１：何故か OS (Linux) インストール時にブート用の領域が書き込まれないという事態が発生した。DVD メディアの不良だったのだろうか。
２：Myrinet 10G の１枚が初期動作不良。
さすがにこの台数（１６台）を一人でインストール＆設定するのは大変だ。写真は裏側から見たクラスタ計算機。

旧 SDPA クラスタ

旧 SDPA クラスタは 2007 年 3 月に引退したのだが、完全に手作りのクラスタで合計４０台を全部自作した（大学院生と二人で）。AMD の CPU (Athlon MP) が大量に入手できたので、それを使うためには残りのパーツを買ってきて自作せざるを得ない事情もあった。購入したパーツは常時稼働に向いていなかったようなので、故障や停止するノードが続出した。後で考えれば台数を減らしても、もっと丈夫で信頼性の高いパーツを使用するか、市販のサーバを用いた方が良かっただろう。Linpack などで高い負荷をかけると、停止するノードが複数現れるようになるので、全力稼働はあまり長時間は出来なかった。何割かは故障しても、数の多さで補えると思っていたのだが、今では台数よりも安定性を重視するようになった。
停止したノードを修理しようと思って取り出したところ信じられないものが入っていたことがあった（寒い日に暖かいところに入りたい気持ちはわかるが）。ある物がノードに紛れ込んで、ファンに巻き込まれてバラバラになっていた。そのためか要らなくなったファンでファンの巻き込み能力を実験したことがある。

新クラスタ到着

新クラスタが搬入されたのだが幾つかトラブルが発生しているので（特に Myrinet 関係)、まだクラスタ計算機として稼働するには至っていない。クラスタ計算機の名前は初心に帰って SDPA クラスタとした。このクラスタ計算機の設置に伴って、
１：Opteron クラスタの停止
２：一時的に SDPA Online Solver から SDPARA と SDPARA-C を外す
ということにした。