購入計画

少しまとまった予算が使えそうなので以前の検討通りに Myrinet 10G と HP の 10GbE 用のスイッチを購入することにする。10GbE と言っても 1.25Gbyte/sec なので、まだCPU とメモリの帯域よりも数倍遅いことには変わりない。計算機本体もデュアルコアかクワッドコアか迷ったが、クワッドコアと言っても必ず四つのコアを使う必要はないので、以前のブログにも書いたようにレベルの異なる並列化を組み合わせることでクワッドコアの CPU を利用していくことにした。
電源や空調の拡張工事も８月末までには終わることになっているので、９月には新システムが稼働することになるだろう。

10GbE スイッチ

10GbE のスイッチを調べていたが、なんと amazon でも買えるようだ。安くなったと言っても、まだまだ値段は高いので気軽に使えるものではない。10GbE(1.25Gbyte) の全二重通信では 2.5Gbyte/sec の帯域幅が必要なので、PCI 32bit 33MHz は論外として PCI-X(1Gbyte/sec)でも全く足りない。そこで PCI-Express x8 が必要になるので、PCI-Express x8 以上のスロットが余っている必要がある。
勧められたものは HP の ProCurve Switch 6400cl-6XG (569,300円)。10GbE CX4 が 6ポートだが、さらに 2 ポート追加可能。でも 8 ポートまで追加できないので、それ以上の場合は ProCurve Networking Switch 5400zl (303,000円) を買っておくと拡張性が高い。いずれにしても 16 ポートにすると軽く 100 万円を超えてしまう。

3GHz のクワッドコア Xeon

何故か Windows 系の PC では見かけないのに、Mac Pro には 3.0GHz のクワッドコアの Xeon が搭載されている。Mac での Intel CPU の搭載は最近なのにこちらの方にサービスしているのであろうか？ 3.0GHz のデュアルコアの Xeon と 1.6GHz のクワッドコアの Xeon では、いくら多くのベンチマークテストで後者の方が値が高くても、実際には購入しにくいものがある。だからクワッドコアのクロック周波数の高い Xeon は歓迎なのだが、多くのソフトウェアではまだ 4 つのコアを使いこなすのは少ないのが現実だ。 Goto BLAS などはマルチスレッド対応だから MPI と併用して CPU 内部のj複数コアでは OpenMP 等で動かして、ノード間では MPI を用いるハイブリッド型もいいのかと思うようになった。

MacBook Pro

MacBook Pro は OS は異なるとは言っても、CPU やビデオカード等は Windows 用の ノート PC と同じになっている。現在の Windows Vista 用のノート PC のスペックが全体的に低めになっていることを考慮すると MacBook Pro はなかなか先進的なスペックになっている。BootCamp を用いると Windows 等を Mac 上で使用することが出来るが、VMware などの仮想マシンと比較するとかなり Mac OS との親和性も高い。BootCamp 上の Windows XP の方が多くの Windows ノートPC よりも速いという人もいる。
ところで核爆発災害という本を購入して読んだ。様々な分野の知識を要求されるし、内容も豊富なので読みこなすのは大変だ。以前ある先生から様々な文献をもらったが、この本に無い内容もあり日本で研究している人が結構多いのだと感じた。

Cell とストリーミング

Cell の SPE には LS(ローカルストア : 256KB)はあるが、キャッシュがない。128bit のレジスタが 128 本あるのでキャッシュの代わりに出来る部分もあるが、まだコンパイラがそこまでの性能が無いのではという話も聞いた。Cell の SPE ではストリーミングデータなどを SIMD 演算で処理することを得意としているので、一つのデータに何回もアクセスすることは想定していない。そういう意味ではキャッシュが無い方が余計なオーバヘッドも無く、より高速になると Cell の開発陣も判断したのだろう。
また Cell はリング型のバスになっていて 8個の SPE にアクセスするときも、それらの位置によって転送速度が異なるそうだ。だからと言って現在の開発環境では具体的に8個の中から特定の SPE を指定できるわけではない。Cell もメモリバンド幅の拡張(ここが一番ネックっぽいが)、浮動小数点演算の強化、コア数の増加それに使いやすい開発環境などが早急に望まれる。

PPE がボトルネック

HPC 研究会で Cell 関係の発表を聞いていてわかったことだが、Cell は SPE 上でストリーミングデータなどを SIMD 演算を用いれば相当高速に処理することができる。しかし PPE の方は PowerPC G5 の互換とは言っても実際には Pentium 4 3.2GHz あたりにも性能面では数割劣るので、PPE の処理の割合が増えるほど Cell 上での計算の優位性が失われていく。つまり SPE による並列化 & SIMD 演算の部分がいくら速くても、PPE で処理する部分が足を引っ張って、結局総実行時間では Intel の x86 系の CPU に負けてしまうという事態になってしまう。
さらに Cell は倍精度演算が遅いので、Cell (3.2GHz, 8SPE + SIMD)と Intel QX6800(2.93GHz, 4コア + SSE4) で勝負した場合には、倍精度演算の場合には Cell の方が速いのかは怪しいところだ。Cell も新製品等で対抗しないと、特に HPC の分野では興味が失われていくことになろう。

地球シミュレータ

遅ればせながら初めて地球シミュレータを見学してきた。2002年1月に完成した地球シミュレータだがすでに5年半が経過している。しばらく世界一だった計算性能も今では随分順番も下に落ちてしまったが、それでもまだ世界トップレベルに位置している。Linpack ではなく通信量の多い計算ではまだまだ非常に強いらしい。是非アップグレード等を行って長いこと使い続けて欲しい。

Myrinet 10G

業者の方に来てもらって Myrinet 10G についての話を聞いた。Myrinet 10G を 10GbE のスイッチに接続するだけで(CX4 などのケーブルを用いる)、10GbE と MX(Myrinet Express) の両方が使えるデュアルモードを持っている。具体的には両方のドライバのソースをコンパイルしてインストールするだけでよい。普段は 10GbE として使用できるので ssh、NFS 等を普通に使用することができる。もちろん MPI も使用できるのだが、MPI は MX モードで使用した方がパフォーマンスが高いようだ。PCI-Express の x8 以上が必要になる(遅いが x4 以下でも動作する)。10Gb + 10Gb の全二重通信なので確かに x8 以上は必要になる。
1GbE の製品と比較すると相当高いが、現在の性能のサーバはもはや 1GbE では帯域が全く足りない。是非導入したい製品の一つである。

最適化 Online Solver その２

様々な紆余曲折があったが、何とか電源と空調を確保できる方向で進んでいる。以前ほどの規模にはならないが、それでも１台のマシンの能力が向上しているので全体の能力は上回ることになるだろう。規模が大きいと管理が大変なのでマシンも少数精鋭なのが良い。やはり一部のノードでは 1GbE では明らかに力不足なので 10GbE が欲しい。現在 Myrinet 10G などを含め検討中になっている。
SDPA Online Solver の方は耐久テストに入っているが、特に異常なく動作を続けている。ただしユーザーに対してメモリや実行時間のリミットをどう設定するかが難しいところだ。普通の規模の問題が入力されてもビクともしないが、異常に大きな問題が入力されたときの設定がまだである。

最適化 Online Solver

SDPA Online Solver と呼んでいるシステムだが、他のグループが作成したソフトウェアも組み入れて発展させていこうという企画（以前から構想はあったが）が進んでいる。だから SDPA Online Solver ではなく最適化 Online Solver として、NEOS サーバとは異なる趣向、異なるシステムになるだろう。今年度中には 16ノード, 32CPU, メモリ 2GB/ノードのクラスタ計算機や 4ノード、8CPU, 32 コア, メモリ 16GB/ノードなどのクラスタ計算機群が加わる予定になっている。

サーバとビデオチップ

今年度の科研費での計算機の選定を行っている。サーバタイプのマシンにする予定だが、例えばデュアルコアやクワッドコアの Xeon 用のマザーボードはインテル 5000 チップセットを用いている。5000P だと PCI Express x16 をサポートしていないので、PCI Express は 8x が 1本、4x が 3本といったような構成になっていて、ビデオチップは ATI ES1000 のようなものが入っている。このビデオチップの性能だとサーバの設定用に用いるぐらいの性能しかないので、たとえクワッドコアの Xeon と 16Gbyte のメモリがあってもワークステーションとして用いることは出来ない。PCI Express の 8x (2Gbyte/sec.)は 10GbEなどに使ったりするので、ビデオカードを増設しようと思うと 4x のレーンに入れるしかない。4x でも多くの用途では十分な性能が出るだろうが、全体的にはアンバランスな感じがする。いずれクラスタ計算機としての使用を終えたときでも、やはりワークステーションとしては使いにくい。

入試難易ランキング

何年か前から入試難易ランキング表を見て一喜一憂するようになってしまった。代ゼミの 2008 年入試の学科別難易ランキング表が発表されている。受験は非常に保守的な世界なので大きくランキングが変わることは少ないが、偏差値が 50 以下の大学になると予備校でもっているデータ数（受験者数)が小さくなるので、偏差値の値は相当付けにくい。というわけでこの範囲では明確な根拠を持って偏差値を決定するのは相当困難である。

Fedora 7 と 仮想マシン

Fedora 7 の正式リリースと共にダウンロードした人は世界的にも多かったようで（データは持ってないが）、しばらくは Fedora 7 がアップされていたサーバは随分込んでいたようだ。最新のハードの上では最新の OS しか動作しないが、バイナリでしか配布されていないパッケージは古い OS 上でしか動作しないということは良くある。また反対にホスト OS を変更したくない、あるいは変更できないが別の OS を使用したいという需要も多く存在する。これらが最近の仮想マシンブームの理由になっている。
Fedora 7 のカーネルは VMI(仮想マシンインターフェイス)に対応しているので、例えば Windows XP + VMware Workstation 6.0 を用いて、ゲスト OS Fedora 7 を動作させると準仮想化(疑似仮想化：パラ・バーチャライゼーション)機能によって、ネイティブ Fedora 7 と同等の性能が得られるようだ。今後は Intel VT や AMD-v などの機能によってさらなる高性能化も期待されている。
ちなみに VMware Workstation 6 の新機能については、こちらに解説されている。

Fedora 7 と PS3

Fedora 7 がもうすぐリリースされることになっている。いつものように x86(32bit)、x86-64(64bit)、PPC(PowerPC) が出てくるようだが、こちらのページによると Fedora 7 からは PS3 に対応したので、アドオンの CD なしで、PS3 を DVD からブートすると他のマシンと同様に普通にインストール出来るようだ。開発環境は以前のように spe のライブラリなどをインストールする必要があるかもしれない。Mac も Intel CPU に移行しているので、今後の PowerPC 系 Linux の開発は Cell が重要なターゲットになってくるのだろうか。

GridWorld2007 その２

時間があまりなかったので GridWorld の展示のみに参加してきた。企業向けの展示なのでグリッドと言ってもデータセンターやWeb ポータル、ジョブマネージャーなどの内容が多い。個人的な興味はグリッドよりもクラスタ技術の方にあったのだが、Myrinet 10G や 10GbE のスイッチ、仮想マシンなどの話を直接聞けたのは予想外の成果だった。
今年度はクワッドコア、デュアルの Xeon E5345 2.33GHz にメモリ 16GB 搭載のマシン同士を 10GbE で接続して MPI の計算を行いたいと考えている。このマシンだと 4 台でも 32 コアが存在することになるが 1GbE では明らかに力不足である。