GridMPI と SDPARA その３

昨日の続きだが、最適化オプションを全て切って必要なライブラリを make すると二つのクラスタ計算機で同時に実行しても正常に動作するようだ。しかし結局今回の数値精度の問題で一番怪しいのは ATLAS のようだ。ATLAS を make するときに

CCFLAG0 = -fomit-frame-pointer -O -mfpmath=387 -m64

を

CCFLAG0 = -m64

のようにする。ATLAS だけ最適化オプションを付けなければ他のソフトウェアの最適化オプションは全て付けても正常に動作するようだ。この場合は -msse2 -mfpmath=sse などを付ける必要はない。結局 ATLAS のオプションをいろいろと変えながら試してみることになるだろう。

GridMPI と SDPARA その２

GridMPI を用いて SDPARA を下記の二つのクラスタ計算機で実行することを試している。SDPARA の make には ATLAS(blas 系), CLAPACK, BLACS, SCALAPACK のライブラリが必要になる。SDPARA 本体と BLACS, SCALAPCK の make には mpi のインクルードファイルやライブラリが必要なので GridMPI 1.1 を用いている。

クラスタ A (CPU 64bit Xeon 2.8GHz, OS は Fedora Core 3 for x86_64)
クラスタ B (CPU 64bit Opteron 2.0GHz, OS は Fedora Core 4 for x86_64)

クラスタ A や B のみで実行している場合には正常に動作するが、二つのクラスタで同時に実行すると著しく精度が落ちる。ただし、クラスタ A で作成したバイナリをクラスタ B に移動して同時に実行しますと正常に動作している。クラスタ A の gcc は 3.4.4 で B の gcc は 4.0.2 になっている。
こちらなどを参考にしてコンパイルオプションに -msse2 -mfpmath=sse を付けてみたが、x86_64 系のせいなのか特に変化はなし。今度は最適化オプションを全て付けないで試してみることにする。

データウェアハウス & CRMEXPO

第１１回の データウェアハウス & CRMEXPO(http://web.reedexpo.co.jp/DWH-CRM/)が東京ビッグサイトで２８日から３０日までの間行われている。CRM とは（Custmor　Relationship　Management）のことで顧客購買履歴データ分析サービスのことである。これからは SCM と CRM とか書いてあるが、言葉（特に横文字）を使っただけで何かやったような気分になるのは気をつけたいところだ（コンサルティングの人は本当に理解して用語使ってるのだろうか）。CRM はいいけれども多くのメイルやDMを送りつけてくるのは止めてもらいたい。様々な個人情報から計算などして可能性の高そうな顧客に送っているのだろうが、コンピュータに指図＆命令されて物が買えるかと思う人は少なくないはずだ。
夕方に激しい雷雨があったので瞬間停電しないかと冷や冷やしていたが、なんとか乗り切った。瞬間停電でも UPS に接続されているサーバ以外は全て止まってしまう。

GXP

グリッドチャレンジで使われたリモートでプロセスを起動するためのソフトウェアは GXP である。Ninf-G を使って API レベルでソフトウェアを書くのも大変なので、Condor みたいな使い方をして並列化するときには使えるのではないかと思う。
量子化学の SDP に対する SDPARA の scalability も結構良いらしい。しかし、多くのユーザが同時に PBS などで計算機資源を共有しているシステムなので、これらの影響も無視できないと思う。実際の scalability はもっと良いのではないかと思われる。

kernel 2.6.17 と Fedora Core

現在は、Fedora Core 4 と 5 ともに yum でアップデート出来る最新のカーネルは 2.6.17-1.2139 になっている。Fedora Core 5 の方は１個のカーネルで SMP でも 1CPU でも自動的に対応しているようだが、Fedora Core 4 の方は 2.6.17-1.2139 をインストールすると SMP マシンでも 1 CPU しか認識しない。Fedora Core 4 は 2.6.16 まではカーネルも SMP と 非SMP のものに分かれていたが、2.6.17 から Fedora Core 5 の様に一つに統一されたようだ。Fedora Core 4 の SMP マシンの方は結局 2.6.16 に戻してしばらく様子を見てみることにする。

最適化オンラインサービス

自前で最適化ソフトのオンラインサービスを提供しているが、科研費の関係であまり宣伝していなかったが、もうそのような心配はいらなくなった。しかしやはり気になるのは NEOS サーバに登録されている方のソフトウェアである。ここに現在提供されている非並列版だけでなく並列版も NEOS サーバに入れてもらおうとしたが、並列計算はサポートしないとの返答を管理者から頂いた（もう３年ぐらい前の話だが）。ただし、並列計算機を自分で提供するならば、NEOS サーバからそちらに問題等を転送してもよいとのことだった。いろいろと面倒なので止めて、これが自前のオンラインソルバー作成へのきっかけにもなった。
COIN-OR のホームページからも COIN-OR のソルバーの幾つかが NEOS から使用できると説明されている。最適化オンラインソルバーはまだまだこれからというか有望な分野だと思う。
ところで、某大学でＯＲ系の先生を集中させるらしい。２学科で７人というからかなりの勢力だ。ＯＲ学会員という意味ではさらに増えるらしい。

スパム対策ソフト

goo メイルや Nifty メイルを使っているが、スパムメイルの検出性能は基本的に goo >= Nifty になっている。しかし Norton Antispam の性能が一番良くない。無料とか出会いなどのキーワードが入っていてもスパムとは認識しない。自分でルールを決めて設定してやらないといけないのだろうか。また許可リストに入れていても自分が出したメイルを平気でスパム扱いする。
インターネットで調べるとこれでも市販のソフトでは賢い方と言った意見もあり、そうかもしれないが。

Cell シミュレータ

同じく月刊アスキーの７月号に Cell プログラミングの特集も載っている。ある程度 CPU などを知っていれば読める内容なのでわかりやすい記事だ。一般のユーザーは Cell に触れる機会などは PS3 まではおそらくないので、IBM から公開されている Cell シミュレータを用いるのは良い選択かもしれない。
Cell シミュレータは、IBM のページから取得することが出来る（無料だが登録が必要）。また開発ツールやライブラリなどは BSC(Barcelona Supercomputer Center)から取得が可能である。ただしホスト OS はFedora Core 4 になっていて、ちょっとホームページを見た感じでは PPC か x86 の Fedora Core 4 が必要のようだ。現在手元にある Fedora Core 4 は x86_64 しかないが、ここでも動作しそうな感じもするので今度試してみることにする。さすがに Windows 上の VMWare で Fedora Core 4 を動作させて、さらにその上で Cell シミュレータを動かすのは可能かもしれないが、速度的につらいと思う。
特集には複数の SPE を同時使用したマンデルブロー集合の並列計算のサンプルプログラムも載っている。１年前ぐらいのブログでも紹介したが、３次元マンデルブロー集合を PC クラスタ上で Ninf を用いて高速計算を行い Qt を用いて表示するというプログラムを作成して、80 CPU ぐらいで軽快に動かしていたが、並列化の仕組みは似ているところが多くて面白い。Cell 内部で複数の SPE を用いて並列計算というのはわかるのだが、複数の Cell を用いて並列計算というのはどうなるのだろうか？(MPI などが動くのか？） また以前から言っているように倍精度の浮動小数点計算能力を強化した Cell も是非登場させて欲しい。

高速通信時代

月刊アスキーの７月号にここ数年以内に登場する無線（携帯や無線LAN)技術やサービスについての解説記事が出ている。現在の主流である 3G の携帯電話が登場する前は例えば W-CDMA などで高速にインターネットが出来るとか、高画質のテレビ電話が出来るとか宣伝されたいた。確かに今ではそういった機能は実現されているのだが、コストを考えた場合には誰もが気軽に（低価格、定額で）使えるようにはなっていない。ここ数年の有線系の劇的な進歩と比べると無線の方はやや期待外れの面が強い。
W-ZERO3 のようなモバイル機器で屋外や電車中などでも低価格、定額制で数 M bps ぐらいの速度で通信できたらいいと思っているのだが、そんな時代が来るにはもう少し時間がかかりそうだ。今でも昔と比べれば十分贅沢なのだが。

台湾新幹線

かねてから気になっていた台湾新幹線であるが、2005年10月の開通予定から1年遅れで2006年10月に部分開通で 全線開通は2007年1月以降になる。多くの国で分割して受注しているので、インテグレーションなどで相当トラブルが発生しるようだ。また運転士の養成も随分と遅れているようだ。開通したら乗りに行こうと思っているので、これ以上遅れないことを願う。
やはりバランスを取ろうと思って、複数の国に仕事を分割させるのは止めたほうがよい。

1ペタFLOPSの高速専用コンピュータ

それなりに大きく報道されているので（テレビのニュースではやってないと思われるが）、知っている方も多いと思う。汎用ではなく特殊目的のためのコンピュータではあるが、世界最速のコンピュータシステムが理研に納入された。噂は昔から聞いていたが、MDGRAPE-3というこの世界では大変有名な専用計算用のチップから構成されている。ただし複合機のというのが最近の流行になりつつあるようで、Intel の新 Xeon プロセッサも大量に搭載しているので汎用機としても使用も出来るのだろう。
TOP500 は Linpack という LU 分解のソフトウェアで測定されているが、この計算だって特殊と言えば特殊であり、仮に Linpack 専用機のようなコンピュータを作れば（どれだけ意味があるかは知らないが）、TOP500 で世界一になることも普通に勝負するよりは簡単だと言われている。本気である先端分野の計算をしようと思ったら、おそらく１ペタフロップスのコンピュータでも足りないだろうから、専用計算機を作るというのはリーズナブルは選択肢の一つであると思う。その次の京速（１０ペタ）計算機は複合機ではあるが、Linpack も動くようにして TOO500 での世界一も目指すそうだ。

何かの前兆

某大学での話だが、労組と経営者側の話し合いがまとまらないので、６月中のボーナスの支給はないとのことである（２年連続）。何時にいくら支給されるかも未定（これも２年連続）とのこと。研究費も暫定使用が続いているが、結局大幅に減額のようだ。受験生や偏差値が減少しているので仕方が無い面もあると思うが、一応残った資源を集中して次の攻めに打って出るためのリストラ策でもある。単純に縮小再編して消えていくわけではないらしい。他人事なのでそんなに気にしてはいないが、こんな所もあるということで。

学科別入試ランキング

代ゼミのホームページより閲覧が出来るが、学部別の偏差値ランキングに続いて、2007年入試の学科別偏差値ランキング表が発表された。こういった偏差値はだいだい合っているが、どこの組織でも全受験生のデータを持っているわけではない以上、推測に頼る部分も多い。現在では多くの大学が推薦入試で定員の多くを採用し、普通受験での合格者を絞って見せかけの偏差値を上げるということをやっている。だからもともとの定員が少ないときでも偏差値が上がって見えるので、定員の多い大学と定員の少ない大学を比較するときは注意した方が良い。
その大学だけ見ると受験生も大量に集めたように見えるのだが、実際の偏差値はそんなに甘くはない（某大学の新設ロボット系学科）。倍率が高くなってもなかなか偏差値は上がらない。
そういえばサッカーで引き分けた瞬間に喜ぶサポーターの姿がテレビに映っていたが、この人はサッカーのルールとかＷ杯の仕組みとかを知っているのだろうか。

インターネット総通信量

日経ビジネスの 2006.6.19 号を見ていたら、6-7 ページに動画配信などによって日本の通信ネットワークが飽和しつつあるという記事があった。記事の中には国内のネットの通信量は総務省によると 2005年11月時点で国内インターネットの総通信量は 468 ギガバイトで前年同期の 1.5 倍に増えたとある。単位（ギガバイト？）に違和感を覚えたので元ネタを調べたところ、ここにあった。やはり総務省の記事を見ると 平均で468Gbps (2005年11月)になっている。1.5 倍というのは 324Gbps(2004年11月)と比較してのようである。ひょっとして 468Gbps を見て 468ギガバイトと思ったのだろうか？どちらにしても単位が入っていないので、国内インターネットの総通信量は 468 ギガバイトと言われても単位が月なのか日なのか（ちょっと考えにくいが）、時間なのか分なのか秒なのかわからない。それに元ネタのように平均値ということを明記しよう。
いずれにしても多くのユーザーが動画配信などを同時に利用したら、サーバやネットワークなどが負荷に耐えられないことは誰にでもわかる。今住んでいるマンションは約 360 戸で 100Mbps の回線が 7 本らしい(700Mbps)。一時期はブロードバンドスピードテストによる計測結果が明け方は 50Mbps で、夜は 800kbps なんていう極端なことがあった。その辺の状況をみんな理解したのか、最近では極端に帯域が下がることは無くなった。

OS の更新等

ASC の方は OS 等が更新されて、PBS 関連は使いやすくなった(以前が使いにくかった？）。以前 SCore を使うのは Myrinet の使用だけが理由というのを聞いたことがあって、OS の更新にはそう言った理由があるのかもしれないが、そろそろ 2.4.x 系も終わりにして更新の時期なのかもしれない。ただし数値実験の途中での OS の更新なので以前と実行時間があまり大きく変わってくると困ることもある。
ところでこんな記事があった。私も一応ファンというか興味があるので、いろいろ読んでいるが、この人の解明でこの時代のいろいろな謎が解けてくるように思う。