Torque へのジョブの投入

Aist Super Cluster では、ジョブマネージャーとして OpenPBS を基本とした Torque を用いている。使用方法の中で SCore を用いて並列実行するときに実行ファイルに引数を渡す方法が良くわからなかったのだが、Torque でも結局 PBS と同じだろうということで試行錯誤していたら結局次のようにやれば良いことに気がついた(いったん寝るといい考えが浮かぶことが多い)。

普通は SDPARA は SCore では以下のように呼び出す。
scrun -nodes=2x2 ./prsdpa -ds ./mcp124-1.dat-s -o ./out -p ./param.sdpa

Torque(PBS)では、シェルスクリプトを書く必要があるので以下のようなファイルを作る。
--- sdpa.sh ---
#!/bin/sh
#PBS -N mpijob
#PBS -l nodes=2:ppn=2
export arg1
export arg2
export arg3
uniq ${PBS_NODEFILE} > /home/sdpa/prog/prsdpa/node2.list
scrun -file=/home/sdpa/prog/prsdpa/node2.list,nodes=2x2 /home/sdpa/prog/prsdpa/prsdpa ${arg1} ${arg2} ${arg3}

ファイルの指定は、フルパスでないとまずいので以下のように qsub コマンドでジョブを投入する。

qsub sdpa.sh -v "arg1=-ds /home/sdpa/src/sdplib/mcp124-1.dat-s,arg2=-o /home/sdpa/out,arg3=-p /home/sdpa/prog/prsdpa/param.sdpa"

これで O.K. のようだ。わかれば簡単だが、情報が載ってなかったのでなんとも面倒くさい。

SACSIS グリッドチャレンジ 2006

以前にも予告したが、今年も SACSIS 2006 でグリッドチャレンジが行われることになった。詳細はホームページを見ていただきたい。グリッド技術の普及を狙った企画であるが、今年は最適化問題や近傍探索法の知名度アップも狙っている。始めは軽い気持ちで参加していたが、だんだん大変な役目を負うことになった。なかなか技術的には敷居が高いかもしれないが、多くのグループに参加していただきたい。

SCore と Kenel のバージョン

題名とは関係ないが９月の丸善丸の内店のベストセラーランキングを見ていたら２０位に”トコトンやさしい戦略物流の本”が入っていた。本に見ていないが、出来る限りカタカナや専門用語などを省きましたと書いてあることから、あまり技術的な話ではないらしい。いずれにしても出来るだけ簡単にした方が好まれるということだと思うが、世の中簡単な話だけで済むわけではないので数理的な手法の導入までは遠いなという印象を受けた。
ところで本題だが、Dual Core Dual Opteron のマシンだが、Kernel 2.6.11 以下で SMP のカーネルを動かすと kernel panic を起こして起動しない。Kernel 2.6.11 以下でも SMP のカーネルで無ければ動くがそれでは意味がない。Kernel 2.6.12 以上だと正常に動作するので Dual Core のサポートの問題なのだろうか。SCore 5.8.3 には Kernel 2.6.11 用のパッチしか付属していないため、いったんクラスタの SCore 化のための作業はストップ。

SCore 5.8.3 のインストールとSELinux

普通の人は役に立たないと思いますが、検索エンジンで引っかかって誰かの役に立つと思うので掲載します。
SCore 5.8.3 を Fedora Core 3 for x86_64 (CPU は Xeon)にインストールする作業を行っていたのだが、インストールは正常に終わっても実行時に以下のようなエラーが発生する。

<1> SCORE-D:ERROR change_owner(STDOUT)=Permission denied
<1> SCORE-D:ERROR Killing user process due to the error.
<1> SCORE-D:ERROR child_terminate(write)
<1> SCORE-D:ERROR change_owner(STDOUT)=Permission denied
<1> SCORE-D:ERROR Killing user process due to the error.
<1> SCORE-D:ERROR child_terminate(write)

エラーの内容は、標準出力の owner を fchown 関数を使って変更するときに上記のエラーが発生する。原因はいろいろと試したら SELinux にあるようだ。
クラスタ計算機では SELinux は必要ないので、
/etc/sysconfig/selinux の SELINUX=enforcing を SELINUX=disabled と変更して再起動すれば OK なようだ。

生活の安全

予定通りというか米国牛肉が輸入解禁になるようだ。以前は一日三食牛丼を食べたこともあったが、今度米国産の牛肉を使った牛丼が復活しても食べることはないと思う。この２年間米国牛肉が輸入禁止になって何か困ったことがあったかと言えば個人的には何もなく、むしろ牛肉を食べる量が減ったので健康には良かったのではないと思う。
山田正彦議員が書いた「アメリカに潰される！　日本の食」が話題になっているようだ。こうなったら食べる食べないは自分達で選択するしかない。
耐震偽装問題が話題になっているせいか、今住んでいるマンションでもみんなひび割れとかを探しているようだ。中庭のタイルにクラックが入っている。こんな杭打ちしてなければ地盤改良もしていないところはしばらくの間は地盤沈下が続くだろうと思うが、どんどん水が入っていくので早めにひびは埋めた方が良いと思う。地下２０ｍの地盤まで杭打ちしてあるマンション本体には異常は見つかっていないのだが、近所の新築一戸建ての家はどうなっているのだろうか。
ここも地盤が良いとは言えないのだが、近い内に発生しそうな地震を調べると震度は大きくても５強から６弱ぐらいなので大きく損傷するような被害は出ないと思う。最近の研究ではやはり地盤が最も重要で、以前海や湖や川だったところ、造成したところや盛り土をしたところは深刻な被害が出るだろうと予想されている。

企業のコンピューティンググリッドへの取り組み

８日ＯＲセミナーで新日鉄ソリューションズの事例を聞いた。もう一年ぐらい前になるが、以下のようなニュースを聞いていたのだが順調にグリッド技術の導入は進んでいるようだ（詳細は企業秘密なのでわからないが）。

新日鉄ソリューションズと日本IBM
世界で初めてグリッド技術を大規模一貫製鉄所に適用へ
～生産工程管理のかなめ、スラブ設計をグリッド化～

ただグリッドコンピューティングと言っても実際にはＬＡＮ内部での計算であることも多く、研究レベルで行われているほど広域に技術が適用されているわけではない。しかし実際に稼働を始めることが重要であろう。やはり IBM, SUN, HP, Oracle などの大企業が積極的にセールスしていることが大きい。我々は多少危なくても先端的な技術であれこれ試している方が面白いのだけれども。

来年度以降の体制

人的資源、場所、電源の不足からクラスタ計算機の構築、増強も来年度からはしばらくお休みになるだろう。その後は別のキャンパスへの移動が始まるので古いノードを引退させた上で、その後の体制を考えなければならない。
メモリが少なくてノード数の多いクラスタ計算機、メモリが多くてノード数の少ないクラスタ計算機などの用途に応じた個性的な計算機群を構築することが出来た。しかし管理にかかる手間は増える一方なので、とりあえずこの辺りで止めてソフトウェアの開発に専念した方がいいだろう。

Opteon クラスタ移動へ

以前のブログでも書いた、RIOWORKS のマザーボード HDAMEX-SLI でメインメモリがビデオカードなどに確保されてしまう件だが、RIOWORKS から間接的に情報をもらったので、以下のようにして解決した。
BIOSの「Chipset」→「NorthBridge Configuration」→「Software Memory Hole」をEnabled　に変更した。ビデオカードが PCI Ex. の GrForce 6600 だと良いが他のビデオカードの場合は未確認である。
ともあれ、これで4GB のマシンで4GB のメモリが使えるようになった（当たり前だが）。そのため別の研究室に Opteron マシンを移動。これから NFS & NIS や SCore などの設定作業に入る。量子化学の SDP でもそれほど巨大でなければこれでも解けると思うのだが。

ORセミナー

今年度の第一回ORセミナーに行ってきた。はじめは忙しいので行かないつもりだったが、Ｋ先生が参加することが無言の圧力になった。大変盛況で企業の方が多く tutomu3さんも参加していたし、F総研のＯさんも来られていた。 招待講演で CPLEX で有名な Robert Bixby が CPLEX とその応用事例について説明した。あとで Bixby に聞いたところ CPLEX の並列計算への対応は、興味もあるし、必要性も感じるが、しばらく手を出さないと言っていた。確かにユーザーが並列計算を出来る環境を気軽に用意できるわけでもなく、様々なトラブルを考慮すると現時点では賢明な判断かもしれない。
午後には企業の事例発表が三件あったが、最適化エンジンは基本的には自作するのではなく ILOG の CPLEX を使っている。最適化の過程で日本の研究者があまり関わっていないのが気になるところだ（関わらない方がいいのかもしれないが）。
基調講演は今野先生だったが、参加者には整数計画問題に関する著作が配られた。中を見たら私のことも触れられていて驚いた（整数計画問題の世界では業績はないが）。

Globus インストール

大学改編が絡んで来ているので大変会議の回数も時間も多い。新学部だけでなく現学部の会議もあるので以前の２倍以上になっている。会議の中身を見ていると確かに面倒ではあるが議論しなければならないことなので仕方が無い。以前は集まって議論しなくても良いと思えることが多かったが、そういった内容はあまり会議の多さから自然消滅しつつある。
Globus 4.0.1 のインストール作業を行う。4.0.1 自体が新しいので、あまり参考になる日本語のページは無い。ここを見ながら一つずつ作業を行う。ただし user & host CA は simpleCA ではなく、AIST で取った CA を使う必要があるので、この通り作業しても駄目で入れ替え作業が必要。以前やったことが無いと結構大変なようだ。grid-proxy-init が通るようになったので一旦作業を終了。ところで昨年は Xeon(64bit)のマシンを買ったのだが、このCPUは何かメリットがあるのだろか？ しばらく買わないと思う。

SCore

SCore のホームページ（正確に言うと PC クラスタコンソシアムだが）に加えて新しいトップページが試験公開されている。当研究室のクラスタは現在多くが SCore クラスタになっているが、新クラスタも SCore に移行すべく対応を行っている。これは SDPA Online Solver の拡張サービスが主な目的である。
AIST Super Cluster も P-32 と M-64 が SCore 化されているが、筑波大学を中心に開発中（発注先は日立か？）の実効性能追求型超並列クラスタPACS-CSも SCore がインストールされるようだ。先日紹介した東工大の新スパコンも NEC が絡んでいるので SCore がインストールされるのだろうか（理由はここでは言わないがなんとなく）。

地震とマンション

昨日のブログにも書いたのだが、新耐震基準以前（１９８１年以前）のマンションは合法だが危険ということが少しずつマスコミに登場するようになった。某Ｎ先生や私などは何年も前から外国にダムやら空港やらを日本の税金で作るよりは国内の建築物（橋や高速道路も含む）の耐震補強をしたらと話し合っていたが、その通りになってきた。ただ今回の公的資金投入に関しては様々な悪い噂が流れているので、続報に期待。
阪神大震災でのマンションの被害状況や復旧方法に関してはこの本に詳しいが現在では入手が困難になっているかもしれない。直接聞きに行くツアーでもまた企画しよう。

本学建物の現状

文部科学省が発表しているアスベスト実態調査によるとアスベスト（石綿）の飛散の恐れのある学校として、１０７校の中にしっかりと本校もランクインしている。アスベスト（石綿）が飛散する恐れのある一部の箇所（設備等のある機械室など）については、既に立ち入り禁止等の措置を講じておりますと発表されているが、現在工事中とか書かれて封鎖されているところなので、誰でも思い当たる場所があるだろう。子供のころはそこら中にアスベストが使われていたので、もう大量に吸ってしまったので、今後吸う量を最小限にするぐらいしか出来ない。
また、何号館が地震が来たら崩れるらしいという噂を良く聞く。専門家に耐震診断をしてもらったので、噂ではなく真実だろうが（学内にも専門家はいるので）。建築基準法は何年かごとに大規模な改正が行われており、1971年(昭和46年：1968年の十勝沖地震が契機になり主としてせん断補強筋の強化)と1981年(昭和56年:1978年の宮城県沖地震が契機になり新耐震設計法への移行)に大改正が行われており、RC基準として1971年以前、1972年から1981年、1982年以降と三つに分類されることが多い。ごく簡単に言えば 1981年基準で建てられた建物は安全、1971年基準ではやや危険、1970年以前だとかなり危険と判断されることが多い。もちろん 1970 年以前に建てられた建物が無条件に危険な訳ではなく、逆に戦前の RC 造などには相当頑丈な物も多い。そういった事情の中で 1968 年に建てられたある校舎は危険な状況で巨大地震には耐えられないと判断されている。
現在話題の欠陥マンションであるが、これは建築基準法を満たさない違法建築であることは言うまでもない。しかし古い建物には当時は合法でも現在では欠陥マンション並みに危険な建物が多いことを考慮する必要がある。上記の年代基準は一つの目安になるだろう。

グリッドの話題

東京工業大学が日本最大のスーパーコンピューティング・グリッドを導入

これはスーパーコンピューターなのだけれども、グリッド関連のソフトも入れてグリッド計算機群の一部としても動作するということなのだろう。AIST Super Cluster とコンセプトは似ている。金をかければ出来るだろうという感じもするし速度以外でシステム的にはあまり魅力を感じない（周りでもそう言っている人が多い）。ここでも書かれているように京速計算機のお試しという役目もある。予定されているアプリケーションを見ているといくら CPU パワーがあっても足りないという世界なので、あっという間に使い尽くされるのではないか。東工大のスパコンは今でも異様に稼働率が高いと聞いている。

DNP、演算途中でも他PCに処理を引き継ぐグリッドコンピューティングソフト

グリッドと言っても LAN でしか動作しないようだ。さらにマルチキャストを使用しているようなので、さらに接続出来るノードには制限が増える。ホームページを見るとループの展開など単純な並列化に対応している。簡単済まそうと思えば、単純な並列化しか出来ないし、性能を上げようと思えば手間暇かける必要があるのはやはり変わらない。

ユーザー増加

SDPA Online Solver のユーザーがだんだん増えて来た。送信できる入力データの上限が 10Mbyte に設定してあるが、さらに大きな問題を入力するユーザもいる。それほど脆弱なシステムでは無いが、継続的、安定的にシステムを稼動させていくのは結構大変だ。無料、保証無しで提供しているサービスではあるが、常時安定して動作していないとユーザがいなくなってしまう。サーバとクラスタ計算機を増強予定だが、時間が少ないので少しずつしか作業が進まない。
ASC の M-64 クラスタで Intel コンパイラを用いて SDPARA が動作するようになった。トラブルの原因は、ほとんどが Fortran から C の関数を呼ぶときの _ の数の違いに因るものだった。