最適化問題に対する超高速&安定計算

大規模最適化問題、グラフ探索、機械学習やデジタルツインなどの研究のお話が中心

ハートビート

2006年02月28日 17時34分11秒 | Weblog
9号館の Ninf-G クライアントから 1号館の Ninf-G のスタブを呼び出すときに、1分以上時間がかかるとクライアント方で Ninf-G のスタブとの接続が切れましたと言ったようなエラーが発生する。1号館に入る時には当然 FireWall があるので、ある程度通信が無いと FireWall が接続を切ってしまう可能性は十分に考えられる。
そこで、ハートビートの間隔を減らしてみたが(default は 60秒)、反対にハートビートが発生した時点でエラーが発生するようだ。そのため以下のようにクライアントの config ファイルを書き換えてみたところ、実行時間が長くても正常に動作するようになった。ハートビートを実行しないと逆に接続が切れないというのはなんか納得がいかない。

<SERVER>
heartbeat 0
</SERVER>
コメント (2)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA クラスタ設定(SCore & PBS)

2006年02月27日 22時15分29秒 | Weblog
SDPA クラスタは全部で40台あったが、数台ぐらいは調子の悪い部品が目立つので、これらは休ませるか引退させて、今後は40台から何台か減る見込みである。現時点では17台ほど OS 再インストールが終了したので、これらに SCore(5.8.3)のインストールと PBS の設定を施した。とりあえず16台 32CPUという構成でこれらも SDPA Online Solver の計算用クラスタとして追加した。
最終的には32台64CPUぐらいは稼働されるが、システムが稼働し始めたので、ゆっくりと追加していくことにする。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Visual Studio 2005 Express Editon

2006年02月26日 23時26分20秒 | Weblog
マイクロソフトが昨年末にVisual Studio 2005 Express Edition日本語版の無償配布を開始している。日経ソフトウェアの3月号に VB2005 & C# 2005 Express Edition の CD-ROM が付いていたのでインストールして使ってみた。1年間は無償で使用できることになっている。Express Edition だと過去の Visual Studio との違いがわかりにくが、初心者に対するわかりやすさと操作性を向上させたことになっている。ためしに短いプログラムを作成してみた。エディタに作成支援機能が付いているので、途中までコマンドを打つとその後の候補が現れたり、文法のチェックなども付いているので、一度作成した後に見直さなくてもビルド時にエラーが発生することは少ない。
以前にも紹介した Windows Compute Cluster Server 2003 だが、Visual Studio 2005 を用いることによって MPI による並列プログラミングが行えるようだ。
コメント (5)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCore rpm インストールと PBS

2006年02月25日 21時18分56秒 | Weblog
三つのクラスタに SCore (5.8.3) をインストールしたが、SDPA クラスタだけは rpm によるバイナリインストールを行った。残りの二つのクラスタはソースファイルからのインストールである。このバイナリインストールを行った SDPA クラスタでの PBS の起動に手間取っていたが、この場合は以下の SCore のドキュメントのように一部に違いがあるようだ。

PBS/SCore をソースコードからコンパイルせずに、バイナリパッケージを使ってインストールした場合は C ベースのスケジューラが使用されます。 C ベースのスケジューラについて詳しくは PBS Administrator Guide "4.4. C Based Scheduler", "9.9. C Based Scheduler" を参照して下さい。

またサーバでない一般のホストで scout が見つからないというエラーが発生するので、サーバの /opt/score/bin 以下を各ノードの /opt/score/bin 以下に rcp でコピーした。良くわからないが、これでとりあえず動作するようになった。

また全てのマシンは Dual CPU なのだが、例えば 8 台 1 CPU (合計 8CPU)で起動する場合には以下のようにして、

qsub -l nodes=8:score tmp.sh

tmp.sh
scout -wait -F ${PBS_NODEFILE} -e scrun -nodes=8 /home/sdpa/sdpa

8 台 2 CPU (合計 16 CPU)で実行する場合には、こんなようにする必要がある。

qsub -l nodes=8:score tmp2.sh

tmp2.sh
scout -wait -F ${PBS_NODEFILE} -e scrun -nodes=8x2 /home/sdpa/sdpa

もっと良い方法はないのだろうか?
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

クラスタ再構築作業

2006年02月24日 22時29分32秒 | Weblog
現在 SDPA クラスタの再構築作業を行っているが結構大変な作業だ。基本的には DVD に OS の ISO イメージを焼いてインストールしているが、台数が多いだけにインストールの速度も重要である。そのため研究室内に Web サーバーを構築して、そこに Fedora Core 3 のインストールイメージや yum の update ファイルなどを置き、ネットワークインストールを行うなどして作業を高速化している。
これだけ大変な構築作業をしているのだから、やはり”ただ”で他者に貸し出す必要は無いなと思う。”ただ”というのはお金をもらうということではなく、こちらに何かしらメリットがあるということで、一緒に研究するとか、こちらもクラスタ計算機を借りるなどである。今は Grid Challenge 2006 の最中だが、これだけの計算機群を貸し出してくれている関係者には本当に頭が下がる。どれだけ大変かは経験者でないとわからないので。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Grid Challenge 2006 予選

2006年02月23日 22時10分29秒 | Weblog
SDPA クラスタはノードの OS を順次更新中だが、とりあえず 9 台の NFS, NIS それに SCore 等の設定も終わったので、SDPA Online Solver 用の計算機として呼び出せるようになった。最終的には 32 ノード, 64 CPU ぐらいが参加できるだろう。今回は Lucie による管理も検討中である。
Grid Challenge 2006 の規定部門の方は早くも多くのチームが予選を通過した。予選は基準が甘いので軽く突破して欲しいところだ。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

入学前教育

2006年02月22日 22時36分56秒 | Weblog
指定校推薦で入学してくる学生(今は高校生)を対象に入学前教育(数学、物理、化学)を行っている。具体的には、こちらで高校レベルの問題を作成して郵送し、解いた後に返送してもらい、添削して再度返すという方法である(基本的には Z会などと同じ)。この添削作業が大変面倒である。ほとんど完璧に解答してくれれば書くことも無いので楽だが、実際にはそうは行かない。問題的には教科書の例題レベルであるが、時間無制限で何を見てもいいのに関わらず、解かれていない問題も多い。これは出来ないと言うよりも、やる気が無いと言うべきか。
図を書いて考えたり、微分して増減表で答えるような問題は面倒なので解答していない場合が多い。これでも将来は数学の先生希望というのだから不思議だ。受験では簡単な問題から先に解くと言うのは当然の方法だが、添削問題なのだから全部やってもらわないと困る。本来は高校の数学の先生の仕事であり、まだ現役の高校生にここまでしなければならないのかという疑問は関係者全てが共有している。普通に入試上位で入ってくる学生は、さすがにここまでひどくはない。
コメント (3)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Grid Challenge 2006 予選開始

2006年02月21日 23時23分34秒 | Weblog
SDPA クラスタの再インストール&設定も少しずつ進んでいる。すでに9ノードが復帰している。インストールが終わったノードから SCore 等をインストールして SDPA の Online Solver に参加させるようにする。明日には SDPA Online Solver も、3クラスタ計算機の体制で運用できそうだ。

ところで各サイトの関係者の方は大変な苦労をしてグリッド関係の設定を行っていたが、いよいと Grid Challenge 2006 の予選が開始されることになった。Globus を使うので簡易 CA を立てたり、各クラスタに Ganglia などをインストールする作業がある。しかし一番大変なのは、実際に計算を行っている最中に安定してクラスタ計算機を提供することにある。これがやったことがないとわからないが大変な作業である。

予選:2006/2/22(水)~2006/3/15(水)
GCFクラスタ上で,委員会が用意した予選用データに対して問題を解く.すべてのデータセットに対して,決められた解を早く求めた順に予選を通過し,予選通過チームのみが決勝へ参加できる.また,参加チームの数が多い場合,予選突破の上位から,決勝参加チームを決めることもある.この場合の上位は, 解を早く出した順で決まり, プログラム自身の速度は問題ではない. 詳しくは,申し込み締め切り後にアナウンスする.
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

秋の発表

2006年02月20日 22時45分40秒 | Weblog
SDPA 開発チームの Y 君が、秋の日本 OR 学会 RAMP シンポジウムで発表することになったそうだ。これで SDPA 開発チームからは2004年から3年連続で発表になった。2002 年も K 先生が発表しているから、頻度としては相当多い。さすがに3年連続で発表しているとそれなりに知名度が上がってくるのではないかと思う。私も秋のOR学会(名古屋)のシンポジウムで発表になっているが、こちらは RAMP と違って普通の発表をしたらつまらないだろうから(主催者からもそのように期待されているので)、RAMP の方とは中身を変えていこうと思う。ちなみに RAMP は京都らしいので、また世界遺産の振動観測見学や新しいセンサーの見学ツアーなどもセットになろう。木造模型の衝撃実験などもあるらしい。
センサーと言えば、28日に産総研秋葉原にて曙ブレーキ工業と方と情報交換の予定。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Fedora Core 5 test 版

2006年02月19日 21時59分20秒 | Weblog
Fedora Core 5 のテスト版(32bit)が出ているのでインストールしてみた。正式には test 版で バージョン 4.91 ということになっている。Fedora Core 3 と 4 はインストーラや中身にもそれほど大きな違いは無かったが、Fedora Core 5 では、test 版を見た感じでは、結構変更がされているようだ(詳細は正式リリース待ち)。インストールが終わって、yum -y update と試しにやってみたら、すでに 1225 個もの更新ファイルがあった。以前は test 版ではファイルの更新等は無かったように記憶しているのだが。
なるほど地図帳2006を買ってみたが、始めのところに平成の市町村合併について地図付きで詳しく出ているが、向昔勉強した地理の知識が役に立たないほど、地域によっては大きく変化している。子供のときは日本で一番広い市は”いわき市”と習ったが、現在では13位まで後退。一番広い高山市は香川県や大阪府よりも広く、東京都と同じくらいの面積というのだから凄い。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA Online Solver に SDPA クラスタも参加

2006年02月18日 23時45分28秒 | Weblog
この前テレビ東京で見かけて、あまりにも懐かしいので CD を購入したら、ちょうどその頃逮捕されていたことが判明した。また日本に来たいと言っていたが当分来られない?と思われる。
今日は都心のホテルでOBとの就職セミナーだったが、こちらの学科は学生もあまり来ないし、訪れてくれる企業も少ないので楽と思いきや、あまりにも誰も来ないのでかえって精神的に疲れてしまった。人が少ないので、某○電気の方々が休憩場所だと思われたようで、いつも間にか場所が占領されてしまった。懇親会では酔った学部長にバイオセラピーの話をしていたら、普段からいろいろと溜まっているものがあるのか、下ネタを連発されていた。あと何故か”いずれさら地に”という危険な単語が会話に頻繁に登場していた。明日は入試監督だったが幸か不幸か受験生が減ったので、行かなくて良くなった(だいだい入試の回数が多すぎる)。
ところで、再構築中の SDPA クラスタも SDPA Online Solver に参加させることにした。最近では量子化学などの大規模な SDP の実験は、基本的に AIST Super Cluster で行っているので、余っている資源は Online Solver に投入することにする。これで産総研のグリッド実験に参加する OPT クラスタ以外は全て Online Solver に投入される。現在二つのクラスタ計算機を呼び出せるようになっているが、もう少しの作業で SDPA クラスタを呼び出せることになる。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA Online Solver 9号館から1号館

2006年02月17日 19時41分30秒 | Weblog
以前の15日のブログに書いたトラブルだが、Ninf-G のクライアントから Ninf-G のスタブを呼び出すことは出来るのだが、Ninf-G のスタブからクラスタ上の Ninf-1 のスタブを呼ぶところでトラブルが発生。はじめは、Ninf-G や OS などの微妙なバージョンの違いが影響しているのかと思って、いろいろ試したが、結局 Ninf-1 のバージョン違いからトラブルが発生していることが判明。すぐに同じものを入れ直して解決した。Ninf-1 は公式な開発が終了していて、本家からも使用は推奨されていないという代物なので注意が必要だ。これで 9号館(Web サーバー & Ninf-G クライアント)から1号館(Ninf-G スタブ & Ninf-1 スタブ & SCore/PBS)という流れが可能になった。これで世界中どことでも組み合わせることが可能になった。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA クラスタ再構築

2006年02月16日 22時08分56秒 | Weblog
予定通り最古参の SDPA クラスタの再構築に入った。すでに何台かは HDD, マザーボードなどの異常が確認されている。あと冷却用のファンはかなり寿命に近づいてきている。同じファンでも CPU ファンは丈夫にと言うか、寿命が長めに設定されているので異常のあるファンはまだない。
SCore 5.8.3 をインストールする関係で、Fedora Core 3 for i386 をインストールしているが、これは既に公式サポートが終了した OS だ。しかしこれまでのアップデートRPM ファイルだけでも大量に存在していて、結局インストール後はこれらのファイルを更新しなければならない。そこで学生の方がローカルに Fedora の更新ファイルを置いた Web サーバーを立ててくれた。本当は rsync 等でミラーサーバーのような形にしても良かったが、ファイルを全て手動で ftp サーバーから持ってきた。いろいろとトラブルがあったが、ミラーリストもローカルに置いたりして解決に成功。相当 yum -y update の作業が高速化した。
とは言っても、別に SDPA クラスタの再構築はそんなに急ぐ必要もなく、台数が多いこともあるのでゆっくり作業していこう。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA Online Solver 二台目稼働

2006年02月15日 22時21分51秒 | Weblog
まだ公開する予定はないが、SDPA Online Solver の2台目の設置&設定がほぼ完了した。基本的には1台目のシステムを継承したものだが、1台目は Ninf-G ver 2.2 と Globus 2.4 上で稼働しているのに対して、2台目は現在の Ninf-G の最新安定版である Ninf-G ver 2.4 + Globus 2.4 で稼働している。
ただし Online Solver 自体が二台あってもユーザー登録は現時点では独立して行っているので、二台を同時に稼働させる必要はない。バックアップシステム的な性格もあるのだが、これで少なくとも Online Solver から1号館と9号館の両方のクラスタ計算機を利用することができるはずだ。ただし、Ninf-G や OS のバージョンと言った微妙な違いから、まだそのような利用が出来る状態にはなっていない。
近日中に Globus 4.0 も稼働する予定なので、Ninf-G 2.4 + Globus 4.0 で三台目を予定する可能性もある。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

大学分析

2006年02月14日 22時39分33秒 | Weblog
インフルエンザのようなウイルス性の疾患は、保育園、幼稚園、小学校などで大流行して子供経由で一般家庭に侵入し、家族全員に感染していくというパターンが多いようだ。こちらのマンションでも誰が最初なのかわからないが、まず子供同士が遊びながら感染していき、その後で家族みんなが病気になったという話を良く聞く。人と接する機会が少なければ少ないほど確かに感染しにくいのは、一人暮らしのときに体験済みだ。というわけで今日は子供と一緒におたふくかぜの予防接種に行った。免疫も定期的にウイルス等が体に入って来ないと弱くなってしまうようで、もう天然痘に対する免疫も無くなってしまっているのかもしれない。
ところで、受験シーズンということもあって大学選び、大学評価、大学分析に関する本などが多く出版されている。これは以前大学にあったので見てみたが、推薦で大学に入ったら不利になりませんか(差別されませんか)と言った質問があったので笑えた。大学側も差別しているわけではないのだが、実際には数IIIや数Cなどを履修していない場合が多いので、最初の内は同じクラスで同じ内容を教えるというわけにはいかない。またZ-KAI(Z会)から出版されている”卓越する大学”という一見珍しい名前の大学分析書が発売されている。Z会の本を買うのは高校3年以来で何とも懐かしい。日本の上位40位ぐらい入っている大学の再編、産官学連携、教育プログラム、COEなどの紹介になっているが、確かにここに入っている大学以外は今後の見通しは暗いという感じはする。これ以下は高校の補習機関という側面もあるし、今後大いに飛躍するのも難しいだろう。
確かに研究はまず個人でするものかもしれないが、一人でいくら頑張ってみでも、こういった大学の評価ではほとんど影響するものではない。というか外部からはそこまで考慮して評価してもらえないだろう。やはり個人だけでなく周りの環境も大事だと再認識した。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする