最適化問題に対する超高速&安定計算

大規模最適化問題、グラフ探索、機械学習やデジタルツインなどの研究のお話が中心

MPICH の修正

2006年02月13日 22時46分49秒 | Weblog
以前も報告したように量子化学の超大規模な SDP は、mpich を用いたときにエラーが発生して解くことが出来なかった。ただし mpich を用いた場合なので SCore などを用いた場合には無事に解くことが出来た。
原因はどこにあるのかと探っていたが、T 大の N さんから以下のような修正方法を伝授していただいた。

エラーの内容は、巨大な問題を解くときにP4バッファが大きすぎるといったものである。以下のように p4_sr.h のヘッダファイルを以下のように修正すれば一応解決する。ただし本質的な解決ではないが。

--- mpid/ch_p4/p4/lib/p4_sr.h~ Fri Nov 5 07:50:53 1999
+++ mpid/ch_p4/p4/lib/p4_sr.h Thu Aug 25 14:23:08 2005
@@ -21,7 +21,7 @@
threaded listener */
#define CONN_REMOTE_OPENING 10

-#define P4_MAX_MSGLEN (1<<28) /* Used in free_p4_msg as sanity check
+#define P4_MAX_MSGLEN (1<<30) /* Used in free_p4_msg as sanity check
increase as desired */

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

クロックアップと寿命

2006年02月12日 23時00分39秒 | Weblog
以前のブログにもちょこっと書いたが、Pentium 4(P4-631) は相当クロックアップできるらしく、インターネットで検索しても 5GHz 越えに成功している例がある。しかしクロックアップできるのと、安定して動作するのは別なので実際にはそんなにクロックを上げて長い時間使用は出来ないだろうが。 マザーボード等もあまり高いクロックで長い時間使用すると相当寿命が縮むそうだ。
特に安いマザーボードでは VRM (DC-DCコンバータの1種)が安いものが使われているので、高負荷、長期運用には向かない。よって基本的に年間ずっと電源を入れっぱなしのクラスタ計算機ではマザーボードをあまり安いものにするとある時期に一斉に壊れたりするので、痛い目にあった所もあるそうだ。前回の Dual Core の Opteron のマザーボードの選定にあたり、こちらではなくこちらを選んだのは、後者はデジタル VRM を採用していて寿命が長いですよと業者に勧められたからである。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA Online Solver 増強計画

2006年02月11日 03時50分52秒 | Weblog
今までの SDPA Online Solver は、グリッド系の技術を用いていて Web サーバーとクラスタ計算機は離れていても良いのだが、こちらの計算機管理の問題等もあって実際には同一 LAN の中に置かれている。そこで、実際にグリッド環境の中で実験を行うのと(と言っても同じ大学内だが)、計算機サーバーを増強する意味から同等のシステムを大学内の違う部屋に構築することにする。これでバックアップシステムにもなるし、複数のクラスタ計算機の中から選択することも可能になるだろう。今年度はこれで終わりだが、いずれ複数の拠点のクラスタ計算機を利用したり、他のソフトも入れていくという遠大な?計画もある。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA クラスタ停止&更新

2006年02月10日 20時12分45秒 | Weblog
SDPA クラスタが稼働を始めてから早3年。この間に CPU を入れ替えたり(Athlon MP 1.2GHz から Athlon MP 2GHZ)、ネットワークカードを二枚に増設したりした(1000BAST-T を二枚)。ただしOSは当時に RedHat 7.3 を入れてからそのままなので、さすがに古さが目立ってきた。CPU やメモリ、マザーボード等はかなり持つが、ファンやハードディスクは調子の悪いものや壊れているものが目立ってきた。
そのため現在の状況で40台を維持するのはコストや手間、それに現在の環境から言っても大変なので、少し規模を縮小して調子の悪くなったパーツは交換等を行い、OSを比較的新しいものに入れ替えて再出発することに決定した。幸か不幸かこの3年間でパソコン単体の性能が劇的に上がったわけではないので、ある程度の台数があれば当分の間活躍できそうだ。今度のOS等は Fedora Core 3 + SCore 5.8.3 を予定している。Fedora Core 3 はすでに公式なサポートが終了しているが、ローカルIPのクラスタななので問題は無いと思われる。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

グリッドチャレンジ 2006 ローカルテスト期間

2006年02月09日 03時09分03秒 | Weblog
いろいろと研究でしたいことがあるが、何とも時間不足。今日も朝、午後、夕方の三つの会議が入っている。報告事項などは資料を回覧にして、わざわざ集まる必要はないだろう。会議を減らす努力をしよう。とにかく学内出身者が学内限定で大きな権力を持っているのが間違いのもとだ。
ところで以前にも紹介した SACSIS 2006 でのグリッドチャレンジであるが、すでにエントリーの申し込みは終了して、ローカルテスト期間になっている。とは言っても各サイトでのクラスタ設定や必要なソフトのインストールに予想以上に手間取っているようだ。スタッフなので各サイトの詳しい情報を持っているが、プログラミング環境は Ninf-G や MPI などである。また各サイトには C/C++, Java, Python, Perl も使用できるようになっている。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

並列計算

2006年02月08日 05時59分42秒 | Weblog
7日のことだが、とりあえず無事に修論発表も終了。最近、並列計算が流行り始めたのはいいのだが、流行ってるからと言って後からやってくる人達にはいつも悩まされる。理論的(つまり計算量的)に言って、このアルゴリズムは並列計算に適しています。だから並列計算を適用したらかなり高速化されますと力説している場合が多い。それ自体は構わないが、この時点で止まっている人と苦労して実装して実験を行い、論文にして報告している人とは雲泥の差があるということが理解されていない。先日シンガポールに行ったときも師匠と話していたが、実際に並列計算を適用しているのといないのでは雲泥の差があるのだから、論文、研究発表、Web 情報の三点セットで地道に実績を積み重ねていけば良いという話になった。
学生の方はよ~く知っていると思うが、こちらの大学のある先生に頼まれて、一年ぐらい前にあるプログラムの並列計算を頼まれて学生達と一緒にいろいろ調べて作成したが、完成後は特に何の反応もなくお蔵入りになってしまった。学生の方も内心怒っているのではないかと思う。これに懲りたので基本的に外部からの依頼は受けないことにする。計算機も貸し借りがあるので、普段借りている相手には喜んでこちらも貸し出すが、一緒に研究して論文書いたりしている相手以外には貸さないことにしよう。
ところで、昨年の今頃に研究室みんなで見た番組が本になって出た。かなり反響があったのだろう。番組中の3人の続報も載っている。ひろあき氏も見たがっていた。こちらの研究室には私も含めてフリーター志望はいない(学科内には結構いるが)。理由の一つは、親から独立して真面目に働かないと食べていけないからであり、まったく普通ながら最も正統な理由でもある。
最後にまたまた関係ない話題だが、地図好きなのでテレビや映画を見ていると、ここはどこなのだろうかと良く考える。世の中にはきちんと調べている人もいる(例えばこちらは凄い)。このサイトの方とは以前お会いして新宿で一緒にオールナイトを見たことがある。当時の古い地図などを入手して、現在の地図と照合したり、現地にポータブルDVDを持っていて映像と現地を照合したり地道な作業である。一番大事なのは道路の曲がり具合とか、建物の模様とか感覚的なところである。これも1970年ぐらいの東京を知る一級品の資料。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

クラスタの安定性

2006年02月07日 03時04分39秒 | Weblog
業者の人に聞いたのだが、Windows の世界ではあまり Dual Core の恩恵を受けることはないので、低クロックの Dual Core (例えば Pentium D 820(2.8GHz))よりも高クロックの Single Core(例えば Pentium 4 660(3.6GHz)) の方が高速を体感できるそうだ。ある特殊な?型番の Pentium 4 があって 3.4GHz が通常の動作クロックなのだが、サンプル品で試したところ、なんと 5GHz で動作したそうだ。面白そうなので早速1個注文したみた。5GHz とは言わないが 4GHz ぐらいで動作させてみよう。
とは言っても、個人で使用するマシンならばいいが、やはりクラスタ計算機は安定性が第一なのでこういった芸当はできない。ところで Dual Core の Opteron を搭載したマシンで Fedora Core 4 の 64bit 版を動作させているのだが、どうも安定性が良くない。Fedora Core は頻繁にアップデートされているが、この OS は長時間高負荷を掛けることに向いているのだろうか。あるいは OS とハードの相性が悪いのかもしれない。量子化学の SDP では、かなり高時間の間、高負荷を掛けて実験するので、途中で止まってしまい実験がなかなか進まない。こうなるとやはり ASC(AIST Super Cluster)は偉大だなと思う。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

東工大の想い出

2006年02月06日 22時44分42秒 | Weblog
今日もまた会議等で懇親会までは付き合ったが、その後の飲みはパスした(明日は修論発表なので)。家に着くころには雪が降ってきた。木曜日も朝から全部で会議が三つも入ってしまった。議論しなければならないことが多いのがわかるが、何も毎週定期的に会議しなくても良いのではないかと思う。少しは会議を減らそうという努力が必要だが、明らかに何人か会議が好きな先生がいるのでなかなか減らない(会議と言っても仕事を誰かに丸投げするだけだが)。上の先生には裏事情を話しているのになかなか解放してくれない。ぎりぎりまで使う気なんだろうと予想する。
ところで帰りの電車で某I先生と一緒になって学生時代のことをいろいろ話していた。I先生は93年から2000年まで東工大に所属(つまり学部から博士まで)。私は95年から97年まで3年間所属していた。ということで当時は知り合いではないが、3年間は同じ大学にいたわけで、いろいろと共通する話題がある。だいぶ前に無くなってしまったが、東工大のとなりに(実際には塀があるので遠回りしないといけないが)、某大手コンビニがあり、そこの店長(夜専門)の接客態度がよろしくないので有名だった。深夜に店に入ると、もの凄い不機嫌な顔でこちらを見る(もちろん24時間営業)。いつも何か怒っている感じで基本的に何もしゃべらない。私もおつりや買った物を投げつけられたりしたことがある。大変な有名人で当時東工大で夜生活していた人で知らない人はいないぐらいだった(学長より有名。私も店長の名前は覚えているが、当時の学長の名前は知らない)。やはりI先生も知っていた。私の後輩も相当頭に来たらしく、コンビニ本部へ電話をしたらしい。そのかいあってか、しばらくすると店自体がなくなってしまった。現在はお総菜屋さんがあるそうなので、当時を偲ぶことは出来ない。
コメント (1)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

低レベル理工系総くずれ?

2006年02月05日 21時44分21秒 | Weblog
52school.comを見たり、自分で各大学のホームページを見に行ってもわかるが、各大学の入試志願状況がほぼ固まってきた。理工系自体の志願者が減っている上に、併願する大学数が減っているので、多くの大学で志願者減になっている(慶応などの上位は伸びているが)。中レベルに達している芝浦工大などは志願者増の見込みであるが、いわゆる偏差値50から45の大学(武蔵工、東京電機、工学院、東京工科、千葉工)は軒並み減になる見通しだ。特に工学院大学の新学部(グローバルエンジニアリング)相当深刻な状況で一年目から定員割れの可能性もある。やはり適当なキーワードを並べただけの横文字名では成功しない(某受験コンサルが発言した通り。高校の先生も同意見)。
一時は大変な人気があった薬学系も6年制に移行することによって志願者が相当減った。だから理工系でも6年一貫教育を採用するのは相当リスクがあると考えてよい。一方大変な受験生の伸びを示しているのは、東京農大などのバイオ系である。ここではバイオセラピーとかアクアバイオなどの横文字がむしろ受けている。
ただ低レベルと言っても、偏差値判定不能のさらにレベルの低い理工系大学もたくさんあるわけで、あくまでも偏差値が付く意味での低レベルである。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Intel Core Duo

2006年02月04日 06時08分07秒 | Weblog
今年は CPU などの Dual(あるいはそれ以上)Core とOSの仮想化技術に密かに期待しているのだが、ノートパソコン用には消費電力等の問題もあって、これまで Dual Core の CPU の投入は見送られていた。しかし最近では、Intel Core Duo(Pentium M の後継:Duo というとどうしてもPCエンジンを思い出す)などのノートパソコンでも使用可能な省電力&Core Duo の製品が出てきている。と思っていたら各社からすでにこれを搭載したノートパソコンが発売されていた。
例えばダイナブックVAIO など。ここ一年ぐらいノートパソコンの世界では CPU の高速化がほとんど無かったので、久しぶりに買っても良いかと思うようになった。ノートパソコンは結構壊れるので2台あった方が便利でもあるし、少し大きくて処理の速いノートととにかく軽く小さくてバッテリーが長持ちするノートが両方あれば使い勝手が良いと思う。ただしノートを2台以上持っているとアメリカなどの空港の手荷物検査では非常に怪しまれる。
コメント (4)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

IT教育

2006年02月03日 22時46分39秒 | Weblog
息子と同じ幼稚園に通う近所の女の子のお兄ちゃん(小学生)であるが、ほとんど常に某社の携帯ゲーム機を持ち、二宮尊徳のように歩きながらゲームをしている。この間はさすがに若い頃からゲームばかりしないように注意しておいた。先日シンガポールに行って現地やインドでの子供達に対するIT教育を見てからは特に思うようになったが、こういったゲーム機が思考、創造能力を低下させて日本のIT基盤を逆に低下させている。私も子供の頃のゲーム時間では、日本人の平均をはるかに超えていたと推測するが、基盤をいじったり、自分でゲームを作ったり、部活の一環として動体視力を鍛えるためにゲーセンに行ったり、古典の時間にC言語の勉強をしたりと受け身ではない総合学習を行っていた。助手の時は、交流増大のために研究室でのゲーム大会を良く主催していた(中身はブログでは書きにくい)。
確かに一時はよくゲームをしていたが、ゲームによって身を崩したことは一度も無い(と思う)。自分でソフトウェアを作成するようになってからは、他人の作ったソフトウェアを単に実行しているだけのゲームにはほとんど魅力を感じなくなってしまった(時間がもったいない)。他人のソフトと自分のソフトを組み合わせるのは楽しいが。
日本のIT教育はお世辞にもレベルが高いとは言えないが、会社に就職してから数年間の上達率は世界有数だそうだ。確かに私の周りもそうだが、コンピュータが出来る人はほとんどが教育に依るものではなく、独学で取得している。コンピュータの難しさの一つにオプションなどの選択肢の多さが挙げられるが、これも経験と野性的な勘で潜り抜けられるものなのだ。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

入試動向 と W-ZERO 続報2 と SDPA

2006年02月02日 22時49分03秒 | Weblog
今日も会議に続く会議で合計で4時間はあったと思う。簡単に言えば現体制と新体制のことを同時に議論しているので2倍ぐらいになっているのだが、そんな単純な話でもない。現在の入試などの現象は意外なことではなく、まったく予想通りにことが進んでいるだけなのだが、今のままで大丈夫だと言っていた人が真っ先に逃亡してしまったので、残された人の動揺が激しくなっている。騙されたと思っているかもしれないが、気が付くのが遅すぎました。定員割れしても最低倍率を維持したいのもわかるが、そういった小手先の対策も今年度でおしまいである。今学部が二つ潰れたら大学自体が財政的に負担に耐えられないであろう。もう見栄をはらないで同一法人、別大学にして全入状態にし、少しずつ規模を小さくしていくなども方法を考慮した方がよい。時間がもったいないので後は勝手にやってください。
本を書けとか、パンフレットを作れとか言われているが、少なくとも今後数年は研究をさせてくれる気は無いらしい。だいだい単に授業を担当するというだけで、専門でもない分野の本を書かなければならないのだろうか? と思っていたら研究計画予定書を書けという依頼も来た。全てとは言わないが、ほとんど丸投げされている状態だ(ひろあき風に言うと丸投げされてみた)。でも研究の時間がもったいないのでお付き合いもほどほどにしておきます。
またまた W-ZERO3 の続報だが、つなぎ放題の 1x にしては通信速度が速いと思っていたら、ここにあるように2月1日から自動的に 2x になってました。プラス 315 円でデータ圧縮サービスもあるので、体感速度は4倍ぐらいあるという感じがする。パソコン用のモデムとして使うと 240kbps で接続と出てくるが、これが結構速い。もちろん常時接続ひかりなどどは全く比較にならないが、劇混みの共用回線よりも速いかもしれない。業者から使い勝手を聞かれたが、正直比較できるものが無いので良くわからないが、バッテリーの消費はやはり激しいと思う。
最後に全然話しが変わるが SDP の制御方法にも実にいろいろな方法があるものだ。10年以上やっていても初めて気が付くことが多い。また別の機会に詳しく書きます。SDPA, SDPARA, SDPARA-C 関連の話が今年の夏ぐらいに "Parallel Combinatorial Optimization" という本の 1 chapter として出版される予定。
コメント (2)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

W-ZERO3 続報とセンサーグリッド

2006年02月01日 05時04分01秒 | Weblog
いろいろと揉めていたのだが、W-ZERO3 自体がパソコン用のモデムとして使えるので、現在の AIR-EDGE を解約してこちらをしようするようにした。今年は様々な情報端末が出てくるだろうから、その最初の機種としてみれば、可もなく不可もなくこんなものだろうと思う。予想以上に発熱量が多いので、一部で言われているように Windows Mobile のせいなのだろうか? いずれにしてもバッテリーの時間はあまり長くはない。つなぎ放題 [1x] で契約したのだが、接続電話番号的には、つなぎ放題 [4x] の方で接続されているような気もする。怖いので一応確認中である。すぐに必要の無い人は後継機種を待っても良いと思う。
ところで W-ZERO3 とは関係ないのだが、久しぶりにこちらの方から連絡があった。一昨年に薬師寺での振動観測で会ったあとに、学生と羽生の工場に見学に行った。多分センサーグリッドの話だと思うので、関係者と調整して産総研秋葉原オフィスで会うようにする。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする