最適化問題に対する超高速&安定計算

大規模最適化問題、グラフ探索、機械学習やデジタルツインなどの研究のお話が中心

新クラスタ情報

2005年08月31日 02時26分38秒 | Weblog
以前のブログで書いたように、新クラスタは Dual Core の Opteron がベースになっている。ただクラスタと言っても4台だけになるが(購入は5台)、4台×2CPU×Dual Core=16CPU相当になる。これらはしばらくは Online Solver 専用マシンになる予定だ。

1台目: Online Solver の Web サーバ。ただしこのマシン自体が Dual Core Opteron×2 +メモリ 4GB という派手な構成なので、MPI を使用しないソフトウェアの実行はこのマシンで行う(例えば、SDPA や GLPK など)。
2台目から5台目: MPI を使用するソフトウェア(SDPARA や SDPARA-C)などの実行を行うクラスタマシン。ただし2台目は NFS & NIS & PBS のサーバの役目を果たす。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

大学改編案2

2005年08月30日 22時06分16秒 | Weblog
学部、学科の名前にやたらに情報や環境などを付けるのが一時期流行った。しかしその結果、情報などの名前が付く学科が乱立してしまい共に埋没してしまう現象が起きている。以前は情報という名前(例えば情報科学科など)を付けるだけで受験生が大勢集まるという今では考えられないほど楽な状況があった。しかし当然みんな真似をして情報という名前を付けてくるので、そのキーワードの効果も全く薄れてしまっている。
しかし、現在でも高校生にはキーワードによるイメージ戦略は依然として有効であるという受験産業からのデータが出ている。例えば以下のようなキーワードだ。

○メディア、サイエンス、先端、社会情報、人間情報、コミュニケーション、システム、知能、デザイン、バイオ、エコ

イメージやキーワードよりも中身(カリキュラム、研究)だと思っても、実際にキーワードによるイメージ戦略が有効なので、不本意でも仕方がないところだ。

コメント (1)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

大学改編案

2005年08月29日 23時14分52秒 | Weblog
こちらの大学は 2007年の百周年を期して大規模の改編を行うことになっている。他の大学と比べると明らかに遅れているし、それほど大幅な改編とも言えないが、本学の歴史では例を見ない規模と中身だという。

1: 魅力ある(受験生を集められる)学科の創成
2: 既存の人的資源の有効活用

上記の二つの方針は残念ながら本学では相反するので、ここが一番苦労するところである。いろいろカリキュラムの内容や特徴について考えるが、結局人的資源が一番乏しく、ボトルネックであることが明らかになってくる。そのため思考が1と2の堂々巡りになってしまうのだが、あるデパートで実験的に全国から販売の精鋭を集めてみたら、売り場と商品の構成を全く変えなくても売り上げ高が3割も伸びたという。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

コピーワンス信号

2005年08月28日 20時44分00秒 | Weblog
コンテンツを保護する意味で何らかの規制は必要だが、以前から大変悪評高かったコピーワンスの規制が緩和される方向で進んでいる。
古い SONY の PSX などではコピーワンス信号を含んだ放送を録画したら、DVDメディアに移動することすら不可能であり、いずれは消えてします運命にある。また移動するためにはCPRMに対応した HDD レコーダーとメディア(DVD-RAM or DVD-RW)が必要で大変コストがかかっている。無制限にコピー出来るのもまずいがもう少し緩和しないとデジタル放送自体に対して支持が得られないだろう。

デジタル放送、録画1回限り規制緩和へ…利用者に不評

 総務省は28日、テレビの地上デジタル放送やBSデジタル放送を1回だけしか録画できないようにする「コピーワンス」規制の緩和に乗り出す方針を固めた。

 映像著作権などを保護するための措置だが、利用者の反発が強く、このままだとデジタル放送の普及を妨げかねないと判断した。9月にテレビ局や電機メーカー、著作権団体と検討会を設け、家庭では数回に限ってコピーを認めるといった具体策を年内にまとめる。早ければ2006年にも実現する見込みだ。

 デジタル放送はコピーを繰り返しても画質が劣化しないため、過去には番組をコピーしたDVD(デジタル多用途ディスク)がインターネットで違法販売されるなどの問題が起きた。

 このため、NHKと日本民間放送連盟は04年4月から、放送番組の録画は1回に限って認めるが、2度目以降については、デジタル放送の電波に「コピー制御信号」を加え、アナログ放送のように録画した番組を、見たい場面だけ抜き出して編集したり、同じ番組のDVDをコピーして家族で持ち合ったりできなくした。

 しかし、ハードディスク(HD)内蔵のDVDレコーダーの場合、DVDにダビングすると、HDに録画したデータは消滅してしまう。停電などでコピー作業が中断すると、HD、DVDともに視聴できなくなる事態も起き、電機メーカーに苦情が相次いでいた。
(2005年8月29日3時2分 読売新聞)
コメント (1)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

新クラスタの仕様決定

2005年08月27日 16時24分52秒 | Weblog
様々な事務的トラブルがあったので、今年度の新クラスタの購入が相当遅れてしまった。遅れたので仕様も再検討する必要が生じて値段も安い方に改定になった。

CPU : AMD Opteron 265 (1.8GHz)
・デュアルコア搭載
・32bit/64bitアプリケーションを同時に実行可能
・2ウェイ対応
・ソケット形状:Socket940
・クロック:1.8GHz
・2次キャッシュ:1MB x2

マザーボード: Rioworks HDAMEX-SLI
■ デュアルAMD Opteronプロセッサが提供するx86-64アーキテクチャにより64bit OS/32bit OSどちらにも対応
■ デュアルコアに対応
■ 8本のDIMMソケットにDDR400レジスタードメモリを最大16GBまで搭載可能。AMD Opteronプロセッサはメモリコントローラ内蔵なのでメモリレイテンシを大幅に短縮し、アプリケーションの高速化を実現
■ HyperTransport テクノロジの採用により従来のボトルネックであったチップセット間のスループットが飛躍的に向上
■ デジタルVRMを採用。CPU周りはコンデンサフリーとなり長寿命を実現。コンデンサで発生するパワーロスと発熱が抑えられ、効率よくCPUにパワー供給
■ S-ATA2(3Gb/s)を4ポート搭載し、RAID 0, 1, 10をサポート
■ オンボードギガビットイーサネットをPCI Expressバスに接続したことにより高速通信が可能
■ 2つのPCI Express x16スロットでSLiをサポート。3Dグラフィックのレンダリング等でパワーを発揮

デジタルVRMとSLI が売りである。クラスタなので行わないが、SLI 対応のビデオカード二枚挿しが可能。しかもオンボードで USB2.0, オーディオ、IEE1394, 1000BASE-T 搭載。サーバータイプのマザーボードでは珍しい。Windows 64bit 版を入れて CG などをヘビーに行う人が対象なのだろう。
結局1台につき、CPU が2個と Dual Core なので 4CPU が存在することになる。メモリは4GBの予定。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

RAMP2005

2005年08月26日 20時40分38秒 | Weblog
2005年10月20日(木),21日(金)にシティ弘前ホテルおいて RAMP2005 シンポジウムが行われる。その中で10月21日(金)9:30-12:30のセッションにおいて以下のように SDPA に関する講演が予定されている。SDPAの今までの10年間を振り返ると共に、今後の計画などにも触れる予定だ。

------------------------------------------------------------

セッション:連続最適化
オーガナイザー:水野眞治(東京工業大学 社会理工学研究科)

矢部 博(東京理科大学理学部数理情報科学科)
 非線形最適化法の最近の動向

○中田和秀(東京工業大学 社会理工学研究科)
 大規模な半正定値計画問題の解法

後藤順哉(筑波大学システム情報工学研究科)
 CVaR 最小化とその応用

川崎英文 (九州大学大学院数理学研究院)
 多相分割問題の双対性と共役性


コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

H∞制御

2005年08月25日 05時27分48秒 | Weblog
トヨタの Voxy というミニバンのパンフレットに 非線形H∞制御という説明があった。サスペンションの制御に用いていて、路面からの衝撃を効果的に抑えると共にカーブにおいて優れた旋回性能を生み出すそうだ。一般の人には非線形H∞制御なんて書いても絶対わかるわけないのだが(営業の人も説明できないと思うが)、個人的にはこういった用語や説明を書いておくのは意義のあることだと思う。以前ご本人から直接聞いたが、F研究室(当時は東工大)の方でトヨタに現代制御理論を一から教えにいったらしい。教えに行ったとはいえ、その後で理解して実用化するところはさすがである。

以下は参考までにH∞制御
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Kernel 2.6.x と X86_64

2005年08月24日 22時15分47秒 | Weblog
Opteron や新しい Xeon など、64bit CPU の本来の能力を引き出せるのは Kernel 2.6.x だというのは以前から聞いているが、それを行うソフトウェアの開発とチューニングが追いついていないので、どのぐらい性能が出るものなのか知らない。例えば、現在でも SuSE や Fedora Core 1 を用いれば x86_64系の CPU で SCore を動かすことが可能だが、Kernel は 2.4.x のままであり、とりあえず 64bit で動くようにしたという感じがしなくもない。
SCore の今年度開発計画を見ていると、おそらく今年度中に Kernel 2.6.x 対応できるかどうかと言ったところだろう。ASC(Aist Super Cluster)の P32(Opteron, x86_64)とM64(Itanium2, IA64)クラスタもまだ 2.4.x のままなので、かなりもったいない。
こちらの OPT クラスタは Fedora Core 3 が入っているので、Kernel 2.6.11 なのだが、ネットワークは 1000BASE-T 1枚なので、あまり本気の並列計算には向かない。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

落ちやすいマシン

2005年08月23日 22時24分56秒 | Weblog
冷房などの空調も働いているし熱が原因とも思えないのだが、クラスタ計算機の中で定期的に落ちてしまうノードが存在する。きちんと統計を取ったわけではないのだが、おそらく頻繁に止まってしまい手動で再起動と繰り返しているノードもあれば、今まで一度も落ちたことのない優秀なノードが混在していることだろう。
基本的にはみな同じパーツによる構成で OS も一緒であるが、ほとんどが正常に動作していることを考えると相性の問題でも無さそうだ。壊れやすいノードは点検してみると以下のような問題が多い。

1:まずはケーブル(電源、IDE など)の問題、接触が悪ければ指しなおしたり交換してみる。これで直る場合もある。
2:電源の不良。こういった場合も以外とあって、正規の電圧を維持できてない場合がある。
ここまでは安く簡単に直るのだが、
3:マザーボードの不良、消耗による不具合。交換すれば良いのだが一番お金がかかる。ここまで交換すればほとんどの場合では正常に動作する。

今までCPUに関するトラブル(焼ききれるとか)は幸いにも一回も無い。昔はシリコングリスの付け方が悪くてCPUが焦げてしまうなんてこともあったが、一度正常に動きはじめるとトラブルは起きにくいものである。あとファン関係(ビデオカード上など)のトラブルも消耗品だけにやはり多い。それでもCPUファンの停止が無いのはやはり元々の信頼性が違うのだろうか。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

ジョブ管理システム

2005年08月22日 22時18分15秒 | Weblog
昨日の続きであるが、クラスタ内ではジョブ管理システムとして、PBS(Portable Batch System) NASASGE(Sun Grid Engine) Sun Microsystemsの使用を前提とするようである。OPT クラスタでは PBS/SCore を用いているが、これを昨日紹介した長時間のシミュレーション実験に用いるかどうかは未定である。

Sun Grid Engine(SGE)については、http://www.softek.co.jp/Cluster/grid2.html
http://sdc.sun.co.jp/solaris/grid/index.html
を参照のこと。Globus = グリッドとか SGE = グリッドとかいう記述もインターネットでよく見るが、これも一つの見方であり間違ってはいないと思う。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

長時間実験

2005年08月21日 05時54分14秒 | Weblog
産総研の GTRC での長時間実験(おそらく今年の SC2005 を目指したもの)にこちらのクラスタ計算機も参加することになった。アプリケーションの中身は良く知らないが、以下のような目的である。

---------------------------------------------------------------------
シミュレーションの対象は,シリコンのとんがった針の先のようなもので,
シリコンの板をひっかく.その際の摩擦等により量子反応がおこり,シリコン
の表面が酸化する.針と板との間に色々と物質を入れることにより,酸化のコ
ントロールが可能になる(といったあたりを調べるのが目的).
---------------------------------------------------------------------

使用方法はクラスタを占有するのではなく、「空いていれば使う」というタイプになっている。 また「プロセスが死んだら諦めて別のところでやりなおす」ように書かれているとのこと。必要とするCPUはだいたい16CPU程度で,「1ヶ月に1度,3日間の連続利用のペースで3~4ヶ月程度実験を継続」と想定されている。
毎年この種の実験を行っているので、相当ノウハウが蓄積されてきているのだろう。
耐久性から言っても、SDPA クラスタでは心配なので、OPT クラスタを参加させる予定である。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

日本車

2005年08月20日 16時24分48秒 | Weblog
車の定期点検に行った際に、ついでにトヨタのアイシスという人気ミニバンに試乗してみた。乗ったコースは普段走っている道なので、加速性能やステアリングの差などが現在の車と比較しやすかった。どこが違うかと言い出すと長くなるのだが、単にアクセルを踏めば走って、ハンドルを回せば曲がるといった代物ではない。車の動きは、人間の動作と様々なセンサー等によるコンピュータ制御による補正との合成である。それでも HAM(Human Adaptive Mechatronics)というレベルまで達しているわけではない。今後はこの分野にも関わっていくことになるかもしれない。
それにしても、随分日本車とアメ車の差が開いてしまったものだと思う。大型旅客機にしてもエアバス A380 に匹敵するものをボーイングは単独で作れるんだろうか。まあ他国はどうでもいいけれど。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

OPTクラスタでのPBSによるSDPARAの起動

2005年08月19日 22時57分57秒 | Weblog
やはり goo に限らないがサーバーが結構重い。Niftyもそうだがgooのメイルサーバを使うのも結構大変だ。10月のCOE関係の日独ワークショップ論文原稿を書いてからOPTクラスタでPBSからSDPARAを起動できるようにする。以前、AISTスーパークラスタ上でのPBSの使用法には少し苦戦したが、SCore 上のPBSを用いるともっと簡単に出来た。以下のような中身でシェルファイル、例えば sdpara.sh などを作成する。

scout -wait -F ${PBS_NODEFILE} -e scrun -nodes=16 フルパスで指定/prsdpa.score -ds フルパスで指定/gpp250-1.dat-s -o フルパスで指定/output-gpp -p フルパスで指定/param.sdpa

その後で qsub -l nodes=16 ./sdpara.sh と実行すれば良い。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPAクラスタ

2005年08月18日 22時28分00秒 | Weblog
この8月の前半はいろいろな専門の方から貴重な情報を頂いたが、一見するとそれぞれは違う分野で関係無いようだが、良く考えると全てが繋がっていくようだ(別にクラスタとかと関係ないことですが)。
ところで最古参の SDPA クラスタ(2003年2月完成)だが、だんだん壊れる部品、特にファン周りの故障が多くなってきた。これらは安いし交換すればいいだけなのだが、実はいままで CPU, メモリ関係には一切トラブル無しである。マザーボード,HDD,ネットワークカードの交換もそれぞれ一回のみで納入した業者も不思議そうだった。
また何台かの調子が悪くなったが、OS を再インストールしたらあっさり解決した。ファンなどの消耗品を換えて、OS を新しいのにインストールしたら、まだまだ使えそうだ。SCoreのページを見ると、SCore の kernel 2.6.x 対応は結構遅くなりそうだが、近い内に SDPA クラスタは Fedora Core 4 に変えようか検討中だ。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

OPTクラスタでの PBS インストール&設定

2005年08月17日 11時47分20秒 | Weblog
当初の予定通り、SCore 化された OPT クラスタに PBS のインストールと設定を行った。SDPA Online Solver には必要な機能だ。方法は以下の通りだが、微妙に環境によって設定が異なる。すでに SCore がインストールされているので、全マシンに一度にファイルをコピーしたりするのは簡単である。
ただし作業が深夜のやっつけ仕事なので、たまにミスをしたりしてハラハラする。いろいろと不審な点があったが、きりの良いところでいったん終わりにする。もう少し様子を見て SDPA クラスタでも設定を行うことにしよう。
また SDPA クラスタの sdpa020 と sdpa035 で portmap が起動できなくなるなどしたので OS を再インストール。これもその後は特に問題なし。
クラスタ室のエアコンの能力が向上したが、ブレーカーが落ちたりと今いち不安定なのでまだ本来の能力を発揮できていない。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする