最適化問題に対する超高速&安定計算

大規模最適化問題、グラフ探索、機械学習やデジタルツインなどの研究のお話が中心

8月前半のクラスタ運用

2005年07月31日 17時39分46秒 | Weblog
8月6日から8日まで一斉停電なので、5日の夕方から8日の夕方までクラスタ計算機も全て停止します。メイルサーバと Web サーバも全て停止しますのでメイルも別のアドレスに送っていただきたいと思います。
また、6日から15日まで大学が一斉休暇なのでクラスタの管理も疎くなるかもしれません。落雷が発生しそうな場合には前もって電源を落とします。
ご協力をお願いします。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

オープンキャンパス7月30日

2005年07月30日 19時02分32秒 | Weblog
オープンキャンパス1日目が終了。キャンパスツアーでPCクラスタの説明とソフトウェアデモンストレーションを行う。デモは以下の通り。
1: マンデルブロー図形の計算と描画
2: SDPARA の実行中に CPU の負荷とネットワークのトラフィックをリアルタイムで表示する。
どちらも高校生や父兄には難しいと思うが、クラスタや並列計算の雰囲気は掴んでもらえたかもしれない。昨日のブログに書いたが OPT クラスタでも SCore が動作するにようにしておいたのは大変幸いだった。なぜなら、デモの直前に別の理由で SDPA クラスタが落ちてしまったからである。 SDPA クラスタの復旧には時間がかかったが、OPT クラスタのおかげで特にデモに支障はなかった。

31日追記:
ところで知っている方は多いと思うが、夜の懇親会の後に大変な事態が発生して、車を長距離運転するはめになり、家に戻ったのは結局朝だった。やれやれ。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

OPTクラスタの SCore 対応

2005年07月29日 22時41分07秒 | Weblog
今年の春には SCore が kernel 2.6 対応になるという話を聞いていたのだが、なかなか新バージョンが出ないので、現在の SCore 5.8.2 を用いて OPTクラスタの SCore 化を行った。
CPU: Opteron 1.4GHz
OS : Fedora Core 1 for AMD64
Kernel : 2.4.22
SCpre: 5.8.2
上記の仕様ではソースからコンパイルしてインストールしなければならないので、結構手間取ったが、何とか終了。明日のオープンキャンパスでも使えそうだ。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

落雷時の電圧降下

2005年07月28日 22時20分15秒 | Weblog
25日のブログにも書いたように落雷による瞬間停電があったが、つくばにある超大規模なクラスタ計算機AIST Super Clusterでも茨城県への落雷によって地元の変電所が停電し(茨城県も落雷が大変多い)、0.1 秒の間に 26.7%も電圧が降下したらしい。当然 UPS から瞬停の信号が発せられるのだが、これで本当に停止させてしまうのかは議論の分かれるところだ。地球シミュレータも全てのノードを UPS に繋ぐだけの予算が無く、ファイルサーバ等だけが UPS に繋がっているようだ(現在は違うかもしれないが)。
当研究室は研究用クラスタなので、ほとんど UPS などに予算を回さずにノード数を増やしているが、本来は全て含めて予算の範囲内でやりくり出来るように全体を設計すべきだろう。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPARA-C

2005年07月27日 11時59分06秒 | Weblog
SDPARA-C の論文の審査がやっと終わって掲載されることになった。いろいろな紆余曲折があって結構大変だったが、差読者の意見も確かに有益で論文の向上には繋がったと思う。以前のブログにも書いたが SDPARA と SDPARA-C は同じく SDP を解くための MPI 並列化されたソフトだが、疎性(sparsity)の扱い方が違うのでなかなか面白い事態が発生する。
SDPARA-C は aggregate sparsity pattern という概念を導入していて、制約行列を一つずつ見ながら非零要素が存在する場所を全てチェックして、それを一つ用意した別の行列に書き込んでいく。値は何でもよく、0かそれ以外かをチェックするわけである。 そのため一つ一つの行列は疎な構造でも aggregate sparsity pattern でみた場合には密になっている場合がある。
一般的には aggregate sparsity pattern が疎ならば SDPARA-C で解いた方が、SDPA, SDPARA よりも速い。逆ならば SDPARA の方が速いだろう。

1: 非常にサイズの小さい問題:
  SDPA > SDPARA > SDPARA-C
2: ある程度サイズが大きく aggregate sparsity pattern の疎な場合:
  SDPARA-C > SDPARA > SDPA
3: ある程度サイズが大きく aggregate sparsity pattern の密な場合:
  SDPAPA > SDPA > SDPARA-C あるいは SDPARA > SDPARA-C > SDPA

のようになるのではないかと予想している。あとは現在進めている自動選択の仕組みが出来ると大変好ましい。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

またですか

2005年07月26日 21時42分53秒 | Weblog
前回の事故の主因で耐熱タイルの剥離があったようだ。しかも外部燃料タンクからも一部脱落したらしい。スペースシャトルの落日を見るまでもなく、もうシステム的にも限界なのではないだろうか?

シャトル打ち上げ直後にタイルはく落、安全性を確認中

 【ケネディ宇宙センター(米フロリダ州)=滝田恭子】米航空宇宙局(NASA)は、米東部時間26日午前10時39分(日本時間同日午後11時39分)、野口聡一さん(40)ら7人の宇宙飛行士を乗せたスペースシャトル「ディスカバリー」を宇宙センターから打ち上げた。
シャトルは約40分後、高度約230キロの地球周回軌道に到達、打ち上げは成功した。
だが打ち上げ1分後に、機体の車輪格納部付近から4センチ角の耐熱タイルがはく落したことが、外部燃料タンクに設置されたカメラで確認されており、NASAでは安全性を慎重に確認している。
2003年2月のコロンビア事故は、打ち上げ時に燃料タンクから断熱材が落下し、シャトルの左翼を損傷したのが原因だった。このためNASAは今回、100台を超えるカメラを周辺に設置し、機体を損傷させるような落下物がないか監視していた。NASAは「耐熱システムは帰還までにチェックできる」としている。
シャトルは28日に宇宙ステーションにドッキングし、13日間の飛行の後、8月7日午前(同8月7日夕)、宇宙センターに帰還する。野口さんはこの間、計3回19時間の宇宙遊泳(船外活動)に挑み、損傷した耐熱タイルを修理する技術の検証や、ステーションの姿勢制御装置の交換などを行う予定だ。
(2005年7月27日11時27分 読売新聞)
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

停電からの復旧

2005年07月25日 22時58分26秒 | Weblog
地震があったと思ったら今度は台風が接近している。それと関連しているのか25日の朝4時半ごろに大学か大学のそばで落雷があったらしく、瞬間的に停電したようだ。そのためUPSに接続されていたメイル、Web、Globus サーバなどや SDPA クラスタのファイル & NIS & NFS サーバ以外のマシンは全て電源が落ちてしまった。
復旧は午後から大学で行ったが、何台かトラブルがあったものの運良く全てのノートを復活させることができた。そのため UPS を用いて、全てのクラスタのファイル & NIS & NFS サーバの電源を二重化した。
瞬間停電は夏の間に何回かあるので、こんなことでクラスタのノードが故障する事態は避けなくてはならない。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

学生のレベル

2005年07月24日 11時14分42秒 | Weblog
23日は横浜のみなとみらいで結婚式があったので車で行ってきた。同じテーブルで一緒になった某私立文系大学の先生と話をしていたが、こちらには数学系でも分数計算が出来ない学生がいると話をしたら、あちらの大学では0から1の間の小数点を幾つか与えたときに小さい順に並び替えが出来ない学生がいるそうだ。低いレベルで争っても仕方がないのだが、こちらの負けだ。どこも最近はひどいと思うが例のゆとり教育の新課程で勉強した学生が入学してきたら、大学1,2年生ぐらいは普通の大学の授業が出来ないかもしれない。結局学部修士一貫6教育にしても昔の学部教育ぐらいにしか到達しないかもしれない。ゆとり教育下でも進学校などでは無視して独自教育をしているので上位者は特にレベルは落ちていない。出来るだけ偏差値の高い学生を取れるような改編を計画中である。
ところで、午後4時半すぎに大きな地震があってちょうど横浜の山下公園近くの首都高速を運転中だったが、まるでタイヤがパンクしたかのような振動を感じた。しばらくは地震とはわからなかったがアクアラインが通行禁止になっていて、羽田空港に行ったらエレベータなども止まっていてその辺りで地震と気が付いた。そのせいで首都高速湾岸線、11号台場線(レインボーブリッジ)、都心環状線と普段ならば激混みの路線が信じられないほど空いていて、なんとレインボーブリッジでは前にも後ろにも他に1台も車がいないという珍事を体験できた。電車で行ったならばいつ家に帰れたのかわからない。震度5弱でこの被害の大きさ。震度6弱以上が襲ってきたら本当に危なそうだ。

コメント (2)
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDP の sparse な問題

2005年07月23日 02時44分09秒 | Weblog
SDP の問題で例えば以下のようなタイプの問題がある。
mDIM = 496
nBLOCK = 34
bBLOCKsTRUCT = 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 1
mDIM は制約式の数を表していて、nBLOCK は各制約行列にいくつのブロックがあるかを示している。
また bLOCKsTRUCT は各ブロックの大きさを示しているが、例は図の通りである。bLOCKsTRUCT の値にマイナスが付くと Diagonal Block になる。
この問題では 大きさが 19x19 というあまり大きくないブロックが 33 個もあるわけで、全体としては sparse(疎な)問題なのだが、SDPA のブロックデータ構造ではアクセスに対するオーバーヘッドが大きいので、SDPA では不得意な部類に属する。
ところが SDPARA-C では高速に解くことができる。これは上記の問題の非零要素のパターンを集めた行列がやはり疎なためであり、このような問題では SDPARA-C > SDPARA > SDPA というパフォーマンス順になっている。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

授業提携

2005年07月22日 22時03分40秒 | Weblog
大学の IT 関係学科を分けるとすると、いわゆる情報工学科や情報科学科のような理系的な情報系学科(ハードITとでも呼ぶ)と、メディア系やコンテンツ系の文系的な学科(こちらはソフトIT)に分かれる。実際にはメディア系という名前でも情報工学科に近い、理系的なカリキュラムを組んでいる場合がある。例えばディジタルハリウッド大学などは後者のソフト系なのだが、普通の大学でメディア&コンテンツ系の教員や設備を揃えるのは難しいので、こういった大学と提携して学生を送り込んで単位の認定を行う。あるいは初めからカリキュラムに他大学で学ぶことを入れておいても良いだろう。替わりにソフトIT系の学生にこちらでハードIT系の授業を受けてもらうことも考慮すれば双方に取って大きな利益になるだろう。
基礎英語教育をNOVAなどの専門学校に委託している大学もあるので、これからは本当に専門的に他所には負けないものを持つ必要があるし、そうすれば他の学生を指導するなどして副収入も望めるようになろう。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

オープンキャンパスの撮影

2005年07月21日 22時41分40秒 | Weblog
オープンキャンパスのクイズの撮影があった。業者の人が来て撮影してくれるのだが意外と厳しい。別に噛んだわけでもないのに、少し文章を読む速度が変わっただけで撮り直しになる。ちなみに文章は勝手に言ってはいけないので、カンペを読むことになっている。このカンペが自分の文章ではないので、気をつけないと用語を間違えやすい。テレビ局の撮影なみに厳しくて大変だった。その後はクラスタの映像を取って帰っていった。他の先生もいろいろと撮影されたようだが皆自分の映像をみたくないのは共通している。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

64bit 環境での SDPA

2005年07月20日 05時28分23秒 | Weblog
64bit 環境での SDPA, SDPARA, SDPARA-C の動作に少しトラブルが発生していたが、64 bit というよりも gcc-4.0.x に原因があったらしい。gcc-3.4.x 系で統一すると問題なく動作する。SDPA 本体は gcc-4.0.x でも問題ないが、SDPA が使用しているライブラリ ATLAS や METIS, SPOOLES などが gcc-4.0.x にそのままでは対応していないようだ(少し変更すればいいのかもしれないが)。gcc も Ver 2, 3 から Ver 4 になり、昔のソフトがそのまま動作しないことも多くなった。やはりあまりソースコードを放って置くのは良くない。
また別の機会に書くが、SDPA, SDPARA, SDPARA-C はそれぞれ得意とする問題が異なり、この三つのラインナップは結構強力だ。こちらに書いたように他のソフトも状況によっては公開していきたい。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

オープンキャンパスでのクイズ

2005年07月19日 22時16分04秒 | Weblog
20日に業者が来てオープンキャンパスのクイズの撮影になった。当初は4問とのことだったが、いろいろな事情によって1問になり、しかもすでに問題も作成されていたので楽になった。クイズの出題、撮影は各学科の説明には教員が、大学全体の説明には事務職員が担当することになっているが、いつものことながら仕事が行く人は毎回同じような感じで、仕事の量には相当偏りが生じている。
以下が問題だが、入試センターの方で作成してもらった。

コンピュータは年々処理速度が増しています。一方で、コンピュータを接続してひとつの処理を複数のコンピュータに手分けして処理させる方法があります。では問題。一度に接続できるコンピュータはたかだか数台なので、CPUの速度を上げて一台のコンピュータに全てをさせてしまうほうが効率がいい。さあ、○か×か!?
コメント (3)
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

新聞記事

2005年07月18日 21時24分51秒 | Weblog
産経新聞の17,18日の記事によると順調に志願者を伸ばしてきた薬学部だが、来年度は2割ぐらい減りそうだ(代ゼミより)。原因は薬学部が6年制になり社会へ出るのが2年遅れることや、学費の増加が嫌われていることである。文科省の中央審議会によると中学、高校の理系の先生も修士卒を前提とする構想(つまり6年制)がある。大学側としては6年一貫教育によるメリットは大きいのだろうが、やはり資格のためだけに6年も大学に行こうという受験生は多くなさそうだ。やはり大学院というのは資格取得を上回るメリットを持っている必要がある。
また、首都圏の多くの大学が都心回帰を始めている。バブル期には土地の高騰から郊外に出て行ったり、第2キャンパスを持つ大学多くなったが、ここに来て受験生を集めるためには立地の良さも重要な要素になってきている。理系大学の場合では都心のキャンパスだけでは面積が足りないかもしれないが、その場合でも学部教育と都心で行い、大学院は郊外のキャンパスで研究所のような形で運営を行うことになろう。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA online solver 4

2005年07月17日 22時43分19秒 | Weblog
Online Solver の限定公開に備えて図の Opteron クラスタをOnline Solver専用にすることに決めた。SDPA クラスタはやはり研究用に用いているので、こちらは Online Solver 専用にするのは難しい。ただしこの Opteron 及び OS が 64bit 対応なので一部のアプリケーションの対応に苦労している。ただし x84_64 の良いところは 32 bit アプリケーションの実行も可能なところで、うまくいかない場合には 32 bit アプリケーションとして実行させるかもしれない。
どれだけユーザーが来るのかわからないが、普段の問い合わせや使用されている論文等の数を考慮すると結構使用されると思う。16 台、32 CPU をただで提供するのは結構大盤振る舞いではないだろうか。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする