最適化問題に対する超高速&安定計算

大規模最適化問題、グラフ探索、機械学習やデジタルツインなどの研究のお話が中心

TEPS 値 その2

2011年03月31日 03時23分04秒 | Weblog


詳細は省略するが Magny-Cours 48 コアで 1.8GTEPS(traversed edges per second)の値が出ている。NY (26万点, 73万枝)データで全対全最短路の計算が 108秒で計算できるので、概算では 264,346(点) x 733,846(枝) / 108秒 ≈ 1.8Gとなっている。全米データ(2400万点, 5800万枝)でも 1.8GTEPS の速度を達成することが出来れば全対全最短路の計算が約 9 日で終わることになる。実際には全米データでは TEPS 値が落ちる可能性があるが、反対に様々な工夫によってさらに TEPS 値が上がっていく可能性もある。

○計算サーバ : Magny-Cours (4 CPU x 12 コア = 48 コア)
CPU : AMD Opteron 6174 (2.20GHz / 12MB L3) x 4個
メモリ : 256GB (16 x 16GB / 1066MHz)
OS : Fedora 14 for x86_64
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

TEPS 値

2011年03月30日 01時54分21秒 | Weblog


1:数千万点の場合:
TEPS(traversed edges per second)値は 1コアで10^7 = 1000万程度。よって、全米データ(2400万点, 5800万枝)に対する最短路計算は 5 秒程度で終了する(全ての枝を1回程度スキャンするので)。

2:10億点の場合
性能がメモリバンド幅に律速されて TEPS 値は 10^6 程度に低下。ディスクアクセスが起きたときに TEPS 値はどうなるか?

今後も最短路検索に関しては TEPS値の上限は 1コアで10^7 程度と予想していたが、条件付きで 10^8 程度まで上げることが可能という見通しも出てきた。節電のためクラスタ計算機は休日か夜しか稼働できない状態なので、1台(それでも48コア)で全米データに対する厳密な中心性の計算に挑戦する予定。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCOPE つくば合宿と JORSJ 特集号

2011年03月29日 23時09分08秒 | Weblog
SCOPEつくば合宿は開催する方向で進んでおります。先日の日本OR学会春季発表会及び統数研での研究集会等で発表することができなかった方も積極的に参加していただければ幸いです。

開催日 : 2011年5月28日(土), 29日(日) (予定)
会 場 : 筑波大学 筑波キャンパス 春日地区 講堂(予定)
参加費 : 無料(ただし, 宿泊, 懇親会への参加は有料)
事前登録 : 不要(ただし, 筑波大学の宿泊施設利用希望の場合は必要)

また SOA、SAOP、SAOR、S@COそしてSCOPE等の研究会で発表していただいた方を対象として、JORSJ の特集号を作る計画がございます。こちらも該当される方にはご協力をお願いします。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

最適化分野におけるクラウド技術の利用

2011年03月28日 02時28分01秒 | Weblog
現在、某学会誌の解説記事のために以下の内容で共同で(4名)原稿を作成している(ただし、書いている間に内容が少し変わりつつある)。紙面の制約があってそれほど詳しく書くことは出来ないが、Graph 500 に関しては日本語での最初の解説になるだろう。

最適化分野におけるクラウド技術の利用
1. 最短路計算やグラフ探索の内容、意義、今後の傾向について 
2. グラフにおける中心性(Centrality) と応用分野(交通分野やソーシャルネットワーク)、及び同時並列計算について
3. クラウドサービス(パブリック、プライベートクラウド)による計算資源の動的確保 
4. Graph 500 関連
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

現状について その2

2011年03月27日 16時25分29秒 | Weblog
先日、ブログに書いた以下の件ですが、様々なご意見や提案等を頂きました。今週はこの件に関して様々な打ち合わせがあります。関係者の方はご協力下さい。

2:近日中に最適化(広くはOR)、アルゴリズムサイエンス分野として防災計画の策定、災害時の避難と誘導及び情報収集と解析、復興計画の策定などについての今後の研究構想について提案を行う予定ですので、その準備を行っている
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Magny-Cours 48 コアマシン

2011年03月26日 02時17分32秒 | Weblog
クラスタ計算機は電力不足から全力稼働できるのは、まだまだ先になりそうですので Magny-Cours 48 コアマシンをもう一台増やして計算機を増強することになりました(実際の納品はかなり後になりそう)。1台でも48コアを搭載しているので、ちょっとしたミニクラスタ計算機なみの計算能力になります。

先日もお伝えしましたように、中心性の計算部分については様々な改良を施しているので、これまでよりも相当性能が上がります(問題の依存の部分も大きいですが)。現在の結果では TEPS 値もかなり良くなってます。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCOPE つくば合宿 その2

2011年03月25日 03時07分26秒 | Weblog
以下の SCOPE つくば合宿ですが、今後事態の悪化が無ければ開催する予定で動いております。今年は、先日中止となった日本OR学会(5大学交流会を含む)や統数研での研究集会等で発表が出来なくなった方に参加、発表していただくことが出来ないか検討しております。

開催日 : 2011年5月28日(土), 29日(日) (予定)
会 場 : 筑波大学 筑波キャンパス 春日地区 講堂(予定)
参加費 : 無料(ただし, 宿泊, 懇親会への参加は有料)
事前登録 : 不要(ただし, 筑波大学の宿泊施設利用希望の場合は必要)
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

中心性の計算

2011年03月24日 09時21分33秒 | Weblog
今日は全体での卒業式が中止になりましたが、学科単位での卒業式は行うことになっています。

ところで、以下の全米データに対する厳密な中心性の計算に関してですが、クラスタ計算機の停止によって現在中断しています。しかし、別のアルゴリズムを採用して、並列計算の効率を大きく上げることが可能になりそうですので、今後はクラスタ計算機ではなく1台の計算サーバで中心性の計算を継続する予定です。電力不足でクラスタ計算機を用いた大規模計算がしばらく困難になったことは残念ですが、様々な方策を尽くして対処していく予定です。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

FireFox 4

2011年03月23日 02時01分19秒 | Weblog
FireFox 4 が使用できるようになったので、インストールして現在唯一フルスペックで動作可能な最短路オンライン・ソルバーで性能を比較してみた。

FireFox 3.6.15 : 17秒
FireFox 4.0 : 16秒

計算結果を返す転送部分が実行時間の多くを占めているようなので、あまり性能差はない。
それでも IE 8 では 40秒以上かかるので、やはり FireFox の方が速い。


コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

現状について

2011年03月22日 09時35分38秒 | Weblog
計算サーバの運用を最小限に抑えておりますので、今後も数値実験等に関する記事は少なくなると思います。現在は以下の作業に追われております。

1:4月以降の授業運営について
  電源無しで授業が行えるか?通勤、通学困難による大規模な遅延についての対応。通常の授業は電源無しでも行える可能性はあるものの、実験や演習に関しては大幅な再構成が必要となる

2:近日中に最適化(広くはOR)、アルゴリズムサイエンス分野として防災計画の策定、災害時の避難と誘導及び情報収集と解析、復興計画の策定などについての今後の研究構想について提案を行う予定ですので、その準備を行っている

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCOPE つくば合宿

2011年03月21日 09時17分52秒 | Weblog
問い合わせをいただいております以下の合宿の件ですが、つくば市全体の被害が大きいので現時点では開催出来ない可能性もございます。ただし、建物等への損傷はそれほど大きくなく、ライフラインの復旧によって大きく状況が改善する場合もありますので、現時点では開催の判断は保留とします。

開催日 : 2011年5月28日(土), 29日(日) (予定)
会 場 : 筑波大学 筑波キャンパス 春日地区 講堂(予定)
参加費 : 無料(ただし, 宿泊, 懇親会への参加は有料)
事前登録 : 不要(ただし, 筑波大学の宿泊施設利用希望の場合は必要)
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

今後の計画について

2011年03月20日 09時40分51秒 | Weblog
現在、火力発電所を中心に発電能力を上げていく努力が行われていますが、この夏には需要量が供給量を上回るのは確実で、23区でも都心の3区以外は計画停電が行われる可能性も高くなってきました。

東電の発電能力、震災前7割に回復へ 2火力再開で


今後の計画ですが以下のようになります。

1:クラスタ計算機を利用する場合では、短時間の使用に留める(1回の実行は長くても半日)
2:SDPA などのホームページについては SourceForge などの外部に移動する
3:オンライン•ソルバーについては、最短路ソルバーなどを例外として基本的にサービスを停止する

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

日本OR学会2011年春季研究発表会中止と SCOPE延期のお知らせ その2

2011年03月19日 02時22分52秒 | Weblog
3月17、18日開催予定の日本OR学会2011年春季研究発表会は中止となりましたが、18日開催予定の5大学交流会も同時に延期となっています。
また SCOPE 講演会(19日)も延期となっていますが、こちらは延期というよりも一部講演者を交替して再構成してから開催する予定です。また5大学交流会を SCOPE で開催(共催)するという方向性で現在検討を進めております。ただし5月28、29日につくばで開催される予定の SCOPE つくば合宿内で5大学交流会を開催するかどうかは未定です。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

研究関係の計算サーバ停止のお知らせ その2

2011年03月18日 00時07分02秒 | Weblog
現在の電力供給量や今後の電力需要量の増大を考慮しますと、以前のような規模での計算サーバの再開にはかなり時間がかかると思います。
現在は最小限の構成で優先度の高い計算のみを行なっています。決して全て止めて研究が停止しているわけではありません。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

日本OR学会2011年春季研究発表会中止と SCOPE延期のお知らせ

2011年03月17日 15時45分13秒 | Weblog
3月17、18日開催予定の日本OR学会2011年春季研究発表会は中止となりました。

日本オペレーションズ・リサーチ学会2011年春季研究発表会中止のお知らせ


また 19 日開催予定の 2011 年度第1回 SCOPE講演会は延期となりました。今後開催時期等については決定次第お知らせしたいと思います。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする