最適化問題に対する超高速&安定計算

大規模最適化問題、グラフ探索、機械学習やデジタルツインなどの研究のお話が中心

イノベーション・ジャパン2011‐大学見本市

2011年05月31日 01時03分41秒 | Weblog
ホームページはまだ昨年のままですが、今年もイノベーション・ジャパン2011が以下のように開催されることになりました。開催期間が2日に減ったかわりに分野が増えて合計で10分野になるそうです。

【イノベーション・ジャパン2011‐大学見本市 開催概要】
  会  期 : 2011年9月21日(水)~ 9月22日(木)
  会  場 : 東京国際フォーラム(東京・有楽町)
  主  催 : 科学技術振興機構(JST)、新エネルギー・産業技術総合開発機構(NEDO)
  入 場 料 : 無料
  出展分野 :
 「情報通信」「ライフサイエンス」「シニアライフ(高齢社会)」「医療」
 「装置・デバイス」「ナノテクノロジー」「環境保全・浄化」
 「低炭素・エネルギー」「マテリアル・リサイクル」「防災」
コメント (2)
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCOPE@つくば -未来を担う若手研究者の集い2011 報告

2011年05月30日 00時12分07秒 | Weblog
5月28日、29日と SCOPE@つくば合宿を行いまして、台風や余震等が続いておりましたが特にトラブルもなく無事に終了しました。以下が簡単な開催報告となります。

一般発表:25件
5大学交流授業「問題発見とモデル化」:12件
参加者:125人

最優秀発表賞:
木村慧(東京大学情報理工学系研究科数理情報学専攻D1)整数線形不等式系に対する符号情報に基づく計算複雑さの指標

優秀発表賞:
川矩義(筑波大学システム情報工学研究科社会システム工学専攻M2)線形順序付け問題に対するラグランジュ緩和と釘付けテスト
Byungjun You (防衛大学校理工学研究科情報数理D3)DP Solution Algorithms for the Multi-Period Knapsack Problem with Carry-Over Capacities
牧田純弥(中央大学理工学研究科情報工学専攻M1)スライディングブロックパズルを用いた画像再構築
岡田佳也(東京農工大学工学府情報工学専攻M1)現実的な制約を考慮した優等列車停車駅の決定 -JR 南武線を実例として-
相浦大司(東京大学情報理工学系研究科数理情報学専攻M1)行列*代数を用いた対称構造物の釣合経路追跡法
田中未来(東京工業大学大学院社会理工学研究科経営工学専攻D1)0-1 整数変数を含む非凸2 次最適化問題に対する面的縮小を用いた非負半正定値緩和

開催日 : 2011年5月28日(土), 29日(日)
会 場 : 筑波大学 筑波キャンパス 春日地区 講堂
参加費 : 無料(ただし, 宿泊, 懇親会への参加は有料)
事前登録 : 不要
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Betweenness Centrality (BC) と全米データ

2011年05月29日 00時56分45秒 | Weblog
全米データ (23,947,347 nodes, 58,333,344 edges ) に対して厳密な Betweenness Centrality (BC) を計算するとどの程度の時間がかかるのかということを最新のデータから推測してみる。


Magny-Cours 48 コアマシンでは、全米データ 768 SSSP, つまり 1対全最短路を 768 回解いたときの実行時間は 97.202 秒となる (このときの TEPS 値は 460.898 M)。そのため 1 コアで厳密な BC を計算すると約 35 日かかる。また計算上は 1M (100万)スレッドで同時計算した場合ではわずか 3 秒程度で計算が終了する。実用的にはクリアしなければならない点も多いのだが、将来的にはかなり大規模なグラフに対しても新世代スパコンを用いた実時間解析が可能になると推測する。


○Magny-Cours 計算サーバ : (4 CPU x 12 コア = 48 コア)
CPU : AMD Opteron 6174 (2.20GHz / 12MB L3) x 4個
メモリ : 256GB (16 x 16GB / 1066MHz)
OS : Fedora 14 for x86_64
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCOPE@つくば -未来を担う若手研究者の集い2011

2011年05月28日 00時27分26秒 | Weblog
懇親会関係の連絡です。

前夜祭:5月27日(金)18時半~
「季彩かがり」
http://www.kisai-kagari.com/

懇親会:5月28日(土)18時~
懇親会(第1日, 別会場(なごみ白木屋「つくば駅前店」))
http://www.hotpepper.jp/strJ000762619/
マイク等の設備が無いので、筑波大学の方で用意して持ち込んでいただく予定です(店にも連絡済)
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Power Grid と Betweeness Centrality

2011年05月27日 01時10分17秒 | Weblog
The U.S. Electric Grid の様々なデータが公開されている。Western State という下図の中で四角で囲まれたアメリカの西部の州の Electric Power Grid のデータがある。このデータに対して Betweenness Centrality の計算を行なった結果も下図の中に含まれている。
Betweenness Centrality では極端に値の高い最初の 100 ~ 200 点、また反対に極端に値の低い最後の 500 点ぐらいと、それほど大きく値が変わらない真ん中の 2千数百点ぐらいに分類される。



参考:中心性(Centrality) の定義
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPARA 7.3.2 と 7.3.3

2011年05月26日 01時38分56秒 | Weblog
SDPARA の 7.3.2 と 7.3.3 を比較すると、以下のように 7.3.3 の性能向上を見ることができる。個人的には結構性能が良くなってきたと感じている。

○esc32b_r2.dat-s : QAPLIB esc32b に対する DNN 緩和問題



198432 = mDIM
9 = nBlock
-198190 321 321 321 321 321 321 449 513 = bLOCKsTTUCT

実行時間
○SDPARA 7.3.2 : 129186.77秒
○SDPARA 7.3.3 : 109863.41秒

○esc32a_r2.dat-s : QAPLIB esc32a に対する DNN 緩和問題

実行時間
○SDPARA 7.3.2 : 22336.48秒
○SDPARA 7.3.3 : 18770.23秒


○新クラスタ計算機
1:PowerEdge M1000e(ブレードエンクロージャー) x 1台
2:PowerEdge M710HD(ブレードサーバ) x 16台
ブレードサーバの仕様:
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ: 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2(1台のみ 300GB x 2)
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 5.5 for x86_64
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA と CSDP

2011年05月25日 01時34分59秒 | Weblog
某論文で SDPA 7.3.0 と CSDP 6.0.1 の実験結果が掲載されていたのだが、どのようなオプションでコンパイルされて、どのような BLAS がリンクされたのかわからないので、とりあえずデフォルトのオプションで作成されたと仮定しよう。この論文では DNN 緩和問題が解かれていたので、QAP の DNN 緩和問題を解いて比較してみる。

○問題 tai10a.dat-s

SDPA 7.3.0 (デフォルト) : 927.66秒
CSDP 6.0.1 (デフォルト) : 825.13秒

ついでに SDPA, CSDP 最新版と GotoBLAS2 をリンクした結果も掲載する。両者にはこれだけの性能差が存在する。

SDPA 7.4β : 18.41秒
CSDP 6.1.1 : 45.74秒

○Magny-Cours 計算サーバ : (4 CPU x 12 コア = 48 コア)
CPU : AMD Opteron 6174 (2.20GHz / 12MB L3) x 4個
メモリ : 256GB (16 x 16GB / 1066MHz)
OS : Fedora 14 for x86_64
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Intel® C++ and Fortran Composer XE for Linux 2011.3.174 から 2011.4.191 その2

2011年05月24日 01時46分55秒 | Weblog
前回の続きで Intel の Sandy Bridge (Corei7 2600K) 上での Intel MKL ライブラリの性能差を計測した。Sandy Bridge に対する MKL の性能は少し上がっているように見える。

○問題1:theta6.dat-s
SDPA 7.4.0 + GotoBLAS2 for Sandy Bridge : 9.089秒
SDPA 7.4.0 + GotoBLAS2 1.13(Nehalem) : 13.428秒
SDPA 7.4.0 + Intel MKL 10.3.3-174 : 10.036秒
SDPA 7.4.0 + Intel MKL 10.3.4-191 : 9.833秒

○問題2:FH2+.1A1.STO6G.pqgt1t2p.dat-s
SDPA 7.4.0 + GotoBLAS2 for Sandy Bridge : 105.293秒
SDPA 7.4.0 + GotoBLAS2 1.13(Nehalem) : 107.935秒
SDPA 7.4.0 + Intel MKL 10.3.3-174 : 111.08秒
SDPA 7.4.0 + Intel MKL 10.3.4-191 : 105.68秒

○問題3:nug12_r2.dat-s
SDPA 7.4.0 + GotoBLAS2 for Sandy Bridge : 111.237秒
SDPA 7.4.0 + GotoBLAS2 1.13(Nehalem) : 189.667秒
SDPA 7.4.0 + Intel MKL 10.3.3-174 : 128.29秒
SDPA 7.4.0 + Intel MKL 10.3.4-191 : 125.55秒

○計算サーバ (1 CPU x 4 コア = 4 コア)
CPU : Intel Corei7 2600K (3.50GHz / 8MB L3) x 2
Memory : 8GB (4 x 2GB)
OS : Fedora 14 for x86_64
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Intel® C++ and Fortran Composer XE for Linux 2011.3.174 から 2011.4.191

2011年05月23日 01時30分33秒 | Weblog
Intel® C++ and Fortran Composer XE for Linux のバージョンが 2011.3.174 から 2011.4.191 に少しだけバージョンアップしたので SDPA を用いて性能差を調べた。

SDPA 7.4.0 + Intel MKL
○問題 nug12_r2.dat-s
MKL 2011.3.174 : 157.27秒
MKL 2011.4.191 : 157.57秒

○問題 FH2+.1A1.STO6G.pqgt1t2p.dat-s
MKL 2011.3.174 : 46.27秒
MKL 2011.4.191 : 46.36秒

両者の性能差はほとんど無いので、多少バージョンアップしても慌ててインストールする必要性は低い。ただし、機能面や bug fix などはまた別問題となる。

○Magny-Cours 計算サーバ : (4 CPU x 12 コア = 48 コア)
CPU : AMD Opteron 6174 (2.20GHz / 12MB L3) x 4個
メモリ : 256GB (16 x 16GB / 1066MHz)
OS : Fedora 14 for x86_64
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCOPE@つくば : 一般発表者

2011年05月22日 00時59分58秒 | Weblog
SCOPE@つくばでの一般講演者ですが、全部で25名で内訳は以下のようになります。

筑波大 6
中央大 5
東京大 3
東工大、防衛大 2
京都大、九州大、静岡大、東京農工大、慶應大、法政大、その他 1

この他にも5大学交流会(4年生)による発表もあります。詳しくは発表プログラムをご覧下さい。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Magny-Cours 48 コアマシン x 2台 : SDPARA その3

2011年05月21日 00時02分09秒 | Weblog
Magny-Cours 48 コアの2サーバの即席クラスタ計算機とInfiniband 付き新クラスタ計算機の最終決戦となる。感想としては、
1:GbE という貧弱なネットワークでも、問題によっては SDPARA の高速化が期待できる
2:新クラスタ計算機の性能はやっぱり凄い(Intel Westmere と Infiniband の組み合わせ)

○問題 Be.1S.SV.pqgt1t2p.dat-s
AMD Magny-Cours
SDPARA 7.3.3 (4 CPU x 12 コア = 48 コア) : 732.23秒
SDPARA 7.3.3 (8 CPU x 12 コア = 96 コア) : 483.45秒
Intel Westmere-EP
SDPARA 7.3.3 (32 CPU x 6 コア = 192 コア) : 152.54秒

○問題 HLi2.2A1.STO6G.pqgt1t2p.dat-s
AMD Magny-Cours
SDPARA 7.3.3 (4 CPU x 12 コア = 48 コア) : 11070.96秒
SDPARA 7.3.3 (8 CPU x 12 コア = 96 コア) : 6196.79秒
Intel Westmere-EP
SDPARA 7.3.3 (32 CPU x 6 コア = 192 コア) : 1385.54秒

○Magny-Cours 計算サーバ : (4 CPU x 12 コア = 48 コア)
CPU : AMD Opteron 6174 (2.20GHz / 12MB L3) x 4個
メモリ : 256GB (16 x 16GB / 1066MHz)
OS : Fedora 14 for x86_64

○新クラスタ計算機
1:PowerEdge M1000e(ブレードエンクロージャー) x 1台
2:PowerEdge M710HD(ブレードサーバ) x 16台
ブレードサーバの仕様:
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ: 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2(1台のみ 300GB x 2)
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 5.6 for x86_64
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Magny-Cours 48 コアマシン x 2台 : SDPARA その2

2011年05月20日 23時09分20秒 | Weblog
Magny-Cours 48 コアの2サーバの即席クラスタ計算機と本物の? Infiniband 付き新クラスタ計算機との性能差を比べてみた。やはり CPU 的にもネットワーク的にも新クラスタ計算機の圧勝となった。

○問題 nug12_r2.dat-s
AMD Magny-Cours
SDPARA 7.3.3 (4 CPU x 12 コア = 48 コア) : 153.21秒
SDPARA 7.3.3 (8 CPU x 12 コア = 96 コア) : 257.91秒
Intel Westmere-EP
SDPARA 7.3.3 (8 CPU x 6 コア = 48 コア) : 68.53秒
SDPARA 7.3.3 (16 CPU x 6 コア = 96 コア) : 44.53秒

○問題 NH3+.2A2\".STO6G.pqgt1t2p.dat-s
SDPARA 7.3.3 (4 CPU x 12 コア = 48 コア) : 187.51秒
SDPARA 7.3.3 (8 CPU x 12 コア = 96 コア) : 144.53秒
Intel Westmere-EP
SDPARA 7.3.3 (8 CPU x 6 コア = 48 コア) : 115.62秒
SDPARA 7.3.3 (16 CPU x 6 コア = 96 コア) : 70.13秒

○Magny-Cours 計算サーバ : (4 CPU x 12 コア = 48 コア)
CPU : AMD Opteron 6174 (2.20GHz / 12MB L3) x 4個
メモリ : 256GB (16 x 16GB / 1066MHz)
OS : Fedora 14 for x86_64

○新クラスタ計算機
1:PowerEdge M1000e(ブレードエンクロージャー) x 1台
2:PowerEdge M710HD(ブレードサーバ) x 16台
ブレードサーバの仕様:
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ: 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2(1台のみ 300GB x 2)
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 5.6 for x86_64
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Magny-Cours 48 コアマシン x 2台 : SDPARA その1

2011年05月19日 17時09分03秒 | Weblog
以下の Magny-Cours 48 コアのマシン2台は GbE という貧弱な?ネットワークで接続されている。OS をインストールするのと同時に mpich2 や SDPARA などもインストールした。Infiniband スイッチのポートが 16 個余っているので、この2台にも Infiniband のボードを付けてみたくなった。

○問題 nug12_r2.dat-s
SDPARA 7.3.3 (4 CPU x 12 コア = 48 コア) : 153.21秒
SDPARA 7.3.3 (8 CPU x 12 コア = 96 コア) : 257.91秒
Cholesky 分解が大きな割合を占める場合にはネットワークの遅さは致命的

○問題 NH3+.2A2\".STO6G.pqgt1t2p.dat-s
SDPARA 7.3.3 (4 CPU x 12 コア = 48 コア) : 187.51秒
SDPARA 7.3.3 (8 CPU x 12 コア = 96 コア) : 144.53秒
反対に SCM 作成時間が大きな割合を占める場合には、ネットワークが遅くても台数が増えると高速化されることがある

○Magny-Cours 計算サーバ : (4 CPU x 12 コア = 48 コア)
CPU : AMD Opteron 6174 (2.20GHz / 12MB L3) x 4個
メモリ : 256GB (16 x 16GB / 1066MHz)
OS : Fedora 14 for x86_64


コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCOPE@つくば プログラム決定

2011年05月18日 14時03分27秒 | Weblog
SCOPE つくば合宿のプログラムが決定しました。以下のホームページを参照下さい。

SCOPE@つくば -- 未来を担う若手研究者の集い2011 --

発表件数は25件(2010年23件、2009年21件)となりました。宿泊者の述べ人数は51名です。もちろん宿泊無しで28日、29日とそれぞれ日帰りでの参加は可能です。懇親会も参加下さい。当日参加や懇親会については事前の予約は必要ありません。

筑波大学は3月11日の大震災でかなりの被害をうけましたが、関係者の方の努力で今年も開催することが出来ました。今後も大規模な余震が起きる可能性は否定できませんが、春日キャンパスの会場は3月11日の本震においても大きな被害は無かったと聞いております。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA Official Page の変更

2011年05月17日 17時02分05秒 | Weblog
SDPA Official Page が
http://sdpa.indsys.chuo-u.ac.jp/sdpa/
から
http://sdpa.sourceforge.net/
に変更になりました。
ただし、以前のホームページも当分の間は運営を続けて行きます。また、SDPA Online Solver 等も現在サーバ上でこれからも運営する予定です。
コメント
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする