最適化問題に対する超高速&安定計算

大規模最適化問題、グラフ探索、機械学習やデジタルツインなどの研究のお話が中心

次世代スーパーコンピュータプロジェクトのホームページ 改訂版

2010年04月30日 22時26分04秒 | Weblog
次世代スーパーコンピュータプロジェクトのホームページがリニューアルしているので、全部読んでみた。

1:1ノードで 16GB のメモリを搭載している:予算の問題もあるが、ちょっと少ないという印象を受ける。一部のノードでも良いので、搭載メモリを多くしてもらいたい。今の SDPARA の仕様では 16GB のメモリでは、ノード数を増やしてもあまり大きな問題は解けない。

2:キャッシュメモリは確かに POWER7 よりも少ないが、キャッシュメモリはある程度の量があれば性能の方が大事なので、セクタキャッシュ機構にも期待したいところ(ディレクティブで指示できることを期待)。SDPARA の新機能では、スレッドの一つにコピールーチンとしての機能を兼任させて、特定の行列の要素を狙い撃ちでキャッシュに載せた後に複数スレッドからアクセスしようと考えているので、セクタキャッシュ機能の活用も想定している。このくらいは誰でも考えつくだろうが、SDPARA では、この計算のための前処理に大きな工夫がある。とにかく作ってからチューニングという方法で良いだろう。

3:スパコンの仕様については横川さんのスライドなどが参考になる。4倍長精度演算がサポート(IEEE754R及びdouble-double形式)になっている。もちろんハードウェアでサポートされるわけではないので低速だと推測されるが、これは SDP の大規模計算では必須機能になる。IEEE754R は binary128 だと推測されるが、MPI と関連するライブラリレベルでもサポートされるのだろうか? ついでに全てのメジャーなライブラリを int = 64bit に対応してもらえないだろうか?

4:以下のようにレジスタ数が多いのだが、データ供給能力も以下の通りなので、レジスタを大量に使った計算ではキャッシュメモリに相当の負担がかかるのではないだろうか?
浮動小数点レジスタ(64ビット):256本
グローバルレジスタ(64ビット):188本

データ供給能力
レジスタ‐L1キャッシュ間:4B/FLOP
L1キャッシュ‐L2キャッシュ間:2B/FLOP
L2キャッシュ‐主記憶間:0.5B/FLOP
コメント (4)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

学術研究振興資金

2010年04月29日 21時41分27秒 | Weblog
日本私立学校振興・共済事業団の学術研究振興資金無事に採択されたのだが、予想よりも採択状況は厳しかった。採択率は悪くないようだが二年目、三年目の申請も含まれているので、新年度の採択率はあまり高くない。また、交付予定額もかなり減額されたが、それでも多い方なので幸いだった。以下が研究目的となっている。この研究はグループ申請でもあるので、私も他にも多くの教員(研究者)と大学院生が参加することになっている。


○大規模動的ネットワークの最適化モデリングと高速計算による解決

実社会で要求される最適化問題に対する研究は多岐に渡っているが、危機管理や環境対策などの観点から以下の最適化問題の実用的研究と成果の検証が急務とされている.
■大規模災害等で突発的に発生し早急な解決が望まれる問題
■非常にデータ量などの規模が大きく従来の手法では処理が困難な問題
既存の研究では実データの不足、解決手法や計算能力の性能の低さによって、十分な成果を上げることが出来なかったが、超大規模データ + 最新最適化理論 + 超高速計算を組み合わせることによって、実用に耐え得る解決策の提示と大規模最適化問題を扱う際の先例となることを目指す.
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPSOL

2010年04月28日 22時12分42秒 | Weblog
SDPA よりも古くから存在した数少ない SDP 用のソルバーである SDPSOL は、まだホームページも現存している。しかも Linux 用のソルバーは、Fedora 13 for x86_64 版で動作した!!

$ ./sdpsol.linux sample.dat
This is sdpsol, version beta.
Copyright (c) 1996, Shao-Po Wu and Stephen Boyd.

Compilation log messages:
sample:6 declare 4x4 symmetric primal variable Delta.
sample:8 specify 4x1 equality constraint.
sample:10 specify 4x4 LMI constraint.
Compilation completes without error.

maxdet: the problem is feasible.
maxdet: start phase 2.
workspace 8040 bytes.
iters obj gap
6 -1.68e+01 3.55e+00
10 -1.74e+01 2.89e-02
13 -1.74e+01 1.67e-05
16 -1.74e+01 5.70e-07

sdpsol version beta, Fri Apr 23 13:20:25 2010

SDPA よりも古いというと、SDPSOL, SP, Pinpal(SDPA の前身)ぐらいだろうか、MATLAB LMI toolbox などもソルバーに含まれるかもしれない。汎用 SDP ソルバーとしては SDPA が最初になるだろう。近い内にこちらのブログ上で SDPA の始まりから現在に至るまでの歴史について "SDPA 自叙伝”のような記事を不定期で連載する予定である。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCOPE@つくば -未来を担う若手研究者の集い2010- お知らせ

2010年04月27日 12時20分06秒 | Weblog
SCOPE つくば合宿のお知らせになります。

1:会場が筑波大学春日キャンパス(旧図書館情報大学)に変更になりました。つくばエクスプレス(TX)のつくば駅から徒歩(10分程度)で移動可能です。講堂は昨年3月の日本オペレーションズ・リサーチ学会開催時で表彰式等で用いた広い部屋です。

2:筑波大学内の宿泊施設は限りがございますので、学生の方優先とさせていただく予定です。学生以外の方で宿泊を予定されている方はお手数ではございますが、なるべく早めに、つくば駅周辺の宿泊施設を予約されることをお勧めします。

3:懇親会の場所と日時が決定しました。こちらもつくば駅の近くですので、当日電車等で来られて懇親会だけ参加することもできます。その場合には事前に連絡をお願い致します。

4:今年から託児所(有料)を解説することになりました。対象は小学生以下になります。利用を考えている方がおられましたら連絡をお願い致します。

開催日 : 2010年6月26日(土), 27日(日)
会 場 : 筑波大学 春日キャンパス 講堂(予定)
参加費 : 無料(ただし, 宿泊, 懇親会への参加は有料)
事前登録 : 不要(ただし, 筑波大学の宿泊施設利用希望の場合は必要)

懇親会 : 6月26日(土)18:30-20:30
オークラフロンティアホテル レストラン「カメリア」
http://www.okura-tsukuba.co.jp/restaurant/camellia.php
バイキングコース : 学生3,000円、学生以外5,000円(予定)
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

今年度の SCOPE 研究会(予定)

2010年04月26日 13時21分56秒 | Weblog
今年度の研究会の予定ですが、以下の通りです。

第2回:7月10日(土曜日):確定
第3回:9月11日(土曜日):予定
第4回:10月2日(土曜日):確定

内容等については順次発表致します。7月は国内の研究者の方に講演をお願いしております。また、9月と10月は国外から講演者を招待する予定です。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Xperia と最短路オンラインソルバー その2

2010年04月25日 20時43分47秒 | Weblog
すでに Xperia を持っている方がいたので、最短路オンライン・ソルバーの方を実行してもらった。

1: http://opt.indsys.chuo-u.ac.jp/portal/sp/GM-GM/sp_graphic.php
Google Maps 版 : 表示はできるが、座標の入力が出来ない。マウスカーソルが出てこない。添付図の座標入力の部分にも直接入力ができない(というよりもできない仕様になっている)

2: http://opt.indsys.chuo-u.ac.jp/portal/sp/G-G/sp_graphic.php
  非 Google Maps 版 : マウスカーソルが出てこないのは一緒だが、直接の座標値の入力はできる。

ということで、私が持っている SHARP HT-04A のフルブラウザと全く同じ結果になった。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

gcc 4.5.0 と CentOS 5.4

2010年04月24日 12時28分28秒 | Weblog
CentOS 5.4 搭載のサーバでも gcc 4.5.0 をインストールした。ご存知のように CentOS は RHEL のクローンであって、非常に高いバイナリ互換性を持っている。すでにバージョンが 5.4 になるにも関わらず 5.0 の時から gcc (4.1.2) と kernel (2.6.18) のバージョンに変更はない(マイナーチェンジは何回も行われている)。OpenMP や gfortran の性能の問題もあるので、kernel はともかく gcc が 4.1.2 のままでは他の Linux と比較する際に困ることが多い。
そこで”上がぬなら、上げてしまえ gcc (詠み人知らず)" ということで、こちらのクラスタ計算機でも gcc は 4.4.x か 4.5.0 に上げている。Fedora は反対に gcc や kernel のバージョンもどんどん上がっていくが、Vine Linux でも 開発版の VineSeed はバージョンアップのペースが非常に速いようだ。

ちなみに SDPA では gcc 4.4.3 でも gcc 4.5.0 でも性能はほとんど変わらない。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

学会誌 SDP 特集号

2010年04月23日 01時32分09秒 | Weblog
ある学会誌の7月号で SDP に関する以下の解説記事が掲載される予定である。
特集名は”半正定値計画問題(SDP)に対するソルバーと応用例”である。

1. SDP の問題記述&解決能力 (問題の変換や記述方法等)
2. SDP ソルバーの紹介 (各ソルバーの特徴や使い方等)
3. SDP ソルバーの性能 1: 高速&大規模計算 (解くことができる SDP の問題規模と計算時間について)
4. SDP ソルバーの性能 2: 高精度&安定計算 (数値精度の問題と解決法,任意精度計算等)
5. SDP と多項式最適化問題
6. SDP ソルバーの開発における最新技術について
コメント (2)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

gcc 4.5.0 と Vine Linux 5.1

2010年04月22日 01時04分29秒 | Weblog
Vine Linux 5.1 をインストールしたのだが、デフォルトの gcc のバージョン 4.1.2 と古すぎるので、最新の gcc 4.5.0 を Vine Linux 5.1 上にインストールした。32bit の開発環境も必要なので apt-get install glibc-devel* としておく。gcc 4.4.x ではインストール時に
GMP 最新版は 5.0.1
MPFR 最新版 2.4.2
が必要だが、4.5.0 ではさらに
MPC が必要になるので事前にインストールが必要。
よって、GMP ー> MPFR ー> MPC ー> GCC 4.5.0 の順番でインストールしていく。gcc 4.5.0 がインストールできると Vine Linux 上でも OpenMP の利用も含めてソフトウェア開発が本格的に行えるようになる。
コメント (2)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Xperia と最短路オンラインソルバー

2010年04月21日 18時28分04秒 | Weblog
どなたか DoCoMo の Xperia をお持ちの方がいらっしゃいましたら、最短路オンラインソルバー(Google Map 版)が正常に実行できるか試してみてください。具体的には以下の項目が正常に実行できるかになります。

1:Google Map 上での始点と終点の入力
2:最短路の計算
3:Google Map 上での最短経路の表示

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

某スパコンと SDPARA その13

2010年04月20日 01時50分31秒 | Weblog
以前も公表した SDPARA の実験結果ですが、プロセス数(MPI) と コア数(Pthread) の数のデータを加えてみました(128 x 16 は 128 プロセス x 16 コアという意味)。この実験結果等につきましては、当初の予想よりもはるかに多くの反応がありまして複数の方からご意見や問い合わせ等をいただきました。某スパコンの所在については全員正解されました。
何で ?? で借りないのかという質問もありましたが、まとまった数のノードを長期間借りるというのは結構難しい要求になりまして、以下の結果のように、少ないノード数だと自前のクラスタ計算機の方が高速に解けるということもありますので、借りる意味が無くなります。ですから今回は非常に条件に恵まれたと思います。長期実験中にも 128 ノードが全て停止することなく動作していました。どこかでスパコンを借りる場合、そこの機関やスパコンのメーカー等と良い意味で関係を持続させていくことも必要になると思います。使用させていただく以上は相手にもメリットが無いといけません。?? は個人的にあまり好きでないという理由もあるのですが。
また、理論性能値はともかく、実性能では Intel Xeon > AMD Opteron だねという意見も多かったです。今年の新製品でまた性能差が開きそうな感じがします(価格差も開きそうですが)。SDPARA では疎データの扱い方が重要ですので、Intel Xeon での実行が有利ですが、個人的には Fujitsu SPARC64 Venus でも結構性能が出せるのではないかと推測します(実行したことが無いので断定は出来ませんが)。


    某スパコン     SDPA クラスタ
問題1 27,523.8s(128 x 16)  49,037.9s(16 x 8)
問題2 68,593.4s(128 x 16)  146,763.2s(32 x 4)
問題3 72,025.6s(128 x 16)  154,043.3s(32 x 4)
問題4 5,943.1s(128 x 16)  21,910.5s(64 x 2)

○ SDPA クラスタ
16 Nodes, 32 CPUs, 128 CPU cores;
CPU : Intel Xeon 5460 3.16GHz (quad cores) x 2 / node
Memory : 48GB / node
NIC : GbE x 2 and Myrinet-10G x 1 / node
OS : CentOS 5.4 for x86_64

○ 某スパコン
128 Nodes, 512 CPUs, 2048 CPU cores; (今回使用した分のみ)
CPU : AMD Opteron 8356 2.3GHz (quad cores) x 4 / node
Memory 32GB / node
NIC : GbE x 2 and Infiniband x 4 / node
OS : RHEL 4.x for x86_64
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

最適化オンライン・ソルバー 2010年度

2010年04月19日 01時01分38秒 | Weblog
最適化オンライン・ソルバーの開発と運用については、2010 年度で一つの区切りを迎えることになる。現時点での計画については以下の通りになる。

1: システムは簡素化して安定性と堅牢性を重要視する
2: 登録する最適化ソフトウェアを増やすと共にインターフェイスの統一(特にトップページ)を図る
3: 計算機資源のコンパクト化(ただし技術の進歩によって総合性能は上がる)を行う

詳細については随時公表していくが、2010 年度以降については、我々の研究計画の中で最適化ソフトウェアの開発、あるいはソフトウェアを用いた応用研究の比重が増えていくので、オンライン・ソルバーの方はなるべく手間をかけずに、良い物を提供していけるようにしていきたい。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Xperia

2010年04月18日 22時55分45秒 | Weblog
ソニー・エリクソンの DoCoMo 用のスマートフォン Xperia は、Google 携帯という特徴もあって現在では早期の入手が困難になっているようだ。個人的には iPhone 3GS が、DoCoMo のネットワークで使えれば iPhone 3GS の方でも良いのだが、Google 携帯にはかなり興味を持っている。その理由としては、最短路オンライン・ソルバー が Xperia では正常に動作する可能性があるからである。

売り場には写真のような説明があったので、正確なスペックを以下に記す。

OS : Google™ Android Donut version 1.6
メモリ : RAM 384MB, 本体内メモリ 1GB, 外部メモリ microSDHC カード 16GB
CPU : Qualcomm Snapdragon™ QSD8250 1GHz

1GB の CPU ではなく、1GHz の CPU になる。2000 年に パソコン用の CPU AMD Athlon のクロック周波数が 1GHz を突破したが、それから 10 年後に携帯電話の CPU も 1GHz を突破した。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

PowerEdge M610 と Westmere-EP

2010年04月17日 01時48分06秒 | Weblog
PowerEdge M610 では、より高クロックの CPU (Westmere-EP) が選べるようになった。最高クロックは 3.33GHz なので、全体が低クロックの Nehalem-EX とはかなり差が付くことになった。まだデータが少ないので Nehalem-EX の性能が良くわからないのだが、コア数が多い、メモリバンド幅が広い、L3 キャッシュの量が多いと言った特性から、サーバ上で同時に多数の仮想マシンを動作させる用途には向いているのではないか。反対に HPC 系の用途ではクロック周波数が高い Westmere-EP の方が向いている可能性はあるだろう。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCOPE@つくば -未来を担う若手研究者の集い2010-

2010年04月16日 03時03分15秒 | Weblog
以下のつくば合宿ですが、新企画の方はほぼ決定しまして、現在はいろいろと準備を行っております。また一般講演の申し込み受付を近日中に開始したいと思います。

開催日 : 2010年6月26日(土), 27日(日)
会 場 : 筑波大学 春日キャンパス 講堂(予定)
参加費 : 無料(ただし, 宿泊, 懇親会への参加は有料)
事前登録 : 不要(ただし, 筑波大学の宿泊施設利用希望の場合は必要)
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする