最適化問題に対する超高速&安定計算

大規模最適化問題、グラフ探索、機械学習やデジタルツインなどの研究のお話が中心

Excelで学ぶOR 非公式サポートページ

2011年08月16日 02時22分04秒 | Weblog
Excel で学ぶ OR の非公式サポートページを作成しました。「Excelで学ぶOR」の正誤表や、書籍に収録されていない幻の第8章へのリンクなどがあります。

Excelで学ぶOR 非公式サポートページ
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

最新 RedHat 系 Linux

2011年08月15日 15時50分52秒 | Weblog
最新の Linux (とは言っても RedHat 系だけだが)で SDPA が正常に動作するのかを調査した。Linux は全て x86_64 系を用いる。

◯ Fedora 15
カーネル:2.6.40-4
gcc : 4.6.0
Intel C++/Fortran : 12.0.5 (インストール可)
SDPA 7.4.0 : 動作確認 OK

◯ CentOS 6.0
カーネル:2.6.32-71.29.1
gcc : 4.4.4
Intel C++/Fortran : 12.0.5 (インストール可)
SDPA 7.4.0 : 動作確認 OK

◯ VineLinux 6.0
カーネル:2.6.35-20vl6
gcc : 4.4.5
Intel C++/Fortran : 12.0.5 (インストール可)
SDPA 7.4.0 : 動作確認 OK
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

連絡

2011年08月14日 01時36分20秒 | Weblog
1: 以下の Magny-Cours 48 コアマシン(上の方)は 22 日に修理となりました。少なくともそれまでは壊れたままです。



2: 以下のクラスタ計算機において、MPI を使う際に rsh だけでなく ssh も使えるように設定しました。

○ OPT クラスタ
1:PowerEdge M1000e(ブレードエンクロージャー) x 1台
2:PowerEdge M710HD(ブレードサーバ) x 16台
ブレードサーバの仕様:
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ: 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2(1台のみ 300GB x 2)
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 5.6 for x86_64
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

MVAPICH2 1.6rc1 と 1.7rc1

2011年08月13日 10時48分58秒 | Weblog
MVAPICH2 の最新版 1.7rc1 と一つ前の 1.6rc1 の性能差を SDPARA を用いて比較を行った。結論から言うとほとんど性能差は無いように見える。ノード間のシェルは rsh ではなく ssh を用いている。

◯ソフトウェア SDPARA 7.3.3

◯問題 Be.1S.SV.pqgt1t2p.dat-s
1.6rc1 : 148.36s
1.7rc1 : 148.68s

◯問題 HLi2.2A1.STO6G.pqgt1t2p.dat-s
1.6rc1 : 1379.47s
1.7rc1 : 1382.79s

○ OPT クラスタ
1:PowerEdge M1000e(ブレードエンクロージャー) x 1台
2:PowerEdge M710HD(ブレードサーバ) x 16台
ブレードサーバの仕様:
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ: 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2(1台のみ 300GB x 2)
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 5.6 for x86_64
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

最適化理論の産業・諸科学への応用

2011年08月12日 01時34分49秒 | Weblog
以下のワークショップが開催されます。現時点での講演題名は”SDP大規模計算の現状と展望”となっていますが、実際には中身を少し変更する可能性があります。

-----------------------------------------------------------------------------------------------
最適化理論の産業・諸科学への応用
協力・文部科学省「平成23年度 数学・数理科学と諸科学・産業との連携研究ワークショップ」


日時 : 2011年10月13日(木)9:55~14日(金)16:00
場所 : 九大伊都キャンパス 数理学研究教育棟
世話人: 岩田覚(京都大学数理解析研究所)・白井朋之(九州大学マス・フォア・インダストリ研究所)
内容 : 最適化理論とその応用に関する最近の研究の動向と将来の方向性を探るため,最適化理論に関連する幅広い分野から講演者をお招きし講演して頂きます.

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Magny-cours 48 コア

2011年08月11日 10時12分05秒 | Weblog
Magny-Cours 48 コアマシンを2台保有しているが、動作が不安定なところがある(初期不良なのかもしれないが)。以下のマシンは購入して3ヶ月あまりで修理となった。CPU やマザーボードを含めた交換の可能性がある。



Severity : normal
Date and Time : Wed Apr 27 06:58:42 2011
Description : System Board SEL: event log sensor for System Board, log cleared was asserted

Severity : critical
Date and Time : <System Boot>
Description : System Board Intrusion: intrusion sensor for System Board, chassis intrusion was asserted while system was OFF

Severity : normal
Date and Time : <System Boot>
Description : System Board Intrusion: intrusion sensor for System Board, chassis intrusion was deasserted while system was OFF

Severity : non-recoverable
Date and Time : Mon Aug 08 05:04:17 2011
Description : CPU Machine Chk: processor sensor, transition to non-recoverable
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDPA 7.4.0 と 7.3.1

2011年08月10日 02時54分01秒 | Weblog


SDPA 7.4.0 (開発最新版)と SDPA 7.3.1 (公開最新版)を比較すると、入力問題に合わせてソフトウェア側が自動対応する仕組み(添付図参照)は随分と高機能化されて高性能で動作するようになった。そろそろ汎用的な高速化の限界(壁)に近付きつつあるが、個別の問題や計算機アーキテクチャに限定して良いのであれば様々な追加の工夫を施すことも可能である。現在、SDPA の次のバージョンの開発方針を検討中だが、これまでのバージョンとは大きく中身が変わることになりそうだ。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

「e-サイエンスに向けた革新的アルゴリズム基盤」に関するシンポジウム開催

2011年08月09日 11時29分26秒 | Weblog

「e-サイエンスに向けた革新的アルゴリズム基盤」に関するシンポジウム開催について問い合わせをいただいておりますが、様々な ML をお借りして、以下の情報を配布しております。連絡先も含めてこちらもご覧下さい。

---------------------------------------------------------------------------------
皆様

京都大学の加藤直樹です。

「e-サイエンスに向けた革新的アルゴリズム基盤」の研究計画が
学術会議の大型研究計画として採択されたことを受けて
シンポジウムを以下の要領で9月4日に開催します。
提案内容の詳細はhttp://www.katoh.archi.kyoto-u.ac.jp/data/algorithm2.pdf
<http://www.katoh.archi.kyoto-u.ac.jp/data/algorithm2.pdf>をご覧ください。

ただ、新規計画として採択されたと言っても、予算が認められたわけではなく、
第3次補正予算や緊急的な予算がついたときに、優先的に取り扱われるというも
のです。

今回ご案内するシンポジウムは、この計画の実現に向けて、実質化を図るために
以下のようなプログラム(暫定案)で9月4日(日曜日)におこなう予定です。



----------------------シンポジウムの概要----------------------------------------

日時:9月4日(日曜日)13時30分から17時00分まで
場所:公立はこだて未来大学(http://www.fun.ac.jp/)研究棟 R791室

プログラム(暫定案)
1. 13:30-- 13:55 「計画概要」 加藤直樹(京都大学)
2. 13:55--14:20 「ポストペタスケールスパコンにおける超大規模グラフ最適化基盤」 藤澤克樹(中央大学)
3. 14:20--14:45 「建築・都市計画における避難計画問題と計算機技術」 瀧澤重志(京都大学)
4.15:00--15:25 「生物高次情報データベース高速検索アルゴリズム」 渋谷哲朗(東京大学)
5.15:25--15:50 「アルゴリズムの応用例: 物体の認識と画像検索」 徳山豪(東北大学)
6. 16:00--17:00 自由討論
----------------------------------------------------------------------------------

アクセス:
函館駅からの未来大学へのバスは
函館駅前→未来大(土日祝 赤川線105・55系統)
11:14 → 11:56
12:37 → 13:15

です。
土日祝日は食堂(大学生協)は営業していません。
駅弁など持参すれば、会場(R791)での食事は可
能です。
帰りのバスは

未来大→函館駅前(土日祝 赤川線105・55系統)
17:25 → 18:05
(18:50 → 19:26)
です。

帰りは、タクシーだと駅前まで約3千円ほどだそうです。

京都大学
加藤直樹
--
Naoki Katoh

Kyoto University
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

ソフトウェア SDPA の実装方式について

2011年08月08日 01時33分02秒 | Weblog
我々のグループではこのブログでも述べているように代表的な数理計画問題であるSDP に対する内点法を記述したソフトウェアSDPA の開発・評価・公開を10年以上行っている. 最近では以下のような開発方針を採用している.

1. 近年のソフトウェアにおいては疎データの扱い, 疎構造の記述方法が重要になっているが, 入力問題に対して自動的に適切な前処理を行い, 密データ構造と疎データ構造のどちらで処理するかについて判断を行う.
2. 通常, ソフトウェアのボトルネックはCPU コア内部(浮動小数点演算能力やL2 キャッシュの帯域幅など) に存在するか, CPU とメモリ間の帯域幅に因るものかのどちらかである場合が多い. この特性を用いて, アルゴリズムの各部分のボトルネック構造を解明することによって適切なアルゴリズムを選択することができる.
3. 数値精度が問題になる場合には, 任意精度演算などを用いて得られる精度と計算時間とのトレードオフなどに注目しながら, 適切な方法を選択していく.
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

e-サイエンスに向けた革新的アルゴリズム基盤シンポジウム

2011年08月07日 00時09分13秒 | Weblog
日本学術会議の大型研究計画における新規計画(e-サイエンスに向けた革新的アルゴリズム基盤シンポジウム)に関するシンポジウムを以下の日程と内容で開催することになりました。この件に関しての詳細な内容や計画については私まで個別にお問い合わせ下さい。

日時:9月4日(日曜日)13時30分から17時00分まで
場所:公立はこだて未来大学(http://www.fun.ac.jp/)研究棟 R791室

プログラム
1. 13:30--13:55 「計画概要」 加藤直樹(京都大学)
2. 13:55--14:20 「ポストペタスケールスパコンにおける超大規模グラフ最適化基盤」 藤澤克樹(中央大学)
3. 14:20--14:45 「建築・都市計画における避難計画問題と計算機技術」 瀧澤重志(京都大学)
4.15:00--15:25 「生物高次情報データベース高速検索アルゴリズム」 渋谷哲朗(東京大学)
5.15:25--15:50 「アルゴリズムの応用例: 物体の認識と画像検索」 徳山豪(東北大学)
6. 16:00--17:00 自由討論

計画の概要
本研究計画は、従来手法では解決不可能な大規模問題を数理解析に基づく革新的なアルゴリズ
ムによって解決することを目指す。物理、化学、生物などの科学、土木、建築、機械などの工学、
交通、経済・経営の諸分野や地球規模の諸問題(環境、エネルギー、バイオ)及び突発的事態(防
災、避難及び復興計画)への具体的かつ現実的な対応を目標とする。この目標達成のために、ア
ルゴリズム科学と実問題の数理的モデル化による解決を目指す共同研究拠点を作る。拠点ではア
ルゴリズムの設計と応用の科学的体系化を構築し、ソフトウェア実装技術やスーパーコンピュー
ティング技術を融合した問題解決手法の開発と標準化を行い、地球規模のネットワークや高密度
な計算環境の高度活用を実現する情報技術開発基盤センターとして整備する。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Intel® C++ and Fortran Composer XE for Linux 2011.4.191 から 2011.5.220

2011年08月06日 02時31分49秒 | Weblog
Intel MKL も 2011.4.191 から 2011.5.220 にバージョンアップしたことによって、少しだけ性能が上がっているようだが、まだ GotoBLAS との差は大きい。

○問題1:theta6.dat-s
SDPA 7.4.0 + GotoBLAS2 for Sandy Bridge : 8.865秒
SDPA 7.4.0 + Intel MKL 10.3.4-191 : 9.423秒
SDPA 7.4.0 + Intel MKL 10.3.5-220 : 9.407秒

○問題2:FH2+.1A1.STO6G.pqgt1t2p.dat-s
SDPA 7.4.0 + GotoBLAS2 for Sandy Bridge : 100.630秒
SDPA 7.4.0 + Intel MKL 10.3.4-191 : 101.488秒
SDPA 7.4.0 + Intel MKL 10.3.5-220 : 100.794秒

○問題3:nug12_r2.dat-s
SDPA 7.4.0 + GotoBLAS2 for Sandy Bridge : 110.980秒
SDPA 7.4.0 + Intel MKL 10.3.4-191 : 124.042秒
SDPA 7.4.0 + Intel MKL 10.3.5-220 : 123.984秒

○計算サーバ (1 CPU x 4 コア = 4 コア)
CPU : Intel Corei7 2600K (3.50GHz / 8MB L3) x 2
Memory : 8GB (4 x 2GB)
OS : Fedora 15 for x86_64
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Intel® C++ Composer XE 2011 for Linux* Update 5, Version 2011.5.220

2011年08月05日 08時08分27秒 | Weblog
Intel コンパイラの 2011 Update 5 がリリースされたので、一つ前のバージョン Update 4 との比較を行っている。例えば SDPARA を用いると以下のような結果となった。

◯問題 HLi2.2A1.STO6G.pqgt1t2p.dat-s
SDPARA 7.3.3 : Update 4
SCM 計算の実行時間 : 1201.23秒

SDPARA 7.3.3 : Update 5
SCM 計算の実行時間 : 1187.56秒

というわけなので、Update 5 になって OpenMP 関係の性能が向上している可能性がある。

○ OPT クラスタ
1:PowerEdge M1000e(ブレードエンクロージャー) x 1台
2:PowerEdge M710HD(ブレードサーバ) x 16台
ブレードサーバの仕様:
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ: 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2(1台のみ 300GB x 2)
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 5.6 for x86_64

--------------------------------------------------------------------
Intel® C++ Composer XE 2011 for Linux* Update 5, Version 2011.5.220

Description:

Intel® C++ Composer XE 2011 for Linux* (formerly known as Intel C++ Compiler Professional Edition for Linux)

Intel® C++ Composer XE 2011 Update 5 is ready for download. This product has been renamed, but the components remain the same. This new product release now includes: Intel® C++ Compiler XE Version 12.0 Update 5, Intel® Debugger Version 12.0 Update 5, Intel® Math Kernel Library (Intel® MKL) Version 10.3 Update 5, Intel® Integrated Performance Primitives (Intel® IPP) Version 7.0 Update 4, Intel® Threading Building Blocks (Intel® TBB) Version 3.0 Update 8

Highlights for this release are:

Intel® Cilk™Plus language extensions
Guided Auto-Parallelism
Features from C++0x
An option to use math library functions that are faster but return results with less
precision or accuracy
An option to use math library functions that return consistent results across different
models and manufacturers of processors
Bug fixes
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

自分探しの旅

2011年08月04日 01時58分12秒 | Weblog
自分達が書いたを本を探していく旅(略して自分探しの旅)の第二弾。

ジュンク堂 池袋


ジュンク堂 鹿児島


ジュンク堂 京都 BAL


大垣書店 イオンモール KYOTO


丸善 名古屋栄


谷島屋 浜松本店

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

サイエンスセミナー

2011年08月03日 22時17分47秒 | Weblog
今年度もサイエンスセミナーに多くの申し込みを頂きましてありがとうございました。毎年応募数が定員数を上回っておりますので、抽選で参加者を決定しております。今年度は私自身がセミナー実施者の1人(1コースを担当)であるだけでなく、サイエンスセミナー WG の主査も務めております。当初は電力不足による影響を心配しておりましたが、現時点では予定通り開催できる可能性が高いと判断しております。

主催:中央大学理工学部
後援:文京区、文京区教育委員会、公益財団法人 文京アカデミー
日時:2011年8月25日(木)11:00~17:00
会場:中央大学後楽園キャンパス
対象:中高生
参加費:無料(昼食付き)
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

最短路検索を用いた大規模ネットワーク解析システム

2011年08月02日 22時51分06秒 | Weblog
最短路検索を用いた大規模ネットワーク解析システムに関する内容でイノベーションジャパン2011で研究展示を行うことになりました。以下の展示に関する紹介ページがあります。

http://www.innovation-japan.jp/exhibitor_datail.php?entry_id=en10183

技術の概要

ポストペタスケール環境における超大規模グラフ最適化システムの構築を行う。具体的には大規模グラフデータに対するリアルタイムストリーミング処理、計算量とデータ移動量を考慮したグラフ最適化アルゴリズム、ストレージの階層性を考慮した大規模グラフデータストア、超大規模グラフのリアルタイム可視化など従来実現されていなかった新しい技術によって超大規模グラフに対する高速最適化&解析システムを実現する。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする