最適化問題に対する超高速&安定計算

クラスタ計算機やスーパーコンピュータ上での大規模最適化問題やグラフ探索などの研究のお話が中心

自己紹介と重要リンク

2017年10月19日 22時11分55秒 | Weblog
大規模最適化問題に対する超高速&安定計算。
半正定値計画問題(SDP)の対するソフトウェア SDPA, SDPARA の開発者及び SDP の超大規模計算に対する世界記録保持者。
JST CREST ポストペタスケールシステムにおける超大規模グラフ最適化基盤:研究代表者

1: GraphCrest ホームページ
2: SDPA ホームページ(sourceforge)
3: Katsuki Fujisawa HP
4: 最短路問題 Online Solver
5: SCOPE(「計算と最適化の新展開」研究部会)(すでに終了)
6: Twitter : sdpaninf

コメント
この記事をはてなブックマークに追加

JST CREST : ポストペタスケールシステムにおける超大規模グラフ最適化基盤

2017年08月27日 23時53分47秒 | Weblog
JST CREST (Core Research for Evolutional Science & Technology)
応募研究領域 : ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出
研究課題名 : ポストペタスケールシステムにおける超大規模グラフ最適化基盤

◯研究課題要旨
 大規模災害等は突発的に発生するため事前予測による防災計画だけでなく、動的なデータ収集等とスパコン上での高速計算によって速やかに避難、誘導計画を策定する必要がある。すでに研究代表者らのグループでは首都圏道路網や鉄道網を精密なグラフデータに変換して、超大規模なグラフ処理を用いた避難、誘導計画の策定を進めているが、非常に計算量やデータ量などの規模が大きく従来の手法では処理が困難である。ポストペタスケールスーパーコンピュータ(スパコン)における最重要カーネルのひとつでもある超大規模グラフ処理を実現するためには、理論的性能限界等からボトルネック箇所を特定、数値演算能力とメモリバンド等のトレードオフ関係を把握、計算量とデータ移動量の正確な推定、疎性やサイズなどのデータ特性と性能値の見極め、などが必要とされる。しかし、従来手法では、数千万規模の並列性を備え、ストレージの階層性が深化したポストペタスケールシステム上でのスケーラブルな実行は困難であり、アルゴリズム、システムソフトウェアと同時並行的な解決が求められている。我々は、これらの問題に対応した超大規模グラフ最適化システムを提案する。本システムは、大規模グラフデータに対するリアルタイムストリーミング処理、計算量とデータ移動量を考慮したグラフ最適化アルゴリズム、ストレージの階層性を考慮した大規模グラフデータストア、超大規模グラフのリアルタイム可視化など従来のスパコンでは実現されてこなかった新しい問題を解決する。これらのシステムは TSUBAME2.0のようなペタスケールスパコン上で構築と評価を行い、今後、出現が想定されるポストペタスケールスパコンのアーキテクチャ上での実行に適したソフトウェア基盤を構築し、エクサスケールスーパーコンピューティングへの方向性づくりに大いに貢献する。



◯研究組織
◇研究代表者
藤澤克樹(九州大学)
◇研究グループ
1: 超大規模データを伴う最適化問題に対する高速計算システムの構築と評価 (グループリーダ : 藤澤克樹 (九州大学))
ー グラフ探索(最短路、幅優先探索、重要性計算)、数理計画問題(半正定値計画問題:SDP, 混合整数計画問題 MIP or MINLP 等)

2: リアルタイム大規模グラフストリーム処理系及びグラフ最適化ライブラリの開発 (グループリーダ : 鈴村豊太郎 (バルセロナスーパーコンピュータセンター))

3: 大規模グラフ処理向けオンデマンド階層型データストアの開発 (グループリーダ : 佐藤仁 (東京工業大学))
コメント
この記事をはてなブックマークに追加

【日本学術振興会】本会を装った科研費の繰越申請に関する不審なメール について

2017年01月21日 01時55分15秒 | Weblog
関係各研究機関
科学研究費助成事業御担当者 様

日本学術振興会研究助成第一課総務企画係です。

平素より科学研究費助成事業(科研費)業務に御協力を賜り、
誠にありがとうございます。

今般、本会を装い、科研費の繰越申請に関しての
不審なメールが研究者に対して発信される事案が確認されました。

メールには添付ファイルがあり、この添付ファイルを実行した場合、
現時点ではウイルスソフトで検知されず、挙動は判明しておりませんが、
ウイルスに感染し不正アクセスを受ける可能性があります。
万一このようなメールを受信した場合は、添付ファイルを開かずに
削除するなど適切な対応をいただくよう、所属研究者等に周知願います。
また、受信されている場合は、下記連絡先に御一報をお願いいたします。

なお、本事案の繰越申請のような研究機関を通じて行う手続きに関して、
本会から所属研究者等に直接メールを発信することはありません。
コメント
この記事をはてなブックマークに追加

データサイエンスセミナー&交流会January 2017

2017年01月20日 02時39分06秒 | Weblog
データサイエンスセミナー&交流会January 2017@Osaka Innovation Hub【~データサイエンスの現在地~】
2017-01-21(土)15:30 - 19:00


開催趣旨

 ビッグデータブームに始まり、オープンデータ、AI、IoTなどここ数年来大規模データ解析に関するさまざまなバズワードが飛び交っておりますが、官民含めその実どこまで現場でのデータ活用が進んでいるのでしょうか。ひょっとしたら実状をきちんと把握されている方はそう多くはないのかもしれません。
今回のセミナーでは研究機関と企業、それぞれ第一線でご活躍されるお二人のトップランナーをお招きしご講演いただきます。セミナー・交流会を通じて議論・意見交換し、データサイエンスの“正確な現在地”を探ってみませんか?

◯日 時: 平成29年1月21日(土)15:30~19:00
◯場 所: 大阪イノベーションハブ
 アクセスマップ(http://www.innovation-osaka.jp/ja/access)
◯定 員: 60名(交流会40名)
◯参加費: セミナー無料(交流会1,500円)
 ※交流会は20歳以上の方限定とさせていただきます。交流会費は当日受付時に現金でお支払いください。
コメント
この記事をはてなブックマークに追加

ISM-ZIB-IMI Joint Workshop on Optimization and Data-intensive High Performance Computing 本日開催

2017年01月19日 01時44分49秒 | Weblog
ISM-ZIB-IMI Joint Workshop on Optimization and Data-intensive High Performance Computing

Date
January 19-22, 2017

Place
Seminar Room 1 (D305), The Institute of Statistical Mathematics, Tachikawa, Tokyo, Japan

The workshop information is in
https://ura3.c.ism.ac.jp/opt-dhpc/
but you can also find some visitor information at
http://www.ism.ac.jp/access/index_e.html

コメント
この記事をはてなブックマークに追加

JSTオープンイノベーションフェアWEST2017

2017年01月18日 21時44分02秒 | Weblog
-------------------------------------------------------------------------
「JSTオープンイノベーションフェアWEST2017」http://www.jst.go.jp/tt/west/
-------------------------------------------------------------------------
【日時】2月7日(火)10:00~17:30 、2月8日(水)10:00~16:00
【場所】グランフロント大阪北館B2階 コングレコンベンションセンター
【展示内容】http://www.jst.go.jp/tt/west/list/index.html
【参加申込】http://www.jst.go.jp/tt/west/
コメント
この記事をはてなブックマークに追加

集中講義 : Introduction to computational optimization : 本日開催

2017年01月17日 01時33分23秒 | Weblog
集中講義 : Introduction to computational optimization

開催時期 2017-01-17 10:30~2017-01-17 16:20

場所 九州大学 伊都キャンパス ウエスト1号館 D棟 4階 IMIコンファレンスルーム (W1-D-414)

講師 Thorsten Koch, Ralf Borndörfer, Christina Burt & Sven Leyffer (Zuse Institute Berlin)

=============================================================
1月17日(火曜日)
集中講義:Introduction to computational optimization
場所:ウエスト1号館 D棟 4階 IMI コンファレンスルーム(W1-D-414)

10:30-12:00 Linear and Mixed Integer Linear Programming:
(Prof. Thorsten Koch)
13:00-14:30 Applications of MILP
(Prof. Ralf Borndörfer, Dr. Christina Burt)
14:50-16:20 Mixed Integer Non-Linear Programming
(Prof. Sven Leyffer)
=============================================================
コメント
この記事をはてなブックマークに追加

2月 IMI Colloquium

2017年01月16日 01時34分00秒 | Weblog
2月 IMI Colloquium

日時:2017年2月8日(水)
16:45-17:45

場所:九州大学 マス・フォア・インダストリ研究所 ウエスト1号館 D棟 4階
IMIオーディトリアム(W1-D-413)(円形階段教室)

講師:佐藤 義治 氏
(富士通九州ネットワークテクノロジーズ株式会社 第二開発統括部第一開発部)

講演タイトル:通信ネットワークにおける数学の応用と今後への期待

講演要旨:
・ 会社紹介
・ 通信ネットワークへの応用
- 交換機ソフトウェア検証エキスパートシステム
- ネットワーク自動設計システム
・ IoT時代のネットワーク
・ 今後への期待
コメント
この記事をはてなブックマークに追加

Efficient Breadth-First Search on Massively Parallel and Distributed-Memory Machines

2017年01月15日 03時33分23秒 | Weblog
Graph500 の最新実装(世界一位)に関する論文が公開されました。

Efficient Breadth-First Search on Massively Parallel and Distributed-Memory Machines

Authors
Koji Ueno Toyotaro Suzumura Naoya Maruyama Katsuki Fujisawa Satoshi Matsuoka

First Online: 09 January 2017
DOI: 10.1007/s41019-016-0024-y

Abstract
There are many large-scale graphs in real world such as Web graphs and social graphs. The interest in large-scale graph analysis is growing in recent years. Breadth-First Search (BFS) is one of the most fundamental graph algorithms used as a component of many graph algorithms. Our new method for distributed parallel BFS can compute BFS for one trillion vertices graph within half a second, using large supercomputers such as the K-Computer. By the use of our proposed algorithm, the K-Computer was ranked 1st in Graph500 using all the 82,944 nodes available on June and November 2015 and June 2016 38,621.4 GTEPS. Based on the hybrid BFS algorithm by Beamer (Proceedings of the 2013 IEEE 27th International Symposium on Parallel and Distributed Processing Workshops and PhD Forum, IPDPSW ’13, IEEE Computer Society, Washington, 2013), we devise sets of optimizations for scaling to extreme number of nodes, including a new efficient graph data structure and several optimization techniques such as vertex reordering and load balancing. Our performance evaluation on K-Computer shows that our new BFS is 3.19 times faster on 30,720 nodes than the base version using the previously known best techniques.

Keywords

Distributed-memory Breadth-First Search Graph500


コメント
この記事をはてなブックマークに追加

MIPLIB 2017 Submission

2017年01月14日 01時30分27秒 | Weblog
ベンチマークライブラリ MIPLIB2017 作成のための問題募集が行われています。。。

MIPLIB 2017 Submission

We are now accepting submissions for the MIPLIB 2017 benchmark library! For more information on the 6th version of the mixed integer problem library, on the people involved, and the goals of MIPLIB, read our call for contribution at miplib.zib.de. You can browse the submission repository at our GitLab server.

Submission Instructions

Basics. Please complete all fields to the best of your knowledge. If you wish to submit a batch of instances, ensure that the completed fields are applicable to all of the uploaded instances. For instances with different origin and application background, please use the submission form multiple times.
コメント
この記事をはてなブックマークに追加

ISM-ZIB-IMI Joint Workshop on Optimization and Data-intensive High Performance Computing : 情報更新12/12

2017年01月13日 03時49分59秒 | Weblog
ISM-ZIB-IMI Joint Workshop on Optimization and Data-intensive High Performance Computing

Date
January 19-22, 2017

Place
Seminar Room 1 (D305), The Institute of Statistical Mathematics, Tachikawa, Tokyo, Japan

The workshop information is in
https://ura3.c.ism.ac.jp/opt-dhpc/
but you can also find some visitor information at
http://www.ism.ac.jp/access/index_e.html


コメント
この記事をはてなブックマークに追加

九州大学マス・フォア・インダストリ研究所 学術研究員公募について:1/13終了

2017年01月12日 03時00分41秒 | Weblog
締め切りは明日になりました。

九州大学マス・フォア・インダストリ研究所 学術研究員公募について

1. 公募対象:マス・フォア・インダストリ研究所 学術研究員(ポスドク) 1 名

2. 専門分野:統計科学,機械学習,最適化,グラフ解析,および関連分野

3. 研究内容:九州大学では,JST COIプログラムによる「共進化社会システム創成拠点の研究プロジェクトを推進しています.この中でマス・フォア・インダストリ研究 所(IMI)は,産業数学ユニットとして,数学・数理科学の手法を駆使した研究により 拠点の研究活動に貢献しています. 採用者の方には,共進化社会システム創成拠点の産業数学ユニットに所属していただき,主に以下の研究・業務に携わっていただきます(な お,現時点で(1)〜(3)がすべてできることが必須ではありません).
(1) 統計解析・機械学習の手法を使った電力消費量の予測
共進化社会システム創成拠点では,様々な電力データを取得しています. 精度の良い予測を行うため,新たな統計モデリングの構築を行って頂きます.
(2) グラフ解析に基づく最適化
交通やエネルギーマネジメントシステムの構築に使います. 社会実装も行っていただきます.
(3) 計算機サーバの管理業務

4. 任期:平成30年3月31日まで.期間満了後,1年毎の契約更新の可能性あり(最長3年).

5. 応募資格:博士の学位を有し(採用時までに取得見込みを含む),上記の研究内容に意欲的であり,本研究課題の関係者と十分なコミュニケーションができる方.

6. 採用予定日:採用決定後,できるだけ早い時期.

7. 待遇:九州大学の規定に従い年齢や業績により決定する.

8. 提出書類:
(1)履歴書(写真貼付)
(2)研究業績リスト(論文,招待講演,受賞等)
(3)主要な研究業績の説明および上記の仕事内容に対する抱負
(4)応募者について問い合わせることのできる方3名の氏名,所属,連絡先
(5)主要な学術論文別刷り5編以内(コピー可)
(6) その他,必要と思われるもの

9. 応募期限:平成 29 年 1 月 13 日(金)正午必着でお送り下さい.
※ 決定次第,応募期限前でも早期終了します.

10. 書類提出先および問い合わせ先:
〒819-0395 福岡市西区元岡 744 九州大学マス・フォア・インダストリ研究所 廣瀬慧 宛 (e-mail: hirose@imi.kyushu-u.ac.jp)
書類は封筒に「COI 学術研究員応募書類在中」と朱書し,簡易書留で郵送して下さい. 応募書類は返却致しませんが,選考終了後に廃棄致します.

11. 選考内容(選考方法,採否の決定),結果通知方法:応募書類による一次審査のの ち,必要に応じて面接・プレゼンテーションを行います.面接日時等詳細については後 日対象者に連絡します.

12. その他:九州大学では男女雇用機会均等法の精神を尊重しています.
コメント
この記事をはてなブックマークに追加

集中講義 : Introduction to computational optimization

2017年01月11日 00時21分42秒 | Weblog
集中講義 : Introduction to computational optimization

開催時期 2017-01-17 10:30~2017-01-17 16:20

場所 九州大学 伊都キャンパス ウエスト1号館 D棟 4階 IMIコンファレンスルーム (W1-D-414)

講師 Thorsten Koch, Ralf Borndörfer, Christina Burt & Sven Leyffer (Zuse Institute Berlin)

=============================================================
1月17日(火曜日)
集中講義:Introduction to computational optimization
場所:ウエスト1号館 D棟 4階 IMI コンファレンスルーム(W1-D-414)

10:30-12:00 Linear and Mixed Integer Linear Programming:
(Prof. Thorsten Koch)
13:00-14:30 Applications of MILP
(Prof. Ralf Borndörfer, Dr. Christina Burt)
14:50-16:20 Mixed Integer Non-Linear Programming
(Prof. Sven Leyffer)
=============================================================
コメント
この記事をはてなブックマークに追加

新 GPU クラスタ 性能測定 その7

2017年01月10日 03時30分57秒 | Weblog
SDPARA 7.3.1 + MUMPS 5.0.2 の組合せで、以下の GPU クラスタ上で Sparse Cholesky 分解が生じる場合の性能評価を行いました。

◯問題 BroydenBand400.dat-s : 655.06s
◯問題 BroydenBand500.dat-s:690.63s
◯問題 BroydenBand600.dat-s:1152.49s
◯問題 BroydenBand800.dat-s:1557.44s

参考
---------------------------------------------
◯問題 BroydenBand400.dat-s:1732.33s
SDPA 7.4.0 + MUMPS 5.0.2 : 1732.33s

◯計算サーバ
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2
メモリ:256GB
OS : Fedora25
--------------------------------------------

◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.3


◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.3









コメント
この記事をはてなブックマークに追加

MUMPS 4.10.0 と 5.0.2 その2

2017年01月09日 03時05分29秒 | Weblog
SDPA で利用している MUMPS の 4.10.0 と 5.0.2 を比較してみました。

◯ソフトウェア
SDPA 7.4.0 + MUMPS 4.10.0
SDPA 7.4.0 + MUMPS 5.0.2
コンパイラ:icc 17.0.1 + Intel MKL 2017.1

◯問題1:BroydenBand20.dat-s
SDPA 7.4.0 + MUMPS 4.10.0 : 67.35s
SDPA 7.4.0 + MUMPS 5.0.2 : 62.00s

◯問題2:BroydenBand30.dat-s
SDPA 7.4.0 + MUMPS 4.10.0 : 120.47s
SDPA 7.4.0 + MUMPS 5.0.2 : 111.92s

◯問題3:BroydenBand400.dat-s
SDPA 7.4.0 + MUMPS 4.10.0 : 1921.70s
SDPA 7.4.0 + MUMPS 5.0.2 : 1732.33s

◯計算サーバ
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2
メモリ:256GB
OS : Fedora25
コメント
この記事をはてなブックマークに追加