最適化問題に対する超高速&安定計算

クラスタ計算機やスーパーコンピュータ上での大規模最適化問題やグラフ探索などの研究のお話が中心

自己紹介と重要リンク

2018年10月19日 22時11分55秒 | Weblog
数理・情報系の研究者。最適化理論からアルゴリズムそれにスパコンを使った大規模計算まで。本業は最適化問題の研究でグラフ探索(Graph500 世界1位)や産学連携など。
現在, 九州大学 マス・フォア・インダストリ研究所 教授及び産総研・東工大 実社会ビッグデータ活用 オープンイノベーションラボラトリ ラボ長


1: 藤澤研究室 HP
2: 産総研・東工大 実社会ビッグデータ活用 オープンイノベーションラボラトリ RWBC-OIL
3: GraphCrest ホームページ (すでに終了)
4: SDPA ホームページ(sourceforge)
5: Katsuki Fujisawa HP
6: 最短路問題 Online Solver
7: SCOPE(「計算と最適化の新展開」研究部会)(すでに終了)
8: Twitter : sdpaninf
コメント

OPT クラスタ復活 with CentOS 7.5

2018年09月23日 00時14分24秒 | Weblog
OPT クラスタの一部(4ノード)に CentOS 7.5 をインストールして復活させました。

◯ OPT クラスタ(48コア)
1:PowerEdge M1000e(ブレードエンクロージャー) x 1台
2:PowerEdge M710HD(ブレードサーバ) x 4台
ブレードサーバの仕様:
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ: 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 7.5 for x86_64
コメント

Tesla C2075 x 8枚で Graph500

2018年09月22日 11時30分35秒 | Weblog
前回の続きで、サーバ2台を接続して計算を行ってみました。
Infiniband のボードが古いせいなのか、現在の Infiniband ドライバでは正常に動作しないので、10GbE として使用しています。当然ながら性能低下は起きます。。。


◯ 1サーバ 4GPU : Scale 24
============= Result ==============
SCALE: 24
edgefactor: 16
NBFS: 64
graph_generation: 17.1723642349
num_mpi_processes: 4
construction_time: 20.3061554432
redistribution_time: 1.5020134449
min_time: 0.240659
firstquartile_time: 0.251023
median_time: 0.259705
thirdquartile_time: 0.264707
max_time: 0.277127
mean_time: 0.258595
stddev_time: 0.00918387
min_nedge: 268432547
firstquartile_nedge: 268432547
median_nedge: 268432547
thirdquartile_nedge: 268432547
max_nedge: 268432547
mean_nedge: 268432547
stddev_nedge: 0
min_TEPS: 9.68626e+08
firstquartile_TEPS: 1.01407e+09
median_TEPS: 1.03361e+09
thirdquartile_TEPS: 1.06935e+09
max_TEPS: 1.11541e+09
harmonic_mean_TEPS: 1.03804e+09
harmonic_stddev_TEPS: 4.64464e+06
min_validate: 4.82085
firstquartile_validate: 4.83332
median_validate: 4.83863
thirdquartile_validate: 4.84349
max_validate: 4.85546
mean_validate: 4.83812
stddev_validate: 0.00700683


◯ 2サーバ 8GPU : Scale24
============= Result ==============
SCALE: 24
edgefactor: 16
NBFS: 64
graph_generation: 8.56229615211
num_mpi_processes: 8
construction_time: 13.7278292179
redistribution_time: 2.48683571815
min_time: 0.156456
firstquartile_time: 0.16395
median_time: 0.173233
thirdquartile_time: 0.186077
max_time: 0.394335
mean_time: 0.178429
stddev_time: 0.0299255
min_nedge: 268432547
firstquartile_nedge: 268432547
median_nedge: 268432547
thirdquartile_nedge: 268432547
max_nedge: 268432547
mean_nedge: 268432547
stddev_nedge: 0
min_TEPS: 6.80722e+08
firstquartile_TEPS: 1.44259e+09
median_TEPS: 1.54955e+09
thirdquartile_TEPS: 1.63728e+09
max_TEPS: 1.71571e+09
harmonic_mean_TEPS: 1.50442e+09
harmonic_stddev_TEPS: 3.17888e+07
min_validate: 3.1274
firstquartile_validate: 3.65761
median_validate: 3.87777
thirdquartile_validate: 4.15296
max_validate: 5.54566
mean_validate: 3.94297
stddev_validate: 0.450207


◯ 2サーバ 8GPU : Scale25
============= Result ==============
SCALE: 25
edgefactor: 16
NBFS: 64
graph_generation: 17.3240265846
num_mpi_processes: 8
construction_time: 28.9375069141
redistribution_time: 4.77809858322
min_time: 0.30046
firstquartile_time: 0.313659
median_time: 0.328601
thirdquartile_time: 0.341993
max_time: 0.746691
mean_time: 0.338517
stddev_time: 0.0612153
min_nedge: 536865258
firstquartile_nedge: 536865258
median_nedge: 536865258
thirdquartile_nedge: 536865258
max_nedge: 536865258
mean_nedge: 536865258
stddev_nedge: 0
min_TEPS: 7.18992e+08
firstquartile_TEPS: 1.56981e+09
median_TEPS: 1.63379e+09
thirdquartile_TEPS: 1.71162e+09
max_TEPS: 1.78681e+09
harmonic_mean_TEPS: 1.58593e+09
harmonic_stddev_TEPS: 3.61322e+07
min_validate: 7.04169
firstquartile_validate: 7.63266
median_validate: 7.95585
thirdquartile_validate: 8.45642
max_validate: 9.45792
mean_validate: 8.04152
stddev_validate: 0.547952


◯ 2サーバ 8GPU : Scale26
============= Result ==============
SCALE: 26
edgefactor: 16
NBFS: 64
graph_generation: 35.3478515148
num_mpi_processes: 8
construction_time: 62.205946207
redistribution_time: 9.73122549057
min_time: 0.601114
firstquartile_time: 0.613692
median_time: 0.622049
thirdquartile_time: 0.638401
max_time: 1.0013
mean_time: 0.63633
stddev_time: 0.0561822
min_nedge: 1073731075
firstquartile_nedge: 1073731075
median_nedge: 1073731075
thirdquartile_nedge: 1073731075
max_nedge: 1073731075
mean_nedge: 1073731075
stddev_nedge: 0
min_TEPS: 1.07233e+09
firstquartile_TEPS: 1.68191e+09
median_TEPS: 1.72612e+09
thirdquartile_TEPS: 1.74962e+09
max_TEPS: 1.78624e+09
harmonic_mean_TEPS: 1.68738e+09
harmonic_stddev_TEPS: 1.87698e+07
min_validate: 14.0408
firstquartile_validate: 14.9233
median_validate: 15.5739
thirdquartile_validate: 16.1965
max_validate: 17.8704
mean_validate: 15.5851
stddev_validate: 0.795499


サーバの仕様
Intel Xeon + 4 GPU マシン
CPU:Xeon X5690(3.46GHz,6core)×2
Memory:192GB(16GB×12)
HDD:SATA500GB×2
NIC : GbE x 1 & Inifiniband(FDR) x 1
GPGPU:Tesla C2075×4
OS:CentOS 7.5
コメント

RAMP2018

2018年09月21日 00時59分10秒 | Weblog
シンポジウム参加費の事前振込は 9月30日までです。

RAMP2018

RAMPシンポジウムは、日本オペレーションズ・リサーチ学会の数理計画研究部会 (RAMP: Research Association of Mathematical Programming) によって年一度開催される、最適化、数理計画に関するシンポジウムです。

2018年度も以下のとおりシンポジウムを開催いたします。詳細については追って本ホームページ、オペレーションズ・リサーチ誌においてご案内させていただく予定です。多数の皆様のご参加をお待ちしております。

日程
2018年10月10日(水)・11日(木)

会場
広島国際会議場(平和記念公園内)

コメント

スーパーコンピュータ ITO : 九州大学

2018年09月20日 01時40分14秒 | Weblog




























コメント

Infiniband 認識

2018年09月19日 01時51分20秒 | Weblog
Infiniband ボードの認識が出来ません。。。

# ibv_devinfo
No IB devices found

# lspci|grep Mellanox
82:00.0 InfiniBand: Mellanox Technologies MT26428 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE] (rev b0)

# dmesg |grep Mellanox
[ 1.852254] mlx4_core: Mellanox ConnectX core driver v4.0-0
[ 4.525684] mlx4_en: Mellanox ConnectX HCA Ethernet driver v4.0-0

# /usr/bin/hca_self_test.ofed

---- Performing Adapter Device Self Test ----
Number of CAs Detected ................. 1
PCI Device Check ....................... PASS
Kernel Arch ............................ x86_64
Host Driver Version .................... MLNX_OFED_LINUX-4.4-2.0.7.0 (OFED-4.4-2.0.7): 3.10.0-862.11.6.el7.x86_64
Host Driver RPM Check .................. PASS
Firmware on CA #0 HCA .................. v2.9.1000
Host Driver Initialization ............. PASS
Number of CA Ports Active .............. 0
Kernel Syslog Check .................... PASS
Node GUID on CA #0 (HCA) ............... NA
------------------ DONE ---------------------



マシンの仕様
Intel Xeon + 4 GPU マシン
CPU:Xeon X5690(3.46GHz,6core)×2
Memory:192GB(16GB×12)
HDD:SATA500GB×2
NIC : GbE x 1 & Inifiniband(FDR) x 1
GPGPU:Tesla C2075×4
OS:CentOS 7.5
コメント

羽田空港の情報ユニバーサルデザインの公開実証実験

2018年09月18日 00時58分24秒 | Weblog
ちょっと古いですが、以下の公開実行実験について。

羽田空港の情報ユニバーサルデザインの公開実証実験

羽田空港の情報ユニバーサルデザインの公開実証実験を開始します
- 日本の玄関を起点とした世界最高のおもてなしが実証フェーズへ -

東京国際空港ターミナル株式会社(本社:東京都大田区、代表取締役社長:土井 勝二、以下:TIAT)、日本空港ビルデング株式会社(本社:東京都大田区、代表取締役社長:横田信秋、以下:JAT)、日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:鵜浦 博夫、以下:NTT)、パナソニック株式会社(本社:大阪府門真市、代表取締役社長:津賀 一宏、以下:パナソニック)は、情報ユニバーサルデザインの取り組みの公開実証実験を開始します。
羽田空港では、国際線旅客ターミナルビルを中心に、ユニバーサルデザインのコンセプトを取り入れ、すべての方に使いやすい空港づくりを推進しております。来るべき2020年とその先の未来を見据えると、訪日外国人増加はもちろんのこと、少子高齢化が進むことで、移動サポートが必要なお客さまが益々増えることが予想されます。このため、ユニバーサルデザインの取り組みにおいて、最新の情報技術(ICT)との融合が必須となると考え、2015年12月より、ユニバーサルデザインの高度化に取り組んで参りました。今般、こうした取り組みに一定の成果が見られたことにより、羽田空港をご利用になるお客さまに、実際にご利用頂ける、公開実証実験の環境を整えました。
コメント

The 3rd IMI-ISM-ZIB MODAL Workshop 講演情報確定

2018年09月17日 00時56分34秒 | Weblog
http://imi.kyushu-u.ac.jp/~3rd_imi_ism_zib_ws/

Organizers
Katsuki Fujisawa : The Institute of Mathematics for Industry, Kyushu University & AIST-Tokyo Tech Real World Big-Data Computation Open Innovation Laboratory
Satoshi Ito : The Institute of Statistical Mathematics
Thorsten Koch : Research Campus MODAL / ZIB
Yuji Shinano : MODAL SynLab / ZIB
Takashi Tsuchiya : National Graduate Institute for Policy Studies

Outline
The Institute of Statistical Mathematics (ISM) in Tokyo, Zuse Institute Berlin (ZIB) and the Institute of Mathematics for Industry (IMI) of Kyushu University have established collaboration agreements in 2016, confirming the mutual interest in cooperation for research in applied mathematics and initiating a regular exchange between the institutes.
The first ISM-ZIB-IMI Joint workshop was carried out at ISM in Tokyo, Japan, from 2017-01-19 to 2017-01-22, as the first step in collaborative research in optimization and data-intensive High-Performance Computing. Special focus was the organization of cooperation between research and industry. The second ISM-ZIB-IMI MODAL workshop on Mathematical Optimization and Data Analysis was held at ZIB in Berlin, Germany, from 2017-09-22 to 2017-09-26, as a workshop evolving the first joint workshop. Speakers from science and industry presented progressive achievement.
To build up on the success of the previous workshops the " 3rd IMI-ISM-ZIB MODAL Workshop on Challenges in Real World Data Analytics and High-Performance Optimization" will take place from 2018-09-26 to 2018-10-01 at the National Graduate Institute for Policy Studies (GRIPS) in Tokyo, Japan.

Program
26.09.2018: SCIP Introduction
27.09.2018: Workshop talks
28.09.2018: Workshop talks and the two panel discussions, Banquet.
01.10.2018: Japanese supercomputer tour ABCI
コメント

ポスト「京」性能評価環境利用課題の募集について

2018年09月16日 01時14分26秒 | Weblog
ポスト「京」性能評価環境利用課題の募集について

国立研究開発法人理化学研究所 計算科学研究センター(以下、「センター」という。)及び一般財団法人高度情報科学技術研究機構(以下、「利用支援機関」という。)は、「ポスト「京」性能評価環境」の提供を開始します。
「ポスト「京」性能評価環境」は、ポスト「京」に向けたプログラムの性能評価や最適化の検討を行うため、プログラムの移植、あるいは開発及び最適化の計画を持ったプロジェクト(以下、「課題」という。)に対して、センターが提供するものです。
この「ポスト「京」性能評価環境」を利用する課題の募集は、利用支援機関が行います。
なお、「ポスト「京」性能評価環境」は、ポスト「京」開発担当企業である富士通株式会社(以下、「開発担当企業」という。)の協力を得て作成されています。
本ページでは、「ポスト「京」性能評価環境」の概要と本環境を利用する課題の募集要領、審査合格後の利用手続き、高度化支援の紹介等についてご案内します。
コメント

人工知能学会 合同研究会2018 第15回データ指向構成マイニングとシミュレーション研究会

2018年09月15日 08時55分24秒 | Weblog
人工知能学会 合同研究会2018
第15回データ指向構成マイニングとシミュレーション研究会 発表募集

日時 :2018年11月23日(金)
    ※合同研究会は2018年11月22日(木)~23日(金)開催
テーマ:「社会の複雑化に対処するためのシミュレーション・データマイニング」および一般
場所 :慶応義塾大学 矢上キャンパス
    〒223-8522 神奈川県横浜市港北区日吉3-14-1

近年の高度情報化社会の進展により,人間社会の挙動の理解や分析がいっそう困難なものとなる中,大規模計算環境の整備の進展を背景としたシミュレーションや,社会情報システムが刻々生み出す多種多様かつ膨大なデータに対応するためのデータマイニング技術は,いまや現代の情報処理における中核的存在です.一方,社会の実データの蓄積・共有は急速に進み,日々生み出されるビッグデータを活かすためのシミュレーションとマイニングの技術がまさに必要とされており,基盤的な研究のみならず,社会応用を視野に入れた研究への期待はますます大きくなっています.

今回の研究会では,高度化していく様々な社会システムやサービスが複合し,いっそう複雑化していく状況を背景として,そこから発生する課題を分析・理解し,解決につなげるためのシミュレーション・マイニングに関連する発表を広く募集する事としました.大規模な社会データの解析技術や,大規模シミュレーションの実行技術を活用して社会の複雑現象を分析したり,また具体的な課題の解決を行うなど,理論と実践の両面に関わる研究を募集致します.データマイニングとシミュレーションに関連する「一般論文」の投稿も歓迎いたします.

発表申込〆切:2018年 9月21日(金)
原稿〆切  :2018年11月 9日(金)
※1論文あたり8ページ程度まででお願い致します.

研究会原稿作成用スタイルファイルは以下のURLにあります.
http://collabodesign.org/docmas/tools/DOCMAS_Style.zip
コメント

人流追跡システム検証用ビデオ撮影

2018年09月14日 12時33分25秒 | Weblog
共進化社会システムイノベーション施設を用いて人流追跡システム検証用のビデオ撮影を行いました。








コメント

数学・数理科学 4 研究拠点合同市民講演会

2018年09月13日 00時10分46秒 | Weblog
数学・数理科学 4 研究拠点合同市民講演会
AI社会の基盤は数学!
URL:http://www.ism.ac.jp/events/2018/meeting1130.html

主催:
情報・システム研究機構統計数理研究所
明治大学先端数理科学インスティテュート
九州大学マス・フォア・インダストリ研究所
京都大学数理解析研究所

開催日 平成30年11月3日(土・祝) 13:00開場

開催場所 150-0041東京都渋谷区神南1-12-10
シダックスカルチャーホールA シダックス カルチャービレッジ8F

プログラム 11月3日(土・祝)

13:00 開場
13:30 - 13:35 開会挨拶 統計数理研究所 樋口 知之 所長
13:35 - 13:45 ご挨拶 文部科学省研究振興局学術機関課 西井知紀課長
13:45 - 14:25 講演① 明治大学先端数理科学インスティテュート 砂田 利一 副所長
AIは数学者になれるか?
14:25 - 15:05 講演② 九州大学マス・フォア・インダストリ研究所 藤澤 克樹 教授
AI + グラフ解析 + 数理最適化による新しい産業応用
15:05 - 15:25 休憩
15:25 - 16:05 講演③ 京都大学数理解析研究所 小林 佑輔 准教授
効率的なアルゴリズムと数学
16:05 - 16:45 講演④統計数理研究所 島谷 健一郎 准教授
自然観察で始まる生物多様性研究のどこに統計数理がある?
16:45 - 16:50 閉会の挨拶 明治大学先端数理科学インスティテュート 杉原厚吉所長

参加申込み ※ 入場無料 事前申込制 (先着130名)

お問合せ先 統計数理研究所 本部事務局立川共通事務部
〒190-8562 東京都立川市緑町10-3
TEL:050-5533-8500 (代表)
E-mail:kouhou(at)ism.ac.jp
コメント

人流追跡システム

2018年09月12日 00時00分56秒 | Weblog







コメント

Panasonic Laboratory Fukuoka 訪問 : 写真掲載

2018年09月11日 00時34分33秒 | Weblog

















コメント

3rd IMI-ISM-ZIB MODAL Workshop 講演情報掲載中

2018年09月10日 00時49分38秒 | Weblog
http://imi.kyushu-u.ac.jp/~3rd_imi_ism_zib_ws/

Organizers
Katsuki Fujisawa : The Institute of Mathematics for Industry, Kyushu University & AIST-Tokyo Tech Real World Big-Data Computation Open Innovation Laboratory
Satoshi Ito : The Institute of Statistical Mathematics
Thorsten Koch : Research Campus MODAL / ZIB
Yuji Shinano : MODAL SynLab / ZIB
Takashi Tsuchiya : National Graduate Institute for Policy Studies

Outline
The Institute of Statistical Mathematics (ISM) in Tokyo, Zuse Institute Berlin (ZIB) and the Institute of Mathematics for Industry (IMI) of Kyushu University have established collaboration agreements in 2016, confirming the mutual interest in cooperation for research in applied mathematics and initiating a regular exchange between the institutes.
The first ISM-ZIB-IMI Joint workshop was carried out at ISM in Tokyo, Japan, from 2017-01-19 to 2017-01-22, as the first step in collaborative research in optimization and data-intensive High-Performance Computing. Special focus was the organization of cooperation between research and industry. The second ISM-ZIB-IMI MODAL workshop on Mathematical Optimization and Data Analysis was held at ZIB in Berlin, Germany, from 2017-09-22 to 2017-09-26, as a workshop evolving the first joint workshop. Speakers from science and industry presented progressive achievement.
To build up on the success of the previous workshops the " 3rd IMI-ISM-ZIB MODAL Workshop on Challenges in Real World Data Analytics and High-Performance Optimization" will take place from 2018-09-26 to 2018-10-01 at the National Graduate Institute for Policy Studies (GRIPS) in Tokyo, Japan.

Program
26.09.2018: SCIP Introduction
27.09.2018: Workshop talks
28.09.2018: Workshop talks and the two panel discussions, Banquet.
01.10.2018: Japanese supercomputer tour ABCI
コメント