最適化問題に対する超高速&安定計算

大規模最適化問題、グラフ探索、機械学習やデジタルツインなどの研究のお話が中心

Intel® Parallel Studio 2019 Initial Release 登場 その2

2018年09月30日 00時48分50秒 | Weblog
ソフトウェア SDPA 7.4.1

以前、Skylake と Intel Compiler の組み合わせで、量子化学の問題に対する計算が異様に速いということを報告しましたが、最新の組み合わせでは、gcc でも速いようです。

◯問題:N.4P.DZ.pqgt1t2p.dat-s

計算サーバ1
gcc 4.8.5 + OpenBLAS 0.3.4.dev : 601.02s
icc 19.0.0.117 + Intel MKL 2019.0 : 615.91s
icc 19.0.0.117 (xHost) + Intel MKL 2019.0 : 605.42s

計算サーバ2
icc 19.0.0.117 (xHost) + Intel MKL 2019.0 : 1879.52s

◯計算サーバ1
CPU : Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz x 2個 (40コア)
メモリ:256GB
OS : CentOS 7.5

◯計算サーバ2
CPU : Intel(R) Xeon(R) CPU E5-2687W v4 @ 3.00GHz x 2個 (24コア)
メモリ:512GB
OS : CentOS 7.5

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

The 3rd IMI-ISM-ZIB MODAL Workshop 9/28 まで終了

2018年09月29日 04時31分10秒 | Weblog
政策研究大学院大学(〒106-0032 東京都港区六本木7丁目22−1)にて以下の3者合同ワークショップを開催しておりますが、9/28 の日程が無事に終了しました。

The 3rd IMI-ISM-ZIB MODAL Workshop on Challenges in Real World Data Analytics and High-Performance Optimization
http://imi.kyushu-u.ac.jp/~3rd_imi_ism_zib_ws/

主催
九州大学 マス・フォア・インダストリ研究所
統計数理研究所
Zuse Institute Berlin (ZIB)

9月26日(水) SCIP Introduction
9月27,28日(木, 金) Talks and Panel Discussion

9月26日は ZIB で開発されている最適化ソフトウェア SCIP(Solving Constraint Integer Programs, http://scip.zib.de)のチュートリアルと演習,
9月27,28日は講演やパネルディスカッションを予定しています。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Intel® Parallel Studio 2019 Initial Release 登場

2018年09月28日 00時08分05秒 | Weblog
Intel® Parallel Studio 2019 Initial Release 登場しましたので、以下の実験を行いました。。。

ソフトウェア SDPA 7.4.1

◯問題1:karate.dat-s
Intel® Parallel Studio 2018 Update3
gcc 4.8.5 + OpenBLAS 0.3.1.dev : 106.90s
icc 18.0.3 + Intel MKL 2018.3 : 60.62s
icc 18.0.3 (xHost) + Intel MKL 2018.3 : 60.90s

Intel® Parallel Studio 2019 Initial Release
gcc 4.8.5 + OpenBLAS 0.3.4.dev : 96.70s
icc 19.0.0.117 + Intel MKL 2019.0 : 55.92s
icc 19.0.0.117 (xHost) + Intel MKL 2019.0 : 56.81s

◯問題2:DSJC500.9.dat-s
Intel® Parallel Studio 2018 Update3
gcc 4.8.5 + OpenBLAS 0.3.1.dev : 34.73s
icc 18.0.3 + Intel MKL 2018.3 : 21.94s
icc 18.0.3 (xHost) + Intel MKL 2018.3 : 20.13s

Intel® Parallel Studio 2019 Initial Release
gcc 4.8.5 + OpenBLAS 0.3.4.dev : 31.61s
icc 19.0.0.117 + Intel MKL 2019.0 : 20.59s
icc 19.0.0.117 (xHost) + Intel MKL 2019.0 : 19.54s

◯問題3:NH3+.2A2\".STO6G.pqgt1t2p.dat-s
Intel® Parallel Studio 2018 Update3
gcc 4.8.5 + OpenBLAS 0.3.1.dev : 159.30s
icc 18.0.3 + Intel MKL 2018.3 : 157.21s
icc 18.0.3(xHost) + Intel MKL 2018.3 : 157.20s

Intel® Parallel Studio 2019 Initial Release
gcc 4.8.5 + OpenBLAS 0.3.4.dev : 41.04s
icc 19.0.0.117 + Intel MKL 2019.0 : 38.41s
icc 19.0.0.117 (xHost) + Intel MKL 2019.0 : 37.60s


◯計算サーバ
CPU : Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz x 2個
メモリ:512GB
OS : CentOS 7.5
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SCIP Introduction

2018年09月27日 00時34分31秒 | Weblog
9月26日開催の SCIP Introduction です。




コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

伊都キャンパス完成記念行事・キャンパス移転など

2018年09月26日 22時05分24秒 | Weblog
伊都キャンパス完成記念行事・キャンパス移転など

伊都キャンパス完成記念行事について
2005年から進めてきた伊都キャンパスへの移転は、2018年9月までに箱崎キャンパスから文系4学部と農学部の移転が完了し、伊都キャンパスが完成を迎えます。本学では、2018年度を伊都キャンパス完成記念期間として、さまざまな催し物を開催する予定です。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

The 3rd IMI-ISM-ZIB MODAL Workshop 9/26より開催

2018年09月25日 00時26分53秒 | Weblog
9月26日(水)から28日(金)まで、政策研究大学院大学(〒106-0032 東京都港区六本木7丁目22−1)にて
以下の3者合同ワークショップを開催することになりました。

The 3rd IMI-ISM-ZIB MODAL Workshop on Challenges in Real World Data Analytics and High-Performance Optimization
http://imi.kyushu-u.ac.jp/~3rd_imi_ism_zib_ws/

主催
九州大学 マス・フォア・インダストリ研究所
統計数理研究所
Zuse Institute Berlin (ZIB)

9月26日(水) SCIP Introduction
9月27,28日(木, 金) Talks and Panel Discussion

9月26日は ZIB で開発されている最適化ソフトウェア SCIP(Solving Constraint Integer Programs, http://scip.zib.de)のチュートリアルと演習,
9月27,28日は講演やパネルディスカッションを予定しています。

参加費は無料です。参加希望者は以下よりご登録下さい。
https://goo.gl/forms/SnuuR7YJTohZSk0y2

多くの皆さまのご参加をお待ちしております。
よろしくお願い致します。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Apple、macOS Mojave を発表

2018年09月24日 01時10分26秒 | Weblog
9/25 にリリース予定になっています。
Apple、macOS Mojaveを発表

Appleは本日、世界で最も先進的なデスクトップオペレーティングシステムの最新版、macOS Mojave(モハべ)をプレビューしました。macOS Mojaveは、プロのワークフローをヒントとした、パワフルでありながらも誰にでも使えるように設計された新機能を提供します。macOS Mojaveで新しく搭載されたダークモードは、フォーカスがユーザのコンテンツに当たるようなドラマチックな新しいスタイルにデスクトップを変化させます。新しいスタック機能は、ファイルを自動的にスタックしてグループ化して整理し、散らかったデスクトップをすっきりと整頓してくれます。News、株価、ボイスメモ、ホームなど、おなじみのiOSアプリケーションが、はじめてMacで使えるようになりました。また、FaceTimeがグループ通話に対応するほか、Mac App Storeが刷新され、豊富なエディトリアルや、Microsoft、Adobeなどトップクラスのデベロッパによるアプリケーションも加わりました。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

OPT クラスタ復活 with CentOS 7.5

2018年09月23日 00時14分24秒 | Weblog
OPT クラスタの一部(4ノード)に CentOS 7.5 をインストールして復活させました。

◯ OPT クラスタ(48コア)
1:PowerEdge M1000e(ブレードエンクロージャー) x 1台
2:PowerEdge M710HD(ブレードサーバ) x 4台
ブレードサーバの仕様:
CPU : インテル(R) Xeon(R) プロセッサー X5670(2.93GHz、12MB キャッシュ、6.4 GT/s QPI) x 2個
メモリ: 128GB (16X8GB/2R/1333MHz/DDR3 RDIMM/CPUx2)
Disk : 73GB x 2
NIC : GbE x 1 & Inifiniband QDR(40Gbps) x 1
OS : CentOS 7.5 for x86_64
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Tesla C2075 x 8枚で Graph500

2018年09月22日 11時30分35秒 | Weblog
前回の続きで、サーバ2台を接続して計算を行ってみました。
Infiniband のボードが古いせいなのか、現在の Infiniband ドライバでは正常に動作しないので、10GbE として使用しています。当然ながら性能低下は起きます。。。


◯ 1サーバ 4GPU : Scale 24
============= Result ==============
SCALE: 24
edgefactor: 16
NBFS: 64
graph_generation: 17.1723642349
num_mpi_processes: 4
construction_time: 20.3061554432
redistribution_time: 1.5020134449
min_time: 0.240659
firstquartile_time: 0.251023
median_time: 0.259705
thirdquartile_time: 0.264707
max_time: 0.277127
mean_time: 0.258595
stddev_time: 0.00918387
min_nedge: 268432547
firstquartile_nedge: 268432547
median_nedge: 268432547
thirdquartile_nedge: 268432547
max_nedge: 268432547
mean_nedge: 268432547
stddev_nedge: 0
min_TEPS: 9.68626e+08
firstquartile_TEPS: 1.01407e+09
median_TEPS: 1.03361e+09
thirdquartile_TEPS: 1.06935e+09
max_TEPS: 1.11541e+09
harmonic_mean_TEPS: 1.03804e+09
harmonic_stddev_TEPS: 4.64464e+06
min_validate: 4.82085
firstquartile_validate: 4.83332
median_validate: 4.83863
thirdquartile_validate: 4.84349
max_validate: 4.85546
mean_validate: 4.83812
stddev_validate: 0.00700683


◯ 2サーバ 8GPU : Scale24
============= Result ==============
SCALE: 24
edgefactor: 16
NBFS: 64
graph_generation: 8.56229615211
num_mpi_processes: 8
construction_time: 13.7278292179
redistribution_time: 2.48683571815
min_time: 0.156456
firstquartile_time: 0.16395
median_time: 0.173233
thirdquartile_time: 0.186077
max_time: 0.394335
mean_time: 0.178429
stddev_time: 0.0299255
min_nedge: 268432547
firstquartile_nedge: 268432547
median_nedge: 268432547
thirdquartile_nedge: 268432547
max_nedge: 268432547
mean_nedge: 268432547
stddev_nedge: 0
min_TEPS: 6.80722e+08
firstquartile_TEPS: 1.44259e+09
median_TEPS: 1.54955e+09
thirdquartile_TEPS: 1.63728e+09
max_TEPS: 1.71571e+09
harmonic_mean_TEPS: 1.50442e+09
harmonic_stddev_TEPS: 3.17888e+07
min_validate: 3.1274
firstquartile_validate: 3.65761
median_validate: 3.87777
thirdquartile_validate: 4.15296
max_validate: 5.54566
mean_validate: 3.94297
stddev_validate: 0.450207


◯ 2サーバ 8GPU : Scale25
============= Result ==============
SCALE: 25
edgefactor: 16
NBFS: 64
graph_generation: 17.3240265846
num_mpi_processes: 8
construction_time: 28.9375069141
redistribution_time: 4.77809858322
min_time: 0.30046
firstquartile_time: 0.313659
median_time: 0.328601
thirdquartile_time: 0.341993
max_time: 0.746691
mean_time: 0.338517
stddev_time: 0.0612153
min_nedge: 536865258
firstquartile_nedge: 536865258
median_nedge: 536865258
thirdquartile_nedge: 536865258
max_nedge: 536865258
mean_nedge: 536865258
stddev_nedge: 0
min_TEPS: 7.18992e+08
firstquartile_TEPS: 1.56981e+09
median_TEPS: 1.63379e+09
thirdquartile_TEPS: 1.71162e+09
max_TEPS: 1.78681e+09
harmonic_mean_TEPS: 1.58593e+09
harmonic_stddev_TEPS: 3.61322e+07
min_validate: 7.04169
firstquartile_validate: 7.63266
median_validate: 7.95585
thirdquartile_validate: 8.45642
max_validate: 9.45792
mean_validate: 8.04152
stddev_validate: 0.547952


◯ 2サーバ 8GPU : Scale26
============= Result ==============
SCALE: 26
edgefactor: 16
NBFS: 64
graph_generation: 35.3478515148
num_mpi_processes: 8
construction_time: 62.205946207
redistribution_time: 9.73122549057
min_time: 0.601114
firstquartile_time: 0.613692
median_time: 0.622049
thirdquartile_time: 0.638401
max_time: 1.0013
mean_time: 0.63633
stddev_time: 0.0561822
min_nedge: 1073731075
firstquartile_nedge: 1073731075
median_nedge: 1073731075
thirdquartile_nedge: 1073731075
max_nedge: 1073731075
mean_nedge: 1073731075
stddev_nedge: 0
min_TEPS: 1.07233e+09
firstquartile_TEPS: 1.68191e+09
median_TEPS: 1.72612e+09
thirdquartile_TEPS: 1.74962e+09
max_TEPS: 1.78624e+09
harmonic_mean_TEPS: 1.68738e+09
harmonic_stddev_TEPS: 1.87698e+07
min_validate: 14.0408
firstquartile_validate: 14.9233
median_validate: 15.5739
thirdquartile_validate: 16.1965
max_validate: 17.8704
mean_validate: 15.5851
stddev_validate: 0.795499


サーバの仕様
Intel Xeon + 4 GPU マシン
CPU:Xeon X5690(3.46GHz,6core)×2
Memory:192GB(16GB×12)
HDD:SATA500GB×2
NIC : GbE x 1 & Inifiniband(FDR) x 1
GPGPU:Tesla C2075×4
OS:CentOS 7.5
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

RAMP2018

2018年09月21日 00時59分10秒 | Weblog
シンポジウム参加費の事前振込は 9月30日までです。

RAMP2018

RAMPシンポジウムは、日本オペレーションズ・リサーチ学会の数理計画研究部会 (RAMP: Research Association of Mathematical Programming) によって年一度開催される、最適化、数理計画に関するシンポジウムです。

2018年度も以下のとおりシンポジウムを開催いたします。詳細については追って本ホームページ、オペレーションズ・リサーチ誌においてご案内させていただく予定です。多数の皆様のご参加をお待ちしております。

日程
2018年10月10日(水)・11日(木)

会場
広島国際会議場(平和記念公園内)

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

スーパーコンピュータ ITO : 九州大学

2018年09月20日 01時40分14秒 | Weblog




























コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Infiniband 認識

2018年09月19日 01時51分20秒 | Weblog
Infiniband ボードの認識が出来ません。。。

# ibv_devinfo
No IB devices found

# lspci|grep Mellanox
82:00.0 InfiniBand: Mellanox Technologies MT26428 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE] (rev b0)

# dmesg |grep Mellanox
[ 1.852254] mlx4_core: Mellanox ConnectX core driver v4.0-0
[ 4.525684] mlx4_en: Mellanox ConnectX HCA Ethernet driver v4.0-0

# /usr/bin/hca_self_test.ofed

---- Performing Adapter Device Self Test ----
Number of CAs Detected ................. 1
PCI Device Check ....................... PASS
Kernel Arch ............................ x86_64
Host Driver Version .................... MLNX_OFED_LINUX-4.4-2.0.7.0 (OFED-4.4-2.0.7): 3.10.0-862.11.6.el7.x86_64
Host Driver RPM Check .................. PASS
Firmware on CA #0 HCA .................. v2.9.1000
Host Driver Initialization ............. PASS
Number of CA Ports Active .............. 0
Kernel Syslog Check .................... PASS
Node GUID on CA #0 (HCA) ............... NA
------------------ DONE ---------------------



マシンの仕様
Intel Xeon + 4 GPU マシン
CPU:Xeon X5690(3.46GHz,6core)×2
Memory:192GB(16GB×12)
HDD:SATA500GB×2
NIC : GbE x 1 & Inifiniband(FDR) x 1
GPGPU:Tesla C2075×4
OS:CentOS 7.5
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

羽田空港の情報ユニバーサルデザインの公開実証実験

2018年09月18日 00時58分24秒 | Weblog
ちょっと古いですが、以下の公開実行実験について。

羽田空港の情報ユニバーサルデザインの公開実証実験

羽田空港の情報ユニバーサルデザインの公開実証実験を開始します
- 日本の玄関を起点とした世界最高のおもてなしが実証フェーズへ -

東京国際空港ターミナル株式会社(本社:東京都大田区、代表取締役社長:土井 勝二、以下:TIAT)、日本空港ビルデング株式会社(本社:東京都大田区、代表取締役社長:横田信秋、以下:JAT)、日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:鵜浦 博夫、以下:NTT)、パナソニック株式会社(本社:大阪府門真市、代表取締役社長:津賀 一宏、以下:パナソニック)は、情報ユニバーサルデザインの取り組みの公開実証実験を開始します。
羽田空港では、国際線旅客ターミナルビルを中心に、ユニバーサルデザインのコンセプトを取り入れ、すべての方に使いやすい空港づくりを推進しております。来るべき2020年とその先の未来を見据えると、訪日外国人増加はもちろんのこと、少子高齢化が進むことで、移動サポートが必要なお客さまが益々増えることが予想されます。このため、ユニバーサルデザインの取り組みにおいて、最新の情報技術(ICT)との融合が必須となると考え、2015年12月より、ユニバーサルデザインの高度化に取り組んで参りました。今般、こうした取り組みに一定の成果が見られたことにより、羽田空港をご利用になるお客さまに、実際にご利用頂ける、公開実証実験の環境を整えました。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

The 3rd IMI-ISM-ZIB MODAL Workshop 講演情報確定

2018年09月17日 00時56分34秒 | Weblog
http://imi.kyushu-u.ac.jp/~3rd_imi_ism_zib_ws/

Organizers
Katsuki Fujisawa : The Institute of Mathematics for Industry, Kyushu University & AIST-Tokyo Tech Real World Big-Data Computation Open Innovation Laboratory
Satoshi Ito : The Institute of Statistical Mathematics
Thorsten Koch : Research Campus MODAL / ZIB
Yuji Shinano : MODAL SynLab / ZIB
Takashi Tsuchiya : National Graduate Institute for Policy Studies

Outline
The Institute of Statistical Mathematics (ISM) in Tokyo, Zuse Institute Berlin (ZIB) and the Institute of Mathematics for Industry (IMI) of Kyushu University have established collaboration agreements in 2016, confirming the mutual interest in cooperation for research in applied mathematics and initiating a regular exchange between the institutes.
The first ISM-ZIB-IMI Joint workshop was carried out at ISM in Tokyo, Japan, from 2017-01-19 to 2017-01-22, as the first step in collaborative research in optimization and data-intensive High-Performance Computing. Special focus was the organization of cooperation between research and industry. The second ISM-ZIB-IMI MODAL workshop on Mathematical Optimization and Data Analysis was held at ZIB in Berlin, Germany, from 2017-09-22 to 2017-09-26, as a workshop evolving the first joint workshop. Speakers from science and industry presented progressive achievement.
To build up on the success of the previous workshops the " 3rd IMI-ISM-ZIB MODAL Workshop on Challenges in Real World Data Analytics and High-Performance Optimization" will take place from 2018-09-26 to 2018-10-01 at the National Graduate Institute for Policy Studies (GRIPS) in Tokyo, Japan.

Program
26.09.2018: SCIP Introduction
27.09.2018: Workshop talks
28.09.2018: Workshop talks and the two panel discussions, Banquet.
01.10.2018: Japanese supercomputer tour ABCI
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

ポスト「京」性能評価環境利用課題の募集について

2018年09月16日 01時14分26秒 | Weblog
ポスト「京」性能評価環境利用課題の募集について

国立研究開発法人理化学研究所 計算科学研究センター(以下、「センター」という。)及び一般財団法人高度情報科学技術研究機構(以下、「利用支援機関」という。)は、「ポスト「京」性能評価環境」の提供を開始します。
「ポスト「京」性能評価環境」は、ポスト「京」に向けたプログラムの性能評価や最適化の検討を行うため、プログラムの移植、あるいは開発及び最適化の計画を持ったプロジェクト(以下、「課題」という。)に対して、センターが提供するものです。
この「ポスト「京」性能評価環境」を利用する課題の募集は、利用支援機関が行います。
なお、「ポスト「京」性能評価環境」は、ポスト「京」開発担当企業である富士通株式会社(以下、「開発担当企業」という。)の協力を得て作成されています。
本ページでは、「ポスト「京」性能評価環境」の概要と本環境を利用する課題の募集要領、審査合格後の利用手続き、高度化支援の紹介等についてご案内します。
コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする