最適化問題に対する超高速&安定計算

クラスタ計算機やスーパーコンピュータ上での大規模最適化問題やグラフ探索などの研究のお話が中心

GTC Japan 2017

2017年11月30日 00時56分22秒 | Weblog
GTC Japan 2017

NVIDIA が主催する日本最大の GPU テクノロジ イベント「GTC Japan」。 GTC と Global GTC は、AI (人工知能)、ディープラーニング、医療、VR (バーチャル リアリティ)、活用分析、自動運転車など、コンピューティング分野で最重要でかつ、不可欠とされる貴重なトレーニングとショーケースを提供します。

会場 ヒルトン東京お台場
開催日付 2017年12月12日 (火) ~ 13日 (水)
開催時間 10:00 ~ 18:30

公式ホームページ https://www.gputechconf.jp/
主催者 エヌビディア合同会社
コメント

新 GPU クラスタ 性能測定 その12

2017年11月29日 00時25分45秒 | Weblog
SDPARA 7.6.1 で最新の結果を追加してみました。。。

○ SDPARA 7.6.0
OpenMPI 2.0.1 & Intel コンパイラ Parallel Studio XE 2016 update4 & MUMPS 5.0.2 & CUDA 7.5.18
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1149.453sec --> 15830.975GFlops ###

OpenMPI 2.1.0 & Intel コンパイラ Parallel Studio XE 2016 update4 & MUMPS 5.0.2 & CUDA 7.5.18
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1144.010sec --> 15906.297GFlops ###

OpenMPI 2.1.0 & Intel コンパイラ Parallel Studio XE 2016 update4 & MUMPS 5.0.2 & CUDA 8.0.61_375.26
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1117.202sec --> 16287.977GFlops ###

○SDPARA 7.6.1
OpenMPI 2.1.1 & Intel コンパイラ Parallel Studio XE 2017 update3 & CUDA 8.0.61_375.26
[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1118.734sec --> 16265.680GFlops ###

[gpdpotrf] ### END n=379350, nb=1024, 4x4 procs, ver 50: 1097.395sec --> 16581.972GFlops ###

OpenMPI 3.0.0 & Intel コンパイラ Parallel Studio XE 2018 update1 & CUDA 9.0.176_384.81
[gpdpotrf] ### END n=379350, nb=1024, 4x4 procs, ver 50: 1172.315sec --> 15522.253GFlops ###

[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1158.714sec --> 15704.452GFlops ###


◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4


◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.4









コメント

伊都キャンパス・イーストゾーン連絡橋の開通式を挙行

2017年11月28日 00時32分26秒 | Weblog
「イースト1・2号館」から「ウエスト5号館」まで 2km もあるんかと思いました。。。

伊都キャンパス・イーストゾーン連絡橋の開通式を挙行

センター3号館と新中央図書館を結ぶ全長約120mの「イーストゾーン連絡橋」の完成に伴い、平成29年11月13日(月)に「イーストゾーン連絡橋の開通式」を挙行いたしました。
 連絡橋の完成により、平成26年2月に完成している「九大ゲートブリッジ」と併せて全長約240mのイーストゾーンとセンターゾーンを結ぶルートが確保されました。加えて、今後完成予定の「イースト1・2号館」から「ウエスト5号館」まで東西約2kmにわたり、雨に濡れずに車いすの方も移動できる、歩行者専用のキャンパス・モールが開通することになります。
 この連絡橋が学生・教職員にとって、安全なキャンパスの移動ツールとして、末永く利用いただける施設となることを願っています。
 開通式では、久保総長の挨拶及び工事概要説明に続き、久保総長、安浦理事・副学長、玉上理事・事務局長による、記念のテープカットが行われました。
 また、テープカットの後は、新中央図書館からセンター3号館まで、開通式参加者による渡り初めを行いました。
コメント

global

2017年11月27日 00時55分14秒 | Weblog
global

標準では入っていないコマンドですが、globalと言うsource codeを見たりする時に、結構便利なツール類が存在します。これらはtag fileを作成し、これらをemacs等から読込むことによってタグジャンプを行ったり、変数や関数が相互参照可能なhtmlを作成してくれます。

SDPA 7.4.1 ではこんな感じです。。。
コメント

防災・避難計画の数理モデルの高度化と社会実装へ向けて:来週開催

2017年11月26日 00時31分59秒 | Weblog
防災・避難計画の数理モデルの高度化と社会実装へ向けて

※ この研究集会はマス・フォア・インダストリ研究所 共同利用研究の公開プログラムです.

【開催趣旨】
防災や避難にかかわる情報システム技術の応用は,阪神淡路大震災や東日本大震災などの大規模災害を契機として関心が深まり,徐々に普及が進んできている.それらのコアとなる数理モデリング技術は多種多様である.本研究が主な対象とする避難にかかわる数理モデルに限ってもいくつかのジャンルがあり,それらの分野間の交流はあまり多くはない.例えば我々は,ネットワークフローに基づく離散アルゴリズムの応用分野として避難計画問題を捉えている.一方,より一般的な避難計画を中心とする防災分野では,マルチエージェントなどに基づく避難シミュレーションを基盤としていることが多く,それを活用したソフトウェアの販売やコンサルティングも,既に民間企業を中心としてなされている.しかしこの分野も未だ発展途上であり,様々な実験やより高度なモデリングの技術開発が進んでいる.このような背景から本研究集会では,主に避難に関わる数理モデル化と応用を主なテーマとしつつ,それに関わる様々なジャンルの研究の最前線や企業も含めた応用の現状を紹介し議論を行う.そして,異なる分野間の交流から,本分野における新たな研究分野の開拓と,より効果的な数理モデリングの社会実装の契機となることを狙う.

参加登録を [こちら] からお願いします.


開催期間
2017年11月30日(木) ~ 12月1日(金)

開催場所
〒814-0002 福岡市早良区西新2-16-23
九州大学西新プラザ, アクセス

招待講演者
I-Lin Wang (National Cheng Kung University,国立台湾成功大学)
Maristany de las Casas, Pedro (The Zuse Institute Berlin: ZIB)
品野 勇治 (The Zuse Institute Berlin: ZIB)
柳澤 大地 (東京大学先端科学技術センター)
安福 健祐 (大阪大学サイバーメディアセンター)

【プログラム】
(全9講演)
11月30日(木)

14:30 - 15:00 受付
15:00 - 15:05 開会の挨拶

15:05 - 16:05 招待講演1
講演タイトル : 物理学者が考えた避難モデルとその応用
講演者 : 柳澤 大地 (東京大学先端科学技術センター)

16:05 - 17:05 招待講演2
講演タイトル : Network restoration scheduling in humanitarian logistics management
講演者 : I-Lin Wang (National Cheng Kung University, 国立台湾成功大学)

12月1日(金)

9:30 - 10:00 受付

10:00 - 11:00 招待講演3
講演タイトル : Airspace Evacuation Strategies
講演者 : Maristany de las Casas, Pedro (The Zuse Institute Berlin: ZIB)

11:00 - 12:00 一般講演1(20分*3題)
講演タイトル : dynamic tree networkによる避難完了時間を最小化する梅田地下街の垂直避難領域の分割手法
講演者 : 山本 遼,瀧澤 重志 (大阪市立大学大学院工学研究科)
講演タイトル : 深層学習とネットワークフローを用いた避難計画に対するアプローチ
講演者 : 田中 智,秦 希望(九州大学大学院数理学府)
藤澤 克樹 (九州大学マス・フォア・インダストリ研究所)
講演タイトル : 大阪市における大地震時の徒歩帰宅行動シミュレーション
講演者 : 川岸 裕,瀧澤 重志 (大阪市立大学大学院工学研究科)

12:00 - 13:00 昼食

13:00 - 14:00 招待講演4
講演タイトル : Solving Extremely Large Stochastic Mixed-Integer Programs in Parallel on Distributed Memory Computing Environments
講演者 : 品野 勇治 (The Zuse Institute Berlin: ZIB)

14:00 - 14:40
一般講演2(20分*2題)
講演タイトル : 内閣府SIP「共助アプリ」の開発と社会実装の取り組み
講演者 : 末松 孝司 (株式会社ベクトル総研)
講演タイトル : ヒト・モノのモビリティに関する新しい数理モデルとその応用
講演者 : 藤澤 克樹 (九州大学マス・フォア・インダストリ研究所)

14:40 - 14:50 休憩

14:50 - 15:50 招待講演5
講演タイトル : エージェントベースモデルによる避難シミュレーション精緻化の動向
講演者 : 安福 健祐 (大阪大学サイバーメディアセンター)

15:50 - 15:55 閉会の挨拶


九州大学IMI研究集会 (避難計画) 事務局メンバ

瀧澤 重志 (大阪市立大学工学研究科)
小林 和博 (東京理科大学理工学部)
佐藤 憲一郎 (関東学院大学工学研究科)
斉藤 努 (ビープラウド)
清水 正明 (日立製作所 研究開発グループ)
間瀬 正啓 (日立製作所 研究開発グループ)
藤澤 克樹 (九州大学マス・フォア・インダストリ研究所)
神山 直之 (九州大学マス・フォア・インダストリ研究所)


IMI研究集会 (避難計画) 事務局
evac(at)graphics.arch.eng.osaka-cu.ac.jp
コメント

イースト1,2号館と中央図書館:2017年11月24日

2017年11月25日 00時55分23秒 | Weblog





コメント

SC17 ブース風景

2017年11月24日 00時12分11秒 | Weblog
SC17 九大ブース








SC17 JST ブース










SC17 東工大ブース


コメント

Intel® Parallel Studio 2018 Update1 登場

2017年11月23日 00時34分52秒 | Weblog
Intel® Parallel Studio 2087 Update1 が登場しましたので、以下の比較実験を行いました。

ソフトウェア SDPA 7.4.1

◯問題1:karate.dat-s
icc 18.0.0 + Intel MKL 2018.0 : 105.78s
icc 18.0.0(xHost) + Intel MKL 2018.0 : 104.75s
icc 18.0.1 + Intel MKL 2018.1 : 103.50s
icc 18.0.1(xHost) + Intel MKL 2018.1 : 106.10s

◯問題2:DSJC500.9.dat-s
icc 18.0.0 + Intel MKL 2018.0 : 31.31s
icc 18.0.0(xHost) + Intel MKL 2018.0 : 31.74s
icc 18.0.1 + Intel MKL 2018.1 : 32.39s
icc 18.0.1(xHost) + Intel MKL 2018.1 : 31.62s

◯問題3:NH3+.2A2\".STO6G.pqgt1t2p.dat-s
icc 18.0.0 + Intel MKL 2018.0 : 157.71s
icc 18.0.0(xHost) + Intel MKL 2018.0 : 158.04s
icc 18.0.1 + Intel MKL 2018.1 : 157.35s
icc 18.0.1(xHost) + Intel MKL 2018.1 : 158.08s

◯計算サーバ
CPU : Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz x 2個
メモリ:512GB
GPU : NVIDIA Tesla P100
OS : CentOS 7.4
コメント

NOVEMBER 2017 TOP500 LIST

2017年11月22日 08時38分47秒 | Weblog
NOVEMBER 2017 TOP500 LIST

The fiftieth TOP500 list of the fastest supercomputers in the world has China overtaking the US in the total number of ranked systems by a margin of 202 to 143. It is the largest number of supercomputers China has ever claimed on the TOP500 ranking, with the US presence shrinking to its lowest level since the list’s inception 25 years ago.

Just six months ago, the US led with 169 systems, with China coming in at 160. Despite the reversal of fortunes, the 143 systems claimed by the US gives them a solid second place finish, with Japan in third place with 35, followed by Germany with 20, France with 18, and the UK with 15.

China has also overtaken the US in aggregate performance as well. The Asian superpower now claims 35.4 percent of the TOP500 flops, with the US in second place with 29.6 percent.

The top 10 systems remain largely unchanged since the June 2017 list, with a couple of notable exceptions.

Sunway TaihuLight, a system developed by China’s National Research Center of Parallel Computer Engineering & Technology (NRCPC), and installed at the National Supercomputing Center in Wuxi, maintains its number one ranking for the fourth time, with a High Performance Linpack (HPL) mark of 93.01 petaflops.

Tianhe-2 (Milky Way-2), a system developed by China’s National University of Defense Technology (NUDT) and deployed at the National Supercomputer Center in Guangzho, China, is still the number two system at 33.86 petaflops.

Piz Daint, a Cray XC50 system installed at the Swiss National Supercomputing Centre (CSCS) in Lugano, Switzerland, maintains its number three position with 19.59 petaflops, reaffirming its status as the most powerful supercomputer in Europe. Piz Daint was upgraded last year with NVIDIA Tesla P100 GPUs, which more than doubled its HPL performance of 9.77 petaflops.

The new number four system is the upgraded Gyoukou supercomputer, a ZettaScaler-2.2 system deployed at Japan’s Agency for Marine-Earth Science and Technology, which was the home of the Earth Simulator. Gyoukou was able to achieve an HPL result of 19.14 petaflops. using PEZY-SC2 accelerators, along with conventional Intel Xeon processors. The system’s 19,860,000 cores represent the highest level of concurrency ever recorded on the TOP500 rankings of supercomputers.

Titan, a five-year-old Cray XK7 system installed at the Department of Energy’s (DOE) Oak Ridge National Laboratory, and still the largest system in the US, slips down to number five. Its 17.59 petaflops are mainly the result of its NVIDIA K20x GPU accelerators.

Sequoia, an IBM BlueGene/Q system installed at DOE’s Lawrence Livermore National Laboratory, is the number six system on the list with a mark of 17.17 petaflops. It was deployed in 2011.

The new number seven system is Trinity, a Cray XC40 supercomputer operated by Los Alamos National Laboratory and Sandia National Laboratories. It was recently upgraded with Intel “Knights Landing” Xeon Phi processors, which propelled it from 8.10 petaflops six months ago to its current high-water mark of 14.14 petaflops.

Cori, a Cray XC40 supercomputer, installed at the National Energy Research Scientific Computing Center (NERSC), is now the eighth fastest supercomputer in the world. Its 1,630 Intel Xeon "Haswell" processor nodes and 9,300 Intel Xeon Phi 7250 nodes yielded an HPL result of 14.01 petaflops.

At 13.55 petaflops, Oakforest-PACS, a Fujitsu PRIMERGY CX1640 M1 installed at Joint Center for Advanced High Performance Computing in Japan, is the number nine system. It too is powered by Intel “Knights Landing” Xeon Phi processors.

Fujitsu’s K computer installed at the RIKEN Advanced Institute for Computational Science (AICS) in Kobe, Japan, is now the number 10 system at 10.51 petaflops. Its performance is derived from its 88 thousand SPARC64 processor cores linked by Fujitsu’s Tofu interconnect. Despite its tenth-place showing on HPL, the K Computer is the top-ranked system on the High-Performance Conjugate Gradients (HPCG) benchmark.
コメント

SC17 風景

2017年11月21日 00時44分10秒 | Weblog
産総研 ABCI


来年の SC18 (ダラス)
コメント

PIPS 並列実行

2017年11月20日 00時14分54秒 | Weblog
PIPS の クラスタ計算機上で並列実行が出来るようになりました。。。

$ time mpiexec -machinefile ~/.openmpi/hostfiles -np 8 numactl -i all pipsipmFromRaw ../PIPS-S/Test/rawInput/stormdata/problemdata 8
pipsipmFromRaw starting...
Using a total of 8 MPI processes.
rawInput created ..
RESCALE set to 1
RESCALE set to 1
RESCALE set to 1
RESCALE set to 1
RESCALE set to 1
RESCALE set to 1
RESCALE set to 1
RESCALE set to 1
PIPSIpmInterface created ..
rawInput deleted ... solving
--- Iteration 1 --- (rank 0)
mu = 3.913689468602e+07 rel.res.norm=1.496246194299e-02 datanorm=3.975641000000e+05
Duality Gap: -4.93498e+08
Objective: -9.94792e+06


中略


--- Iteration 55 --- (rank 0)
mu = 2.839087411412e-03 rel.res.norm=1.480944809000e-13
Duality Gap: 32.4394
alpha = 1
Objective: 1.55008e+07

Setting ThresholdPivoting parameter to 1e-07 for future factorizations
Setting ThresholdPivoting parameter to 1e-06 for future factorizations
Setting ThresholdPivoting parameter to 1e-05 for future factorizations
Setting ThresholdPivoting parameter to 1e-07 for future factorizations
Setting ThresholdPivoting parameter to 1e-06 for future factorizations
Setting ThresholdPivoting parameter to 1e-05 for future factorizations
Setting ThresholdPivoting parameter to 1e-07 for future factorizations
Setting ThresholdPivoting parameter to 1e-06 for future factorizations
Setting ThresholdPivoting parameter to 1e-05 for future factorizations
Setting ThresholdPivoting parameter to 0.0001 for future factorizations
--- Iteration 56 --- (rank 0)
mu = 2.730789313819e-08 rel.res.norm=3.298135647900e-12
Duality Gap: 0.000311891
alpha = 0.999991
Objective: 1.55008e+07


*** SUCCESSFUL TERMINATION ***
PIPS-IPM: optimal objective: 15500797.58291469

real 0m2.391s
user 0m3.160s
sys 0m0.265s
コメント

PIPS 実行

2017年11月19日 01時12分21秒 | Weblog
PIPS の make & 実行が出来るようになりました。。。

$ pipsipmFromRaw ../PIPS-S/Test/rawInput/stormdata/problemdata 8
pipsipmFromRaw starting...
Using a total of 1 MPI processes.
rawInput created ..
RESCALE set to 1
PIPSIpmInterface created ..
rawInput deleted ... solving
--- Iteration 1 --- (rank 0)
mu = 3.913689468602e+07 rel.res.norm=1.496246194298e-02 datanorm=3.975641000000e+05
Duality Gap: -4.93498e+08
Objective: -9.94792e+06

中略

--- Iteration 55 --- (rank 0)
mu = 2.839154565447e-03 rel.res.norm=8.279528319223e-14
Duality Gap: 32.4402
alpha = 1
Objective: 1.55008e+07

Setting ThresholdPivoting parameter to 1e-07 for future factorizations
Setting ThresholdPivoting parameter to 1e-06 for future factorizations
Setting ThresholdPivoting parameter to 1e-05 for future factorizations
Setting ThresholdPivoting parameter to 1e-07 for future factorizations
Setting ThresholdPivoting parameter to 1e-06 for future factorizations
Setting ThresholdPivoting parameter to 1e-05 for future factorizations
Setting ThresholdPivoting parameter to 0.0001 for future factorizations
Setting ThresholdPivoting parameter to 1e-07 for future factorizations
Setting ThresholdPivoting parameter to 1e-06 for future factorizations
Setting ThresholdPivoting parameter to 1e-05 for future factorizations
--- Iteration 56 --- (rank 0)
mu = 2.730978171291e-08 rel.res.norm=7.347715356418e-13
Duality Gap: 0.000311822
alpha = 0.999991
Objective: 1.55008e+07


*** SUCCESSFUL TERMINATION ***
PIPS-IPM: optimal objective: 15500797.58291469
コメント

6期連続でスーパーコンピュータ「京」がGraph500で世界第1位を獲得

2017年11月18日 03時26分25秒 | Weblog
6期連続でスーパーコンピュータ「京」がGraph500で世界第1位を獲得

-ビッグデータの処理で重要となるグラフ解析で最高レベルの評価-
理化学研究所(理研)と九州大学、東京工業大学、スペインのバルセロナ・スーパーコンピューティング・センター、富士通株式会社、株式会社フィックスターズによる国際共同研究グループは、ビッグデータ処理(大規模グラフ解析)に関するスーパーコンピュータの国際的な性能ランキングであるGraph500※において、スーパーコンピュータ「京(けい)」による解析結果で、2017年6月に続き6期連続(通算7期)で第1位を獲得しました。

大規模グラフ解析の性能は、大規模かつ複雑なデータ処理が求められるビッグデータの解析において重要となるもので、「京」は運用開始から5年以上が経過していますが、今回のランキング結果によって、現在でもビッグデータ解析に関して世界トップクラスの極めて高い能力を有することが実証されました。本成果の広範な普及のため、国際共同研究グループはプログラムのオープンソース化を行い、GitHubレポジトリより公開中です。今後は大規模高性能グラフ処理のグローバルスタンダードを確立して行く予定です。

コメント

Windows 10 : Core i9 7960X マシン Chainer インストール

2017年11月17日 00時42分02秒 | Weblog
Windows 10 : Core i9 7960X マシンに Python 3.6 と Chainer をインストールしてみました。



◯マシン1
CPU : Core i9 7960X (16コア/32スレッド/2.8GHz/tb4.2GHz/22MB/165W) LGA2066,
メモリ : 128GB (32GB×4) DDR4 2666(PC4-21300)
VGA : NVIDIA GeForce GTX 1080 Ti x 2

コメント

BigGraphs 2017

2017年11月16日 16時25分13秒 | Weblog
何とか BigGraphs 2017 に採択されました。。。

Your paper "Practical Approach to Evacuation Planning Via Network Flow and Deep Learning" has been accepted for publication at the Fourth International Workshop on High Performance Big Graph Data Management, Analysis, and Mining (BigGraphs 2017), to be held in conjunction with the 2017 IEEE International Conference on Big Data (IEEE BigData 2017), in Boston, MA, USA. The program committee reviewed 13 submissions this year, of which we decided to accept 7 submissions as full papers (acceptance rate of 54%).

Fourth International Workshop on High Performance Big Graph Data Management, Analysis, and Mining (BigGraphs 2017)

To be held in conjunction with the 2017 IEEE International Conference on Big Data (IEEE BigData 2017)
December 11-14, 2017
Boston, MA, USA
コメント