最適化問題に対する超高速&安定計算

クラスタ計算機やスーパーコンピュータ上での大規模最適化問題やグラフ探索などの研究のお話が中心

自己紹介と重要リンク

2019年10月18日 22時11分55秒 | Weblog
数理・情報系の研究者。最適化理論からアルゴリズムそれにスパコンを使った大規模計算まで。本業は最適化問題の研究でグラフ探索(Graph500 世界1位)や産学連携など。
現在, 九州大学 マス・フォア・インダストリ研究所 教授及び産総研・東工大 実社会ビッグデータ活用 オープンイノベーションラボラトリ ラボ長


1: 藤澤研究室 HP
2: 産総研・東工大 実社会ビッグデータ活用 オープンイノベーションラボラトリ RWBC-OIL
3: GraphCrest ホームページ (すでに終了)
4: SDPA ホームページ(sourceforge)
5: Katsuki Fujisawa HP
6: 最短路問題 Online Solver
7: SCOPE(「計算と最適化の新展開」研究部会)(すでに終了)
8: Twitter : sdpaninf
コメント

購入予定新サーバ

2018年10月20日 00時23分08秒 | Weblog
以下の新サーバの購入計画を立てています。。。

CPU : Intel Xeon Platinum 8170 2.1GHz (最大 3.7GHz) 26コア x 2
Memory : 1024GB (64GB x 16) DDR4-2666
GPU : NVIDIA GrForce RTX 2080Ti 11GB GDDR6 x 4
Linux : CentOS 7.x + CUDA 10.x の予定です。

Gurobi, CPLEX などの数理計画問題や深層学習等で使用します。
コメント

31VENTURES KOIL(柏の葉オープンイノベーションラボ)

2018年10月19日 00時45分00秒 | Weblog
ABCI 棟は柏の葉キャンパス駅から離れているのと、イベントを行うことが出来るような施設がまだ無いので、以下の KOIL を使用する機会が増えそうです。

31VENTURES KOIL(柏の葉オープンイノベーションラボ)

31VENTURES KOILではイノベーションを生みだす出会いがあふれています。
「31VENTURES KOIL(柏の葉オープンイノベーションラボ)」は、日本最大級のコワーキングスペース、1~2人用のブース、
最大100名規模の個室オフィスを備えた、千葉県柏市「柏の葉キャンパス」にあるインキュベーションオフィスです。

「31VENTURES KOIL」では、人々が有機的に交わるための空間設計がされており、起業家やクリエイター、学生、近隣にお住まいの皆様まで、
職種や立場を超えた多様な人々が集まり、オープンイノベーションが生まれやすい仕掛けが随所にされた、遊びゴコロあふれる空間です。
コメント

GeForce RTX 2080 Ti

2018年10月18日 00時52分13秒 | Weblog
Voltaアーキテクチャで追加された機械学習用の「Tensorコア」と、レイトレーシング処理用の「RTコア」ということで、今後は研究の中で機械学習だけでなくレイトレーシング処理も行うかもしれません。。。

新世代グラフィックスの幕開けを告げる「GeForce RTX 2080 Ti」をテスト

現在までに発表されているGeForce RTX 20シリーズは、GeForce RTX 2080 Ti、GeForce RTX 2080、GeForce RTX 2070の3製品。いずれもNVIDIAの最新アーキテクチャ「Turing」に基づき、TSMCのNVIDIA向けプロセス「12nm FinFET NVIDIA(12nm FFN)」で製造されたGPUコアを採用している。

Turingアーキテクチャでは、Voltaアーキテクチャで追加された機械学習用の「Tensorコア」と、レイトレーシング処理用の「RTコア」がStreaming Multiprocessor(SM)に追加された。これによりSMの構成は、64基のCUDAコア、8基のTensorコア、1基のRTコア、4基のテクスチャユニットとなっている。

また、VRAMには14Gtps動作のGDDR6メモリを新たに採用した。これにより、メモリ帯域幅は最上位のGeForce RTX 2080 Tiで616GB/s、GeForce RTX 2080とGeForce RTX 2070でも448GB/sに達している。



コメント

九州大学の新しい中央図書館

2018年10月17日 00時15分09秒 | Weblog















コメント

社会情報学シンポジウム2018

2018年10月16日 21時35分22秒 | Weblog
=========================================================
社会情報学シンポジウム2018
テーマ:社会的☆マッチング
=========================================================

【日程】 2018年11月29日(木)12:40 ~ 15:50
【会場】 群馬大学荒牧キャンパス ミューズホール
     http://www.gunma-u.ac.jp/access
【参加費】 無料/申込不要 
【定員】 学生・教職員 120名 一般 当日先着 70名

<プログラム>

第一部 司会:永野 清仁(社会情報学部)

・松井 猛(社会情報学部) (35分)
 『マッチング理論入門~希望が叶うルールづくりって大事だと思う~』

・吉良 知文(社会情報学部) (35分)
 『保育所の利用調整~きょうだい同所希望への配慮と公平性の両立~』

第二部 司会:岩井 淳(社会情報学部)

・杉山 学(社会情報学部) (30分)
 『教養教育の必修科目における満足度を高めるためのクラス編成
  ~数理最適化による受講科目と学生のマッチング結果はいかに?~』

【特別講演】
・富山 慶典(群馬大学 特別教授) (60分)
 『社会的マッチングの現実と理論~医療インターンのための労働市場を例とし
て~』


詳細は以下のチラシをご覧ください。

チラシPDF:
https://bit.ly/2OCKKug
---------------------------------------------------------
コメント

ABCI センター見学

2018年10月15日 22時29分41秒 | Weblog






















コメント

Oakforest-PACS スーパーコンピュータシステム

2018年10月14日 00時18分35秒 | Weblog
Oakforest-PACS スーパーコンピュータシステムを見学して来ました。。。













コメント

パナソニック創業100周年記念「クロスバリューイノベーションフォーラム」

2018年10月13日 00時57分59秒 | Weblog
パナソニック創業100周年記念「クロスバリューイノベーションフォーラム」

パナソニック株式会社は、1918年3月7日(木)の松下電気器具製作所創業から100年目にあたる2018年、創業100周年を記念して、「クロスバリューイノベーションフォーラム」を開催いたします。

創業100周年の節目に、これまで当社の成長を支えていただいたお客様や取引先、また従業員に対して感謝の意を示すとともに、当社のこれからの100年に向けた新たなお役立ちの姿をご覧いただきます。

本フォーラムでは、当社100年の歴史をはじめ、パナソニックグループ全社のさまざまなソリューション・技術展示のほか、各界有識者による特別講演など、シンポジウムの開催も予定しています。

◎フォーラムの概要
【日時】2018年10月30日(火)~11月3日(土)
【場所】東京国際フォーラム(東京都千代田区丸の内3丁目5番1号)
【内容】総合展示会、シンポジウム等
コメント

サーバ室停電

2018年10月12日 23時05分14秒 | Weblog
2018年10月13日 14:00 〜 17:00 まで COI 棟が停電のため 10月13 の朝から夕方まで全サーバが停止します。








コメント

産総研LINK 最新号[2018.9 No.20]

2018年10月11日 01時19分12秒 | Weblog
産総研LINK
最新号[2018.9 No.20]

最新号をPDFダウンロード

CONTENTS

■ CROSS LINK 国内最強の計算力を持つ“ABCI”で、社会問題の解決を!
オープンプラットフォーム
「AI橋渡しクラウド」が本格稼働
■ CROSS LINK ABCI運用開始記念式典開催
国内最高性能のスパコンABCIが、
いよいよ運用スタート!
コメント

Cray XMT

2018年10月10日 21時24分18秒 | Weblog
Cray XMT は 2011年から2012年ぐらいはビッグデータ処理やグラフ処理用に大変注目されていたが、いつの間に消えてしまいました。。。Graph500 でも当時は CRAY XMT が上位にいたのですが。。。
一度は使ってみたかったというのが正直な感想です。

Cray XMT

This article relies too much on references to primary sources. Please improve this by adding secondary or tertiary sources. (August 2012) (Learn how and when to remove this template message)
The Cray XMT (codenamed Eldorado) is the third generation of the Cray MTA supercomputer architecture originally developed by Tera. The earlier generations were called the Cray MTA and the Cray MTA-2.[1] The XMT makes the MTA's multithreaded processors, now dubbed Threadstorm, compatible with the 1207-pin Socket F used by AMD Opteron processors.[2] The Threadstorm processors are plugged into systems otherwise identical to the Cray XT4.

コメント

GTC Japan 2018 と ABCI

2018年10月09日 07時55分49秒 | Weblog
Japan's Fastest AI Supercomputer というよりも、Japan's Fastest Supercomputer です。






コメント

GPU クラスタ CUDA10.0 と SDPARA 7.6.1

2018年10月08日 11時21分20秒 | Weblog
最新の環境 CUDA 10.0 においても以下のように SDPARA 7.6.1 がそこそこの性能で正常に動作することを確認しました。。。

[gpdpotrf] ### END n=379350, nb=2048, 4x4 procs, ver 50: 1138.431sec --> 15984.250GFlops ###

◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.5


◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.5
コメント

Chainer 4.4.0 と imagenet

2018年10月07日 10時04分15秒 | Weblog
以下の環境で imagenet の実験を行ってみました。
◯ Chainer 4.4.0 + CuPy 4.4.1 + cuDnn 7.3

◯ Tesla V100 : FP32
$ time python ../imagenet/train_imagenet.py -a alex -g 0 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.42292 0.275406 0.01
9 2000 2.02364 0.504469 0.01
13 3000 1.33507 0.649781 0.01
18 4000 0.879725 0.759781 0.01
23 5000 0.596242 0.829 0.01
27 6000 0.429185 0.876781 0.01
32 7000 0.324969 0.907 0.01
37 8000 0.263767 0.92475 0.01
41 9000 0.218982 0.937219 0.01
46 10000 0.169761 0.952187 0.01

real 5m24.372s
user 52m0.814s
sys 1m56.314s

◯ Tesla V100 : FP16
$ time python ../imagenet/train_imagenet.py -a alex_fp16 -g 0 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.322 0.278 0.01
9 2000 2.015 0.50275 0.01
13 3000 1.297 0.643 0.01
18 4000 0.878 0.773 0.01
23 5000 0.6015 0.872 0.01
27 6000 0.4385 0.9215 0.01
32 7000 0.2955 0.961 0.01
37 8000 0.253125 0.972 0.01
41 9000 0.198375 0.978 0.01
46 10000 0.19975 0.9815 0.01

real 4m43.798s
user 47m21.842s
sys 1m36.036s

◯ GeForce GTX 1080 Ti : FP32
$ time python ../imagenet/train_imagenet.py -a alex -g 1 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.44381 0.270656 0.01
9 2000 2.01306 0.508563 0.01
13 3000 1.3339 0.650937 0.01
18 4000 0.872331 0.758812 0.01
23 5000 0.600323 0.829594 0.01
27 6000 0.427101 0.876281 0.01
32 7000 0.318739 0.90825 0.01
37 8000 0.254063 0.927406 0.01
41 9000 0.217029 0.939 0.01
46 10000 0.195928 0.945063 0.01

real 6m41.923s
user 61m42.514s
sys 2m36.189s

◯ GeForce GTX 1080 Ti : FP16
$ time python ../imagenet/train_imagenet.py -a alex_fp16 -g 1 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.406 0.26825 0.01
9 2000 2.046 0.50325 0.01
13 3000 1.329 0.6425 0.01
18 4000 0.88 0.774 0.01
23 5000 0.598 0.8725 0.01
27 6000 0.43225 0.919 0.01
32 7000 0.353 0.947 0.01
37 8000 0.25725 0.969 0.01
41 9000 0.220375 0.978 0.01
46 10000 0.1905 0.9805 0.01

real 6m2.500s
user 60m16.126s
sys 2m10.853s


参考:Chainer 4.3.1 + CuPy 4.3.0 + cuDnn 7.1.3
◯ Tesla V100 : FP32
$ time python ../imagenet/train_imagenet.py -a alex -g 0 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.42937 0.275687 0.01
9 2000 2.0102 0.50725 0.01
13 3000 1.31432 0.652125 0.01
18 4000 0.85658 0.763563 0.01
23 5000 0.585906 0.831094 0.01
27 6000 0.422727 0.879281 0.01
32 7000 0.310402 0.910875 0.01
37 8000 0.244246 0.930906 0.01
41 9000 0.209276 0.94025 0.01
46 10000 0.171013 0.951531 0.01

real 5m33.551s
user 54m17.491s
sys 1m47.513s

◯ Tesla V100 : FP16
$ time python ../imagenet/train_imagenet.py -a alex_fp16 -g 0 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.334 0.2735 0.01
9 2000 2.036 0.505 0.01
13 3000 1.331 0.649 0.01
18 4000 0.8945 0.7775 0.01
23 5000 0.6175 0.86 0.01
27 6000 0.43175 0.923 0.01
32 7000 0.32125 0.953 0.01
37 8000 0.2715 0.967 0.01
41 9000 0.212625 0.977 0.01
46 10000 0.173 0.984 0.01

real 4m47.544s
user 48m53.431s
sys 1m36.040s


◯ GeForce GTX 1080 Ti : FP32
$ time python ../imagenet/train_imagenet.py -a alex -g 1 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.37873 0.281375 0.01
9 2000 1.97629 0.511594 0.01
13 3000 1.29579 0.658469 0.01
18 4000 0.867154 0.760156 0.01
23 5000 0.596059 0.830938 0.01
27 6000 0.40342 0.882469 0.01
32 7000 0.314912 0.910125 0.01
37 8000 0.243203 0.929281 0.01
41 9000 0.22406 0.93675 0.01
46 10000 0.17793 0.949656 0.01

real 6m42.212s
user 63m2.643s
sys 1m51.877s

◯ GeForce GTX 1080 Ti : FP16
$ time python ../imagenet/train_imagenet.py -a alex_fp16 -g 1 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.35 0.26975 0.01
9 2000 2.045 0.501 0.01
13 3000 1.306 0.637 0.01
18 4000 0.8805 0.778 0.01
23 5000 0.594 0.875 0.01
27 6000 0.4405 0.9165 0.01
32 7000 0.337 0.951 0.01
37 8000 0.255125 0.97 0.01
41 9000 0.2175 0.9775 0.01
46 10000 0.196 0.98 0.01

real 6m2.340s
user 60m37.003s
sys 1m43.699s
コメント