最適化問題に対する超高速&安定計算

クラスタ計算機やスーパーコンピュータ上での大規模最適化問題やグラフ探索などの研究のお話が中心

自己紹介と重要リンク

2020年10月18日 22時11分55秒 | Weblog
数理・情報系の研究者。最適化理論からアルゴリズムそれにスパコンを使った大規模計算まで。本業は最適化問題の研究でグラフ探索(Graph500 世界1位)や産学連携など。
現在, 九州大学 マス・フォア・インダストリ研究所 教授 & 数理計算インテリジェント社会実装推進部門 部門長
産総研 人工知能研究センター フェロー & 産総研・東工大 実社会ビッグデータ活用 オープンイノベーションラボラトリ 副ラボ長


1: 藤澤研究室 HP
2: 産総研 人工知能研究センター
3: 産総研・東工大 実社会ビッグデータ活用 オープンイノベーションラボラトリ RWBC-OIL
4: GraphCrest ホームページ (すでに終了)
5: SDPA ホームページ(sourceforge)
6: Katsuki Fujisawa HP
7: 最短路問題 Online Solver
8: SCOPE(「計算と最適化の新展開」研究部会)(すでに終了)
9: Twitter : sdpaninf
コメント

量子計算, ポスト量子暗号, 量子符号の融合と深化

2019年10月24日 16時21分08秒 | Weblog
IMI共同利用 研究集会(Ⅱ)
「量子計算, ポスト量子暗号, 量子符号の融合と深化」
(Quantum computation, post-quantum cryptography
and quantum codes)


日時:2019年11月5日(火)13時~11月7日(木) お昼まで
場所:九州大学 西新プラザ大会議室A
http://nishijinplaza.kyushu-u.ac.jp/

【プログラム】

●11月5日(火)

13:00 開場

13:15 - 13:25 開会式

13:30 - 14:30 佐々木寿彦(東京大学・光量子科学研究センター)
Security proof of QKD as a combination of classical arguments:
Based on the Twin-field-type QKD

14:45 - 15:45 清水俊也(富士通研究所)
Solving cryptographic problems using annealing computation

16:00 - 17:00 山本剛(NEC)
Quantum computing using superconducting circuits

●11月6日(水)
9:00 開場

9:30 - 10:30 Yan Bo Ti(University of Auckland)
G2SIDH and their isogeny graphs

10:45 - 11:45 王亜成(東京大学)
Algebraic cryptanalysis on multivariate cryptography

13:30 - 14:30 木村元(芝浦工業大学)
Quantum Theory based on operational and informational viewpoints
- An informational origin for a distortion of the state space

14:45 - 15:45 鈴木泰成(NTT)
Software infrastructure for experimental quantum error correction

16:00 - 17:00 Rudy Raymond (IBM 東京基礎研究所)
Distributed average computation with near-term quantum devices
for collaborative learning

18:00 頃から懇親会

●11月7日(木)
9:00 開場

9:30 - 10:30 小柴健史(早稲田大)
On public verifiability of secure delegated quantum computation

10:45 - 11:45 水谷明博(三菱電機)
Security of QKD under pulse correlations in terms of key information

コメント

IEEE BigData 2019 Call for Workshop Papers & Posters

2019年10月23日 23時26分32秒 | Weblog
IEEE BigData 2019 Call for Workshop Papers & Posters

2019 IEEE International Conference on Big Data (BigData 2019)

http://bigdataieee.org/BigData2019/
Dec 9-12, 2019, Los Angeles, CA, USA

The IEEE BigData 2019 has received more than 600 full papers in the main conference and industry and government program. If you miss the submission deadline, there are still chances for you to submit your research work to the IEEE Big Data 2019 workshops and Posters. The workshop papers and posters are published in the conference proceedings. (EI indexed)

(1) 44 Workshops (Most of the workshop paper submission deadlines are in middle or October)

1. Computational Archival Science: digital records in the age of big data

2. International Workshop on Big Data Analytics for Cyber Threat Hunting (CyberHunt 2019)

3. The 2nd International Workshop on “Big Data Engineering and Analytics in Cyber-Physical Systems (BigEACPS)

4. 6th Workshop on Performance Engineering with Advances in Software and Hardware for Big Data Science (PEASH)

5. 5th International Workshop on Methodologies to Improve Managing Big Data projects

6. 4th Workshop on Real-time and Stream Analytics in Big Data & Stream Data Management

7. Applications of Big Data Technology in the Transport Industry

8. The 3rd Workshop on Benchmarking, Performance Tuning and Optimization for Big Data Applications (BPOD)

9. Advances in High Dimensional (AdHD) Big Data (AdHD Big Data)

10. BITS 2019: International Workshop on Big data for Intelligent Transportation Systems

11. 8th Workshop on Scalable Cloud Data Management

12. 5th IEEE Workshop on Big Data Analytics in Supply Chains and Transportation

13. Analysis of Large-scale Disparate Data

14. 3rd IEEE Big Data International Workshop on Policy-based Autonomic Data Governance (PADG)

15. The 4th IEEE International Workshop on Big Spatial Data (BSD 2019)

16. The First International Workshop on Big Data Against Darknet Crimes

17. Second International Workshop on the Internet of Things Data Analytics (IOTDA)

18. 7th International Workshop on Distributed Storage and Blockchain Technologies for Big Data

19. The 3rd International Workshop on Big Data Analytic for Cybercrime Investigation and Prevention

20. The Third Annual Workshop on Applications of Artificial Intelligence in the Legal Industry

21. Big Data Predictive Maintenance using Artificial Intelligence

22. The 2nd International Workshop on Big Data for Marketing Intelligence and Operation Management

23. 2nd Workshop on Energy-Efficient Machine Learning and Big Data Analytics

24. The First International Workshop on Big Data Tools, Methods, and Use Cases for Innovative Scientific Discovery (BTSD)

25. The Third Human-in-the-loop Methods and Human-Machine Collaboration in BigData

26. 4th Workshop on Open Science in Big Data (OSBD)

27. 3rd International Workshop on Big Data Analytics for Cyber Intelligence and Defense (BDA4CID 2018)

28. Sixth International Workshop on High Performance Big Graph Data Management, Analysis, and Mining (BigGraphs 2019)

29. Big Data Analytic Technology for Bioinformatics and Health Informatics (KDDBHI)

30. The 3rd Workshop on Graph Techniques for Adversarial Activity Analytics (GTA3 3.0)

31. 5th Solar & Stellar Astronomy Big Data (SABiD) – Workshop on Management, Search and Mining of Massive Repositories of Solar and Stellar Astronomy Data

32. 2nd Workshop on Big Data for CyberSecurity (BigCyber-2019)

33. The 2nd International Workshop on Big Media Dataset Construction, Management and Applications

34. Big Food and Nutrition Data Management and Analysis (BFNDMA 2019)

35. IoT Big Data 2019

36. The Third Workshop on Big Data for Economic and Business Forecasting

37. Deep Graph Learning: Methodologies and Applications (DGLMA'19)

38. IEEE Workshop on Machine Learning for Big Data Analytics in Remote Sensing

39. The First Workshop on Security and Privacy on Blockchain

40. The 3rd International Workshop on Big Data for Financial News and Data

41. 4th International Workshop on Big Data Transfer Learning (BDTL) -- Heterogeneous Representation and Networks

42. The next frontier of big data from LIDAR

43. Streaming Systems and Real-Time Machine Learning (STREAM-ML)

44. 6th International Workshop on Privacy and Security of Big Data (PSBD 2019)

(2) Poster (Submission deadline: Nov 10, 2019)

Poster abstracts are limited to one page, the format and style are flexible. Posters will be reviewed on the basis of their relevance to the scope of the conference and on the scientific quality of the work presented. Each poster paper will be published with maximum up to 3 page limit in the poster/workshop proceedings (EI indexed). (format instruction for publication will be included with the poster acceptance notification)

Online Submission:
https://wi-lab.com/cyberchair/2019/bigdata19/index.php
コメント

BOX 及び全方位カメラのための実験室

2019年10月22日 03時16分16秒 | Weblog







コメント

MLNX_OFED 4.7-1.0.0.1

2019年10月21日 21時11分25秒 | Weblog
MLNX_OFED 4.7-1.0.0.1

CentOS 7.7 用の MLNX_OFED 4.7-1.0.0.1 が出ていたのでインストールしてみました。

> cd /root/MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64; ./uninstall.sh --force
> cd /root/MLNX_OFED_LINUX-4.7-1.0.0.1-rhel7.7-x86_64; ./mlnxofedinstall --force

$ ibv_devinfo
hca_id: mlx4_0
transport: InfiniBand (0)
fw_ver: 2.32.5210
node_guid: a01d:4803:00b5:3a23
sys_image_guid: a01d:4803:00b5:3a26
vendor_id: 0x02c9
vendor_part_id: 4103
hw_ver: 0x0
board_id: HP_1660112019
phys_port_cnt: 2
Device ports:
port: 1
state: PORT_ACTIVE (4)
max_mtu: 4096 (5)
active_mtu: 1024 (3)
sm_lid: 0
port_lid: 0
port_lmc: 0x00
link_layer: Ethernet

port: 2
state: PORT_ACTIVE (4)
max_mtu: 4096 (5)
active_mtu: 1024 (3)
sm_lid: 0
port_lid: 0
port_lmc: 0x00
link_layer: Ethernet
コメント

New technologies for non-destructive and non-invasive inspections and their applications

2019年10月20日 20時11分02秒 | Weblog
New technologies for non-destructive and non-invasive inspections and their applications

開催期間
2019年10月28日(月) - 10月31日(木)

開催場所
九州大学 伊都キャンパス ウエスト1号館 C棟 5階 中講義室 W1-C-512
伊都キャンパスへのアクセス,伊都キャンパスマップ

【プログラム】
(全6講演)
10月28日(月)

13:50 Opening

14:00 - 15:30
講演者 : Kenji Hashizume (West Nippon Expressway Shikoku Engineering Company Limited, Japan)
講演タイトル : Development and operation of the non-destructive inspection methods for infrastructures

15:30 - 16:30 Discussion


10月29日 (火)

11:00 - 12:30
講演者 : Cheng Hua (Fudan University, China)
講演タイトル : Mathematical modeling and analysis of Rayleigh Wave

14:00 - 15:30
講演者 : Takashi Takiguchi (National Defense Academy of Japan, Japan)
講演タイトル : An overview of ultrasonic imaging and its develpment

15:30 - 16:30 Discussion


10月30日 (水)

11:00 - 12:30
講演者 : Daisuke Kawagoe (Kyoto University, Japan)
講演タイトル : Regularity of solutions to the stationary transport equation and its application to the optical tomography

14:00 - 15:30
講演者 : Makoto Maruya (National Institute of Advanced Industrial Science and Technology / Geo Insight LLC, Japan)
講演タイトル : 3D reconstruction of an asteroid and formulation as an inverse problem

15:30 - 16:30 Discussion


10月31日(木)

11:00 - 12:30
講演者 : Kazumi Tanuma (Gunma University, Japan)
講演タイトル : Perturbations of Rayleigh waves in anisotropic elasticity and Bleustein-Gulyaev waves in piezoelectricity

12:30 - 14:00 Discussion over lunch

14:00 Closing


Organizer:
Takashi Takiguchi (National Defense Academy of Japan)
コメント

HPC(AI・CAE)ソリューションセミナー

2019年10月19日 19時21分16秒 | Weblog
HPC(AI・CAE)ソリューションセミナー

「造る・知るを同時に学べる」技術開発者向けインターンシップ開催!
 ※AIの動向及び技術開発に興味のある学生の方限定
 2019年11月12日開催

名称 HPC(AI・CAE)ソリューションセミナー
日時 2019年11月12日 13:00~17:00
場所 JR博多シティ会議室
主催 アプライド株式会社
参加費用 無料
お問合わせ kouiki_fukuoka@applied-net.co.jp
コメント

CentOS 8 と kernel crash その2

2019年10月18日 21時42分29秒 | Weblog
kernel crash が出まくっていましたが、nvidia ドライバの update で何故か安定して動作するようになりました。。。

ソフトウェア SDPA 7.4.1

◯問題1:karate.dat-s
gcc 8.2.1 + OpenBLAS 0.3.8.dev : 115.76s
icc 19.0.5 + Intel MKL 2019.5 : 71.66s
icc 19.0.5 (xHost) + Intel MKL 2019.5 : 71.72s

◯問題2:DSJC500.9.dat-s
gcc 8.2.1+ OpenBLAS 0.3.8.dev : 35.92s
icc 19.0.5 + Intel MKL 2019.5 : 22.52s
icc 19.0.5 (xHost) + Intel MKL 2019.5 : 22.32s

◯問題3:NH3+.2A2\".STO6G.pqgt1t2p.dat-s
gcc 8.2.1+ OpenBLAS 0.3.8.dev : 71.54s
icc 19.0.5 + Intel MKL 2019.5 : 71.25s
icc 19.0.5 (xHost) + Intel MKL 2019.5 : 68.98s

◯計算サーバ
CPU : Intel(R) Core(TM) i9-7940X CPU @ 3.10GHz x 2個
メモリ:128GB
GPU : GeFroce RTX 2080 Ti x 2個
OS : CentOS 7.7
コメント

数値化する世界のサバイバル術

2019年10月17日 21時24分08秒 | Weblog
数値化する世界のサバイバル術 -AI時代に求められる数理的素養とは- (1/2)

「ビジネスマンがデータ分析など勉強する暇があったら語学でもやっておけ」という輩がいれば、それは全くの時代遅れだ。世界が数値化し、AIによってあらゆるビジネスの可能性が広がる現代において、文系であれ理系であれ、営業職であれ情シスであれ、「数理的な素養」が不可欠になる時代はすぐそこに来ている。しかし、今から数学やデータの解析手法を従業員に学ばせることはあまりに酷ではないか――。
コメント

mvapich 2.3.2 と SDPARA 7.6.1

2019年10月16日 00時56分43秒 | Weblog
mvapich のときの性能が悪いです。。。

SDPARA 7.6.1 + Intel Compiler 19.0.5 + mvapich 2.3.2 + CUDA Toolkit 10.1 Update 2

[gpdpotrf] ### END n=433411, nb=2048, 4x4 procs, ver 50: 2013.504sec --> 13478.021GFlops ###

◯追加分
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz x 2 : 10cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 1000GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.7


◯現在の GPU クラスタ
ノード数4
各ノード
CPU : Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz x 2 : 8cores / 1CPU
GPU : NVIDIA K40m x 2
メモリ:256GB
ネットワーク:GbE x 2 + Mellanox Infiniband FDR x 2
HDD : HP 500GB 7.2krpm SC 2.5型 6G SATA ハードディスクドライブ
OS : CentOS 7.7

コメント

CentOS 8 と kernel crash

2019年10月15日 01時20分59秒 | Weblog
CentOS 8 にしてみたのですが、kernel crash が出まくっています。。。

fujisawa pts/0 172.24.128.50 Wed Oct 2 01:21 still logged in
reboot system boot 4.18.0-80.7.1.el Wed Oct 2 01:20 still running
fujisawa pts/0 172.24.128.48 Wed Oct 2 01:18 - crash (00:01)
fujisawa pts/0 172.24.128.48 Tue Oct 1 16:04 - 16:04 (00:00)
reboot system boot 4.18.0-80.7.1.el Tue Oct 1 08:26 still running
fujisawa pts/0 172.24.128.48 Tue Oct 1 08:22 - crash (00:04)
reboot system boot 4.18.0-80.7.1.el Tue Oct 1 08:22 still running
reboot system boot 4.18.0-80.7.1.el Tue Oct 1 00:15 still running
fujisawa pts/1 172.24.128.50 Mon Sep 30 23:49 - crash (00:26)
fujisawa pts/0 172.24.128.48 Mon Sep 30 23:48 - crash (00:27)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 23:43 still running
fujisawa pts/0 172.24.128.50 Mon Sep 30 23:41 - crash (00:02)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 23:40 still running
fujisawa pts/0 172.24.128.48 Mon Sep 30 23:39 - crash (00:01)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 23:38 still running
fujisawa pts/0 172.24.128.50 Mon Sep 30 23:36 - crash (00:01)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 23:35 still running
fujisawa pts/0 172.24.128.48 Mon Sep 30 23:34 - 23:34 (00:00)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 23:34 - 23:34 (00:00)
fujisawa pts/1 172.24.128.50 Mon Sep 30 23:33 - crash (00:01)
fujisawa pts/0 172.24.128.48 Mon Sep 30 23:32 - crash (00:01)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 23:32 - 23:34 (00:02)
fujisawa pts/1 172.24.128.50 Mon Sep 30 23:29 - crash (00:02)
fujisawa pts/0 172.24.128.48 Mon Sep 30 23:28 - crash (00:03)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 23:28 - 23:34 (00:06)
fujisawa pts/0 172.24.128.50 Mon Sep 30 23:27 - crash (00:01)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 23:26 - 23:34 (00:08)
fujisawa pts/0 172.24.128.50 Mon Sep 30 23:25 - crash (00:01)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 22:52 - 23:34 (00:42)
fujisawa pts/1 172.24.128.48 Mon Sep 30 22:37 - 22:52 (00:14)
fujisawa pts/0 172.24.128.50 Mon Sep 30 22:34 - 22:52 (00:17)
reboot system boot 4.18.0-80.7.1.el Mon Sep 30 22:33 - 22:52 (00:18)
fujisawa pts/0 172.24.128.48 Mon Sep 30 22:26 - crash (00:07)
fujisawa pts/2 172.24.128.50 Mon Sep 30 22:07 - crash (00:26)
fujisawa pts/0 172.24.128.48 Mon Sep 30 22:04 - 22:26 (00:22)
コメント

CEATEC 2019 開催概要

2019年10月14日 00時46分48秒 | Weblog
CEATEC 2019 開催概要

名称 CEATEC 2019(シーテック 2019)
( Combined Exhibition of Advanced Technologies)

開催趣旨 あらゆる産業・業種による「CPS/IoT」と「共創」をテーマとしたビジネス創出のための、人と技術・情報が一堂に会する場とし、経済発展と社会的課題の解決を両立する「超スマート社会(Society 5.0)」の実現を目指す。

開催テーマ つながる社会、共創する未来
会期 2019年10月15日(火)~18日(金) 午前10時~午後5時
会場 幕張メッセ 千葉市美浜区中瀬2-1
入場 無料(全来場者登録入場制)
※入場にはオンラインでの登録が必要です。

主催 CEATEC 実施協議会
 一般社団法人電子情報技術産業協会(JEITA)
 一般社団法人情報通信ネットワーク産業協会(CIAJ)
 一般社団法人コンピュータソフトウェア協会(CSAJ)

後援 総務省、外務省、厚生労働省、経済産業省、国土交通省
(以上予定、建制順)
金融庁
独立行政法人日本貿易振興機構(ジェトロ)
国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)
国立研究開発法人産業技術総合研究所(AIST)
国立研究開発法人情報通信研究機構(NICT)
独立行政法人情報処理推進機構(IPA)
独立行政法人中小企業基盤整備機構
日本政府観光局(JNTO)
千葉県/千葉市
NHK/一般社団法人日本民間放送連盟
一般社団法人日本経済団体連合会/日本商工会議所/東京商工会議所/千葉商工会議所
米国大使館 商務部/駐日欧州連合 代表部/駐日英国大使館
フランス大使館 貿易投資庁-ビジネスフランス/ドイツ大使館/在日スイス大使館
(以上予定、順不同)
コメント

NTT R&Dフォーラム2019

2019年10月13日 20時55分01秒 | Weblog
NTT R&Dフォーラム2019

開催概要
開催日 2019年11月14日(木)・15日(金) 10:00~17:00
会場 NTT武蔵野研究開発センタ
テーマ What's IOWN? - Change the World
主催 日本電信電話株式会社
コメント

ABCI Users Guide

2019年10月12日 00時21分46秒 | Weblog
ABCI Users Guide

このガイドは、国立研究開発法人 産業技術総合研究所が運営するクラウド型計算システム「AI橋渡しクラウド(AI Bridging Cloud Infrastructure、以下「ABCI」という)」の利用方法について説明した資料です。 システムを利用する方は、ご一読ください。

利用手引き:
1. ABCIシステムの概要
2. ABCIシステム利用環境
3. ジョブ実行環境
4. ストレージ
5. Environment Modulesの利用
6. Pythonの利用
7. GPUの利用
8. MPIの利用
9. Linuxコンテナ
10. プログラム開発環境
付録1. インストール済みソフトウェアの構成
付録2. HPCIによるABCIシステム利用
各種アプリケーション:
概要
TensorFlow
Chainer
その他
Tips:
リモートデスクトップの利用
AWS CLIの利用
GCC 7.3.0の利用
Tera Termの利用
PuTTYの利用
Jupyter Notebookの利用
NVIDIA GPU Cloud (NGC)
FAQ
既知の問題
システム更新履歴
運転状況
コメント

Chainer 6.4.0 と imagenet

2019年10月11日 00時34分04秒 | Weblog
◯ Chainer 6.4.0 + CuPy 6.4.0 + CUDA 10.1 + cuDnn 7.6.4 + python 3.7.4 の組み合わせで実験を行いました。

◯ GeForce RTX 2080 Ti : FP32
$ time python ../imagenet/train_imagenet.py -a alex -g 0 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.42715 0.271656 0.01
9 2000 2.03122 0.507187 0.01
13 3000 1.3352 0.649344 0.01
18 4000 0.878985 0.756594 0.01
23 5000 0.603675 0.828281 0.01
27 6000 0.436725 0.876031 0.01
32 7000 0.329613 0.90325 0.01
37 8000 0.2427 0.932156 0.01
41 9000 0.208243 0.939969 0.01
46 10000 0.184676 0.947812 0.01

real 5m14.220s
user 44m41.283s
sys 1m25.449s

◯ GeForce RTX 2080 Ti : FP16
$ time python ../imagenet/train_imagenet.py -a alex_fp16 -g 0 -E 50 train.txt test.txt
epoch iteration main/loss validation/main/loss main/accuracy validation/main/accuracy lr
4 1000 3.346 0.27275 0.01
9 2000 2.019 0.50725 0.01
13 3000 1.31 0.6385 0.01
18 4000 0.871 0.78 0.01
23 5000 0.6115 0.8655 0.01
27 6000 0.43325 0.919 0.01
32 7000 0.3295 0.9535 0.01
37 8000 0.2625 0.97 0.01
41 9000 0.229375 0.9795 0.01
46 10000 0.19025 0.9815 0.01

real 4m41.533s
user 43m10.597s
sys 1m12.847s

◯計算サーバ
CPU : Intel(R) Core(TM) i9-7940X CPU @ 3.10GHz x 1
Memory:128GB
GPU : GeForce RTX 2080 Ti x 2
OS : Ubuntu 18.04
コメント