2017年3月31日で以下の JST CREST プロジェクトは終了しました。2011年10月1日から5.5年の研究期間となります。
以下の主な研究成果の概要になります。関係者の皆様、大変ありがとうございました。
JST CREST (Core Research for Evolutional Science & Technology)
応募研究領域 : ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出
研究課題名 : ポストペタスケールシステムにおける超大規模グラフ最適化基盤
◯研究課題要旨
大規模災害等は突発的に発生するため事前予測による防災計画だけでなく、動的なデータ収集等とスパコン上での高速計算によって速やかに避難、誘導計画を策定する必要がある。すでに研究代表者らのグループでは首都圏道路網や鉄道網を精密なグラフデータに変換して、超大規模なグラフ処理を用いた避難、誘導計画の策定を進めているが、非常に計算量やデータ量などの規模が大きく従来の手法では処理が困難である。ポストペタスケールスーパーコンピュータ(スパコン)における最重要カーネルのひとつでもある超大規模グラフ処理を実現するためには、理論的性能限界等からボトルネック箇所を特定、数値演算能力とメモリバンド等のトレードオフ関係を把握、計算量とデータ移動量の正確な推定、疎性やサイズなどのデータ特性と性能値の見極め、などが必要とされる。しかし、従来手法では、数千万規模の並列性を備え、ストレージの階層性が深化したポストペタスケールシステム上でのスケーラブルな実行は困難であり、アルゴリズム、システムソフトウェアと同時並行的な解決が求められている。我々は、これらの問題に対応した超大規模グラフ最適化システムを提案する。本システムは、大規模グラフデータに対するリアルタイムストリーミング処理、計算量とデータ移動量を考慮したグラフ最適化アルゴリズム、ストレージの階層性を考慮した大規模グラフデータストア、超大規模グラフのリアルタイム可視化など従来のスパコンでは実現されてこなかった新しい問題を解決する。これらのシステムは TSUBAME2.0のようなペタスケールスパコン上で構築と評価を行い、今後、出現が想定されるポストペタスケールスパコンのアーキテクチャ上での実行に適したソフトウェア基盤を構築し、エクサスケールスーパーコンピューティングへの方向性づくりに大いに貢献する。
◯研究組織
◇研究代表者
藤澤克樹(九州大学)
◇研究グループ
1: 超大規模データを伴う最適化問題に対する高速計算システムの構築と評価 (グループリーダ : 藤澤克樹 (九州大学))
ー グラフ探索(最短路、幅優先探索、重要性計算)、数理計画問題(半正定値計画問題:SDP, 混合整数計画問題 MIP or MINLP 等)
2: リアルタイム大規模グラフストリーム処理系及びグラフ最適化ライブラリの開発 (グループリーダ : 鈴村豊太郎 (バルセロナスーパーコンピュータセンター))
3: 大規模グラフ処理向けオンデマンド階層型データストアの開発 (グループリーダ : 佐藤仁 (東京工業大学))
以下の主な研究成果の概要になります。関係者の皆様、大変ありがとうございました。
JST CREST (Core Research for Evolutional Science & Technology)
応募研究領域 : ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出
研究課題名 : ポストペタスケールシステムにおける超大規模グラフ最適化基盤
◯研究課題要旨
大規模災害等は突発的に発生するため事前予測による防災計画だけでなく、動的なデータ収集等とスパコン上での高速計算によって速やかに避難、誘導計画を策定する必要がある。すでに研究代表者らのグループでは首都圏道路網や鉄道網を精密なグラフデータに変換して、超大規模なグラフ処理を用いた避難、誘導計画の策定を進めているが、非常に計算量やデータ量などの規模が大きく従来の手法では処理が困難である。ポストペタスケールスーパーコンピュータ(スパコン)における最重要カーネルのひとつでもある超大規模グラフ処理を実現するためには、理論的性能限界等からボトルネック箇所を特定、数値演算能力とメモリバンド等のトレードオフ関係を把握、計算量とデータ移動量の正確な推定、疎性やサイズなどのデータ特性と性能値の見極め、などが必要とされる。しかし、従来手法では、数千万規模の並列性を備え、ストレージの階層性が深化したポストペタスケールシステム上でのスケーラブルな実行は困難であり、アルゴリズム、システムソフトウェアと同時並行的な解決が求められている。我々は、これらの問題に対応した超大規模グラフ最適化システムを提案する。本システムは、大規模グラフデータに対するリアルタイムストリーミング処理、計算量とデータ移動量を考慮したグラフ最適化アルゴリズム、ストレージの階層性を考慮した大規模グラフデータストア、超大規模グラフのリアルタイム可視化など従来のスパコンでは実現されてこなかった新しい問題を解決する。これらのシステムは TSUBAME2.0のようなペタスケールスパコン上で構築と評価を行い、今後、出現が想定されるポストペタスケールスパコンのアーキテクチャ上での実行に適したソフトウェア基盤を構築し、エクサスケールスーパーコンピューティングへの方向性づくりに大いに貢献する。
◯研究組織
◇研究代表者
藤澤克樹(九州大学)
◇研究グループ
1: 超大規模データを伴う最適化問題に対する高速計算システムの構築と評価 (グループリーダ : 藤澤克樹 (九州大学))
ー グラフ探索(最短路、幅優先探索、重要性計算)、数理計画問題(半正定値計画問題:SDP, 混合整数計画問題 MIP or MINLP 等)
2: リアルタイム大規模グラフストリーム処理系及びグラフ最適化ライブラリの開発 (グループリーダ : 鈴村豊太郎 (バルセロナスーパーコンピュータセンター))
3: 大規模グラフ処理向けオンデマンド階層型データストアの開発 (グループリーダ : 佐藤仁 (東京工業大学))