Cray XD1とストレージ [06/01/10]

AMD Opteron採用のクラスターとしては異才をはなつ Cray XD1/XT3のストレージ
を調べてみました(長くなったので、XT3は別エントリ－にしました)。

クレイ・ジャパン・インクの製品紹介ページ：
Cray 製品：
　http://www.cray.com/global_pages/products/index.html

Cray XD1スーパーコンピュータの特徴：
　3Uのシャーシに AMD Opteronを最大 12CPUまで搭載可能
　　(CPU(+DDR400 Memory)×2 + RapedArray Processor(1 or 2) + HDD + FPGA)×6
　　SMP(2CPU)×6(ただし NUMAではありません)
　　　RapedArray Processor⇔CPU, FPGA：HyperTransport(3.2GB/s)
　　　RapedArray Processor⇔バックプレーン：2GB/s×2
　独自開発の高速 RapidArrayインターコネクト
　　スイッチファブリック：48GB/s または 96GB/s
　　シャーシ外部ともダイレクト接続が可能(外付けスイッチで FatTreeにも対応)
　HPC向けに独自に拡張した Cray HPC Enhanced Linux, Kernel 2.4.21ベース
　　OS Jitterを最小化するグローバルなプロセス同期
　　　OS Jitterとアプリケーションパフォーマンスについては：
　　　"The Case of the Missing Supercomputer Performance: Achieving
　　　 Optimal Performance on the 8,192 Processors of ASCI Q "
　　　 Darren J. Kerbyson (Los Alamos National Laboratory), et al., SC2003
　　　 http://www.sc-conference.org/sc2003/paperpdfs/pap301.pdf を参照
　　プロセス同期の "独自な拡張" には一抹の不安が・・・
　　　アプリケーションによっては効果が出ない場合もありそうなので、
　　　念のために、この機能の OFFがサポートされていれば良いのですが
　133MHz PCI-X：4スロット(デェアルポート Gigabit Ethenet/FC HBA)
　　各 SMP(CPUモジュール)とは RapidArrayインターコネクトで接続
　　　仮想化 PCIの実現？
　　　リソース管理は？
　アクティブマネジメント機能
　　複数シャーシに対して単一システムビュー(Web/CLI)での管理
　　複数シャーシ間でのパーティショニングに対応している様子です
　　自己回復機能 (セルフヒーリング)
　　　専用プロセッサによる 200種類以上のハードウェア機能のモニタリング
　　　　独立した管理用ネットワーク
　　　　冗長機能："N+1スペア" と障害時のリソース再割り当て
　　ソフトウェアイメージのロールバック機能
　　　OSイメージのバージョン管理が出来そうです
　FPGAオプション
　　Opteron ⇔ RapedArray Processor ⇔ FPGA：HyperTransport(3.2GB/s)
　　Xilinx Virtex II Pro
　　専用ローカルメモリー：8Mbyte/16Mbyte
　　Rocket I/O：隣接する FPGAと 2GB/s または 3GB/sで通信可能
　　　　　　　　　　シャーシ内でのループ接続

と、非常に凝った作りなのでストレージの扱いに興味津々でした。
しかしながら、ストレージについての詳細は上記ホワイトペーパには無く、
Cray Decumentation
　http://docs.cray.com/
にも XD1関係は未だありませんでした(XT3関連は豊富にあります)。


でも、他のサイトで紹介されていた XD1の資料に説明がありました！
Reconfigurable Systems Summer Institute Presentations, July 11-13, 2005
"The Cray XD1 Computer and its Reconfigurable Architecture"
　David Strenski, Cray Inc.
　http://www.ncsa.uiuc.edu/Conferences/RSSI/docs/Stahlberg.ppt
　(XD1については、現時点ではこれが一番詳しいです)
シンプルな構成 (File Systems: Local Disks) では、CPUモジュールごとに
SATA HDD (システムディスク) を接続して、RapidArrayで接続された独立の
6システムとするものです (シャーシ内に 6HDDまで収納可能)。
　もう一つ紹介されているのは (File Systems: SAN)、1CPUモジュールに
FC経由で外部ディスクと接続して NFSサーバとするものです。他のモジュール
には RapidArrayインターコネクト経由で NFSサービスします。比較的手軽で
高速ファイルサーバが実現出来そうですが、ファイルサーバの CPUモジュールに
障害が起きた場合の対応(ファイルサーバの引き継ぎ)が可能か、気になります。

もう一度、アメリカ Cray Inc.の XD1のページをチェックしたら：
　http://www.cray.com/products/xd1/index.html
　"Lustre Global Parallel File System

　 The Lustre parallel file system provides a high-performance, high-availability,
　 object-based storage architecture for the Cray XD1 system and can scale to
　 thousands of nodes. Lustre runs natively across the Cray XD1 RapidArray
　 interconnect, avoiding TCP/IP overheads."
とありました！！
　しかも、"natively across the Cray XD1 RapidArray"！！！
これなら、XD1(FC HBA増設) 2台構成でシャーシごとに Object Storage Server
を稼働させれば、"可用性も" 高まるはずです。
　6Uサイズ
　　演算用 Opteron：2CPU×10
　　Luster Object Storage Server用 Opteron: 2CPU×2(各シャーシ 1)
　　RapidArray高速インターコネクト
　　　外部ファブリック無しで 25シャーシ：300 Opteronまで対応
　　Object Based Storageの採用(スケーラビリティと可用性に利点)
　　サーバベンダーからの専用管理ツールの提供
で、とってもスッキリ！


関連エントリー
　Cray XT3 (ASCI Red Storm) とストレージ [06/01/10], 2006-01-10
　OpenFPGA: Defining Reconfigurable Supercomputing, 2006-01-08


※追加[2006/01/12]
　クレイ・ジャパン・インクで、期間限定：特別割り引きキャンペーンを実施しています：
　期間：2006年 1月10日～2006年 3月31日
　クレイ・ジャパン・インク
　　http://www.cray.com/global_pages/japan01.html
※[06/04/03]
2006年 3月31日にてキャンペーン終了


※[06/02/07]
"Improving application performance on HPC systems with process synchronization",
　Paul Terry(Cray Canada, Inc: OctigaBay ), Amar Shan, and Pentti Huttunen, Cray, Inc.,
　Linux Journal, Volume 2004 , Issue 127(November 2004), 2004.
　http://portal.acm.org/citation.cfm?id=1029018&coll=ACM&dl=ACM&CFID=67789273&CFTOKEN=87222151
　"When we set about developing the Cray XD1 system, we joined the ranks of researchers
　 attacking this problem. This article describes how we learned from those who went
　 before us and how we built on that knowledge to develop a new Linux scheduling-based
　 solution that promises to improve real application performance significantly on
　 Linux HPC systems."
　HPC向けに独自にグローバルなプロセス同期を拡張した Cray HPC Enhanced Linux Kernelの解説

"High Performance Linear Algebra Operations on Reconfigurable Systems",
　Ling Zhuo and Viktor K. Prasanna, University of Southern California,
　Conference on High Performance Networking and Computing (SC05), 2005.
　http://portal.acm.org/citation.cfm?id=1105767&coll=ACM&dl=ACM&CFID=67789273&CFTOKEN=87222151&CFID=67789273&CFTOKEN=87222151
　"In this paper, we propose a BLAS (Basic Linear Algebra Subprograms) library for
　 state-of-the-art reconfigurable systems. We study three data-intensive operations:
　 dot product, matrix-vector multiply and dense matrix multiply."
　"To illustrate our ideas, we have implemented our designs for Level 2 and Level 3 BLAS
　 on Cray XD1."
　Cray XD1搭載 FPGAへの、BLAS (Basic Linear Algebra Subprograms)ライブラリへの実装

"Partitioning Hardware and Software for Reconfigurable Supercomputing Applications: A Case Study",
　Justin L. Tripp(Los Alamos National Laboratory) et al.,
　Conference on High Performance Networking and Computing (SC05), 2005.
　http://portal.acm.org/citation.cfm?id=1105791&coll=ACM&dl=ACM&CFID=67789273&CFTOKEN=87222151
　"Often reconfigurable systems are reported to have 10× to 100× speedup over that of
　 a software system. However, the reconfigurable hardware must usually be combined
　 with software to form an entire system. This system integration presents a hardware/software
　 co-design problem with many system engineering issues. Here, we present traffic
　 acceleration on the Cray XD1 supercomputer and describe the costs involved in different
　 hardware/software trade-offs."
　Cray XD1搭載 FPGAの Roadway Trafic Simulationへの応用


※[06/02/12]
"Reconfigurable Computing in Real-World Applications"
　Steve Margerm, Senior Hardware Designer, Cray, Inc.,
　FPGA and Structured ASIC Journal, February 7, 2006.
　http://www.fpgajournal.com/articles_2006/20060207_cray.htm
　Cray XD1搭載 FPGAへの Smith-Waterman (FASTA ssearch34) インプリメンテーションの解説


※[06/02/24]
XD1 Research at the University of Florida
　http://docs.hcs.ufl.edu/xd1
　"Performance Evaluation of the Cray Bioscience Applications Package on the XD1",
　　Michael Yim, Adam Jacobs, and Alan D. George, Whiete Papere, 2/16/06.

ORNL Cray XD1 Evaluation
　http://www.csm.ornl.gov/%7Edunigan/xd1/
"Why RDMA?",
　RDMA performance on XD1, Dennis Dalessandro, The Ohio Supercomputer Center
　http://www.osc.edu/~dennis/rdma/rdma.html


※[06/02/28]
"Comparative Study of Cray XD1 and PathScale InfiniPath clusters"
　Igor N. Kozin, et al., Computational Science and Engineering Department,
　Council for the Central Laboratory of the Research Councils (CCLRC), UK, 19 January 2006.
　http://www.cse.clrc.ac.uk/disco/index.shtml