DataDirect Networks Japan Subsidiary, 06/12/05

[07/05/23]
DataDirect Networks (DDN) & IBM: New System Storage DCS9550, 2007-05-23
-----
2007 OpenFabrics Sonoma Workshopプレゼン資料公開, 2007-05-23
　"Adventures Installing Infiniband Storage",
　　Randy Kreiser, Chief Architect, Data Direct Networks
==========
[07/03/01]
"DataDirect Networks Opens Japan Subsidiary to Support Domestic Growth and Asia Pacific Expansion", December 5, 2006
　http://www.datadirectnet.com/pr_20061205.html
　"DataDirect Networks Inc., the storage performance and capacity leader, announced today that
　 the company has opened a fully-owned subsidiary in Japan, DataDirect Networks Japan."

DataDirect Networks Inc.
　http://www.datadirectnet.com/

DataDirect Networksの特徴は：
"DataDirect Networks Leads as Top Supplier of High Performance Storage to the World's Fastest Supercomputing Clusters,
　DataDirect's S2A storage enables 7 of the top 10 fastest clusters in the world", December 7, 2006
　http://www.datadirectnet.com/pr_20061207.html
　"DataDirect Networks'successes include powering 52% of the processors in the top 100 clusters
　 in major installations like Lawrence Livermore National Laboratories (LLNL), Sandia National Laboratories,"
　 以下著名な HPCサイトが続きます。
　"DataDirect Networks supports 35 of the top 100 supercomputing clusters around the world including
　 the fastest in the world (LLNL, USA)."


Data Direct Networksの解り易いプレゼンテーション資料がありました：
"High Performance Storage Solutions from Data Direct Networks",
　Toine Beckers, Data Direct Networks
　http://www.cse.clrc.ac.uk/disco/mew17/talks/Beckers_DDN_MEW17.pdf
17th Machine Evaluation Workshop,
　5th & 6th December 2006 - CCLRC Daresbury Laboratory
　http://www.cse.clrc.ac.uk/disco/mew17/programme2006.html


Top10サイトの 7サイトで採用されている、その強みは独自 RAIDコントローラ技術による Simple is Fastだと
思います (残り 3サイトは No. 3, 5, 9です)。

何が独自かと言うと、キャッシュメモリーの位置です。
　ホスト ⇔ ホストインタフェース ⇔ XOR エンジン ⇔ キャッシュメモリ ⇔ ディスクインタフェース ⇔ ディスク
と、XORエンジンのすぐ後ろ (ホストからみて)、かつデータの流れが一直線に構成されています。

書き込みの場合：
ホストからのデータは、ホストインタフェースでコマンドとデータに分離 (ハードウェア)
コマンドはホストインタフェースから System Management CPUに転送
この CPUはディスクインタフェースにも接続
↓
データ：64bit単位で、XOR エンジンでリアルタイムに XOR演算 (64+8, 16：RAID3、または RAID3のダブルパリティ)
キャッシュメモリに転送。
↓
キャッシュメモリ：Dual-Port構成
XORエンジンからの入力とディスクインタフェースへの出力に同時対応 (一種のバッファ)
↓
ディスクインタフェース：8個(データ: 64bit=8bitx8)＋1または 2個 (パリティ: 8bit, 8bitx2)
8bit単位でキャッシュメモリに並列接続
ディスクインタフェースで、データとコマンドを統合してディスクへのキューを生成
ディスクへの接続：速度を確保するためにストライピング構成 (DataDirectの用語では Tire)
　現時点での最大構成は、112Tier (112ディスク/ディスクコントローラ)
最適なディスクへの書き込み順序と各ディスクのディスクコントローラのキューを活かすキューを生成
※最適キューの生成は、かなりのノウハウが要求されるはず
↓
※ここまではリアルタイム
↓
ディスクへの書き込

ホストとの接続：
　ホストインタフェース×4のコントローラ 2台の Couplet構成 (1台も可能)。
　　Couplet：Fail-overに対応
　ホストインタフェース：4G FC、Infiniband x 4(10Gb)
最大接続可能ディスク：1120台 (112Tire)
　データディスク：最大 896台 (1TB SATAを使用した場合、2ラックで 896TB！)

文字だと解りにくいのですが、横方向の RAIDに、縦方向のストライピングです。
ディスクは縦に繋がっているので、ディスクの増設は横方向の RAID単位ではなく、縦単位となります。
当然、横方向も揃える必要があります。


4Gb FC×8 (3.2GB/s peek) に対して
　最大 2.4 - 2.8GB/s (Sustained Throughput)
とかなり良い性能です。
RAID再構築時のペナルティも少ないようです。


この RAIDコントローラは米国特許取得済みです：
"Data Management Architecture",
　United States Patent 7127668,
　Filing Date: 2001-06-14, Publication Date: 2006-10-24,
　Assignee: Datadirect Networks, Inc. (Chatsworth, CA)
特許文章としては珍しく、非常に解りやすいです。DataDirectの Whitepaperと共に読むことをお勧めします。


ただし全てのデータに対して万能ではなく、HPCやメディア系の 1データが比較的大きなものを得意としています。
DataDirectもその点は十分強調しています。

DataDirectの一番の強みは、実績 (場数) によるノウハウでしょう。
一癖も二癖もある厳しいサイトで鍛えられているので、HPC系の相当なノウハウが蓄積されているはずです。
Cray Storage Solutionsにも選ばれています。XT3, 4での Luster構築用としてはかなり良いと思います。

NAS Storage, Cluster NAS Solutionsもあるけど、どんなファイルシステムを採用しているのだろう？
あとでゆっくり調べよう。


景気の良いお話：
"DataDirect Networks Has Record Revenue Year
　53% Growth Rate Driving Surge in Hiring Across the Organization", February 5, 2007
　http://www.datadirectnet.com/pr_20070205.html