IEEE 802.3an:10GBase-T規格承認, 06/06/08 (消費電力考)

[07/03/21]
10GBase-Tの気になる記事, 07/03/19, Byte and Switch, 2007-03-21
==========
[06/07/27]
"Copper cabling systems address 10 Gbits/s standards", eeProductCenter, 07/26/2006
　http://www.eeproductcenter.com/showArticle.jhtml?articleID=191203717
　"Siemon offers Category 7 TERA and 10 G 6A F/UTP end-to-end 10 Gbits/s copper cabling systems
　 with integrated grounding features to meet the new TIA standards for 10 Gbits/s copper network cabling."

ザ・シーモン・カンパニー
　10G 6A システム
　　http://www.siemon.co.jp/products/system/_cat6a_system.html
　2006 Siemon Emerging Technologyセミナ－(6/13) 関連資料
　　http://www.siemon.co.jp/release/20060616.html
-----
[06/06/23]
"RDMA TCP/IP: Coming Soon to a Network Near You", Enterprise Storageforum, June 15, 2006
　http://www.enterprisestorageforum.com/technology/features/article.php/3613711
-----
[06/06/17]
IEEE P802.3an (10GBASE-T) Task Force
　http://www.ieee802.org/3/an/index.html
　"On June 8, 2006, the IEEE Standards Association (IEEE-SA) Standards Board approved IEEE P802.3an.", Last Update: 13 June 2006

"10GBASE-T Achieves Standards Ratification", Ethernet Alliance, June 13, 2006
　http://www.ethernetalliance.org/news_events/press_release/press_061306
　Ethernet Alliance: White Papers
　　http://www.ethernetalliance.org/news_events/white_papers/
　　"Moving 10 Gigabit Ethernet into a Volume Platform", February 2006
　Ethernet Alliance: Presentations
　　http://www.ethernetalliance.org/news_events/presentations/
　　"DesignCon 2006: An Overview of 10GBaseT", February 8, 2006


メタル心線の UTP/RJ-45コネクタ採用のはずですが、フルスペック(100m)にはシールドケーブルが必要となります
　"Interop Tokyo 2005 - IEEE802委員会のホットトピックス", MYCOMジャーナル, 2005/6/14
　　http://journal.mycom.co.jp/articles/2005/06/14/interop1/
　　有線編(1) - 10GBASE-T
　　　Cat 6: 55m
　　　　Unshielded Twisted Pairケーブル
　　　Augmented Cat 6: 100m
　　　　Foileシールド(全体を箔によりシールド)：STP (Shielded Twisted Pair) ケーブル
　　　Cat 7: 100m
　　　　各対ごとの箔シールド ＋ ケーブル全体を編組線シールド：STP (Shielded Twisted Pair) ケーブル
　　10GBASE-Tに対応する LANケーブルの比較表の拡大図があります。

非常に気になるのが、
　"また10GBASE-Tで大きな問題になっているのが「消費電力」。現在の1000BASE-Tのポートあたりの消費電力が
　 だいたい1W未満なのに対し、 10GBASE-Tでは現段階での予想がポートあたり8～12Wにも達するため、特に発熱量
　 の面などから「消費電力をせめて5W未満に抑えたい」との意見が多いという。ただこの問題は既に昨年の前半あたり
　 から表面化していたが、瀬戸氏の報告を聞く限りは1年経った現在でも大きな進展は見られず、問題解決が難しい様子
　 がうかがえる。"
です。
"10GBase-TやIEEE802.11nなど次世代標準規格の最新動向を解説", INTERNET Watch, 2004/07/05
　http://internet.watch.impress.co.jp/cda/event/2004/07/05/3771.html
　では、10GBase-Tの消費電力: 8～12W程度に対して、同じメタル心線の 10GBase-CX4は 2W未満と報告されています。

10GBase-CX4は 8対のシールドケーブル少々太く、コネクタも 2.5cm程の幅をとります。ただし 15m迄です。
InfiniBand 4X(10Gbps:SDR/20Gbps:DDR)のメタルケーブルとほとんど同じですが、規格上では違いがあるそうです。


消費電力差が気になり調べたところ、CMOS Photonics研究開発メーカの Luxtera社の White Paperに比較表がありました
Luxtera: White Paper
　http://www.luxtera.com/technology_wp.htm
　"Fiber will displace copper sooner than you think", November 2005
　　(Luxtera社は既存メタルケーブルに対抗しているベンチャー企業です：一応それを考慮して・・・
　　 HPCSでは Sun Microsystems社と協力しています)

　　電送距離
　　　1000Base-SR (MMF: Multi Mode Fiber): 300m / LR (SMF: Single Mode Fiber): 10,000m
　　　1000Base-CX4: 15m
　　　1000Base-T: 1000m (Augmented Cat 6/Cat 7) / 55m (Cat 6)
　　消費電力
　　　1000Base-SR: 2-4W
　　　1000Base-CX4: 2W
　　　1000Base-T: 10W以上
　　Latency (transciver)
　　　1000Base-SR: 10ns以下
　　　1000Base-CX4: 10ns以下
　　　1000Base-T: 1-3µs (規格では 2.5µs: maximum)

消費電力以上に驚いたのが、Latency (transciver)です！
transciverレベルでこれだけ差があると、MPI等での実際の Latencyに影響がありそうな気がします。
消費電力が大きいのは TCP Offload Engine (TOE)が複雑なのかもしれません。


10GBase-Tの NICは未だ出荷されていませんが、Myricom社に CX4/SRのケーブルを含めた価格あります：
Myri-10G: 10-Gigabit Ethernet Solutions
　http://www.myricom.com/Myri-10G/10gbe_solutions.html
　Dual-protocol network ports: 10-Gigabit Ethernet and 10-Gigabit Myrinet
　PCI-Express x8 (8-lane) host port: a 2+2 GByte/s full-duplex
　　10GBase-CX4: $795 + 10G-CX4-10M Cable: $230
　　10GBase-SR: $895 + 10G-XFP-SR: $500 + MMF Cable-10M: $90
　　10GBase-T: 未発表 + CAT 6-10M: 2,000円以下

ケーブルに関しては、1000Base-Tが圧倒的に安いでしょうが、10Gb Ethernetを導入する場合は良く考える必要があります。
RJ-45ですから、既存の CX4用スイッチよりもポート数はかせげるでしょうが、その分、熱対策がきちんとされていないと信頼性
の問題になります。Latencyも気になります。


10GBase-CX4/SR NIC, InfiniBand, Fibre Channel (参考) パーツの消費電力を調べてみました：
10GBase-CX4/SR NIC:
　Myricom: Myri-10G PCI-Express NIC with a 10GBase-CX4 port, PCIe x 8
　　http://www.myricom.com/Myri-10G/NIC/10G-PCIE-8A-C.html
　　　Power Consumption: 8.3W (maximum)
　Myricom: Myri-10G PCI-Express NIC with a 10GBase-R port, PCIe x 8
　　http://www.myricom.com/Myri-10G/NIC/10G-PCIE-8A-R.html
　　　Power Consumption: 10W (maximum, XFP込み)
　Chelsio: T210-CX 10GbE Protocol Engine, PCI-X 1.0a (133MHz), 10GBase-CX4
　　http://www.chelsio.com/products/T210-CX.php
　　　Power Consumption: 16W (typical)
　Chelsio: T210 10GbE Protocol Engine, PCI-X 1.0a (133MHz), 10GBase-SR
　　http://www.chelsio.com/products/T210.php
　　　Power Consumption: 17W (typical)
　Neterion: Xframe® E, PCIe x 4, 10GBase-SR
　　http://www.neterion.com/products/xframeE.html
　　　Power Consumption: 12W (typical)
　Neterion: Xframe® II, PCI-X 2.0 (266 MHz; 133 MHz DDR), 10GBase-SR
　　http://www.neterion.com/products/xframe2.html
　　　Power Consumption: 15W (typical)

InfiniBand HCA:
　Mellanox: InfiniHost™ III Lx(MHGS18-XTC), PCIe x 8, 4X: 20Gb/s (DDR), メタル
　　http://www.mellanox.com/products/infinihost_iii_lx_cards.php
　　　Power Consumption: 4W (typical)
　Mellanox: InfiniHost™ III Lx(MHES14-XTC), PCIe x 4, 4X: 10Gb/s (SDR), メタル
　　http://www.mellanox.com/products/infinihost_iii_lx_cards_mhes14.php
　　　Power Consumption: 3.3W (typical)
　　　　PathScale: InfiniBand Adapters for PCI Express, 2006-03-07
　　　　低価格 HCA：10,000ユニットで $125(OEM)、5,000ユニットだと $150(OEM)。
　QLogic: PathScale InfiniPath HTX, HTX Slot, 4X: 10Gb/s (SDR), メタル
　　http://www.pathscale.com/infinipath.php
　　　Power Consumption: 5W (typical)
　QLogic: PathScale InfiniPath QLE6140, PCIe x 8, 4X: 10Gb/s (SDR), メタル
　　　Power Consumption: 5W (typical)
　SilverStorm: HCA 9000, PCIe x 8, 4X: 20Gb/s (DDR), メタル
　　http://www.silverstorm.com/products/hca.asp
　　　Power Consumption: 14W (maximum)/10W (typical)

Fibre Channle HBA (10Gbpsが未だ規格化されていないので、Dual 4-Gbps FC)
　QLogic: QLE2462, PCIe x 4, Dual 4-Gbps FC, SFF Multimode with LC
　　http://support.qlogic.com/support/product_resources.asp?id=935
　　　Power Consumption: 6.5W (maximum)


スイッチ：
　"フォーステン、InfiniBand並みの低遅延を実現した10GbEスイッチ", Enterprise Watch, 2006/05/24
　　http://enterprise.watch.impress.co.jp/cda/network/2006/05/24/7882.html
　Force10: Sシリーズ S2410 データセンター スイッチ
　　http://www.force10networks.co.jp/products/s2410.html
　　　24 ポートのラインレート 10 GbE
　　　　S2410C: 10GBase-CX4 ポート×20 + 10 GbE プラガブル XFP/CX4 インターフェイス× 4
　　　　S2410P: 10 GbE XFP ポート× 24)
　　　フルロード下で 300 ナノ秒のスイッチング レイテンシ
　　　スイッチング ファブリック キャパシティ: 480 Gbps
　　　1RU フォームファクタ
　　　最大消費電力：
　　　　100W: S2410C
　　　　150W: S2410P

　Voltaire: Grid Switch ISR 9024
　　　24 ports: 4X: 20Gb/s (DDR) or 4X: 10Gb/s (SDR)
　　　Ultra-low latency: under 140 nanoseconds
　　　Available bandwidth of up to 960 Gbps (4X: 20Gb/s (DDR) x 24)/480 Gbps (4X: 10Gb/s (SDR) x 24)
　　　1RU フォームファクタで 24ポート
　　　最大消費電力：
　　　　70W: 480Gbpsモデル
　　　　96W: 960Gbpsモデル

　Brocade: SilkWorm 4100 Fibre Channel switch (参考)
　　http://www.brocadejapan.com/products/switches/silkworm_4100.php
　　　4Gbps-FC: 最大 32ポート(SFP: 光ファイバ)
　　　最高 256Gbpsの合計スループット
　　　1RU フォームファクタ
　　　消費電力：
　　　　120W (maximum)
　　　　 80W (typical)


大規模 HPCクラスタの構築の際には、トータルでの消費電力も考慮すべきですね。
やはり、TCP/IP処理の負荷が高いのでしょうか・・・



パフォーマンス関係の参考サイト：
Network-Based Computing Laboratory, Computer Science and Engineering Department, The Ohio State University
　http://nowlab.cse.ohio-state.edu/

Chelsio Communication: Performance Benchmarking
　http://www.chelsio.com/products/benchmarks.php
Mellanox Technologies: InfiniBand White Papers
　http://www.mellanox.com/support/whitepapers.php
Voltaire: White Papers
　http://www.voltaire.com/whitepapers.htm

"Cluster Interconnects: The Whole Shebang", ClusterMonkey, 19 April 2006, Last Updated ( Friday, 05 May 2006 )
　http://www.clustermonkey.net//content/view/124/34/

InfiniBand® Trade Association
　http://www.infinibandta.org/home

関連エントリー：
OpenFabrics Enterprise Distribution 1.0, 6/16/06, 2006-06-21