今週の興味深かった話題（2020年第08週）

英気象庁が新HPC導入を発表

UK Announces £1.2 Billion Weather and Climate Supercomputer - HPCwire

　2022年に退役するCray XC40 3台を置き換えるHPCを導入する計画だそうで、現行の6倍の性能を見込んでいる。
　…と、ここまでは特筆すべき内容ではないが、記事後半にはCray製のMarvell ThunderX2ベースのHPC「Isambard 2」にCray製の富士通A64FXベースのノードを追加するという英政府の発表について記載されている。
　ちなみに同一の記事に記載されているため関連記事と誤解しそうだが、英気象庁の案件は現在RFP（Request for Proposal）段階でベンダーやシステムは選定されておらず、さらに少なくとも開発の50%は英国で行うことが要求されていることからHPE/Crayや富士通が対象になるとは考え難い（とはいえ、英国にHPCベンダーなど無く、欧州では仏Atos/Bullがほぼ唯一のベンダーのはずであるが…）。

　これまで、Cray製A64FXベースCS500システムは富士通製FX700ベース（1Uラック）ではと推測さてきたが、記事中にはSC19で展示されていたというA64FXベースのCS500ブレードが掲載されており、1Uラックではなくブレードであることが見て取れる。
　ブレード後方（写真左側）の巨大な2個の銅製ヒートシンクがA64FXでブレード前方（写真右側）にPCIe x16が2スロットとM.2 SSD二基が見える（少なくとも計PCIe 40レーン。Ethernetと思しきコネクターも2個見えるため管理用BMCもあるのかもしれない）が、A64FXは各PCIe 16レーン（2ソケットで計32レーン）しかないため中間に見える黒いヒートシンクに覆われたチップはPCIe Switchと推測できる。以前から指摘してきたがA64FXは現行のサーバー用CPUとしてはPCIeのレーンが圧倒的に不足している一方で、この構成ではSoCに内蔵されている理研Tofu-Dインターコネクトのロジックは無駄になっており、率直に言って設計ミスと言わざるをえない（本来であればPCI-Express 32-48レーンをSoCに組み込んで、理研にしか需要の無いToFu-DはPCI-Express接続で外付けすべきである）。

独シュトゥットガルト大学Hawk HPC

University of Stuttgart Inaugurates ‘Hawk’ Supercomputer - HPCwire

　独シュトゥットガルト大学が「Hawk」HPCを導入した模様。ベンダーは米HP Enterpriseであるが傘下のCrayではなくHPEのApollo 9000がベースとなっている。Apolloはかつて存在したHPCベンダーであるが現在はSGIなどと共にHPEの1ブランドとなっている。

　記事からのリンクでシュトゥットガルト大High Performance Computing Center（HLRS）の発表記事およびスペックシートが見られるが、44ラック/5,632ノード/720,896コアという構成でGPUのようなアクセラレーターは搭載していないようである。EpycはDDR4 SDRAM 8チャンネルだから90,112 DIMM/1.44 PBということで1チャンネルあたり16 GB DIMMモジュール1個という構成と推測できる（つまりソケットあたり64C/128T+128GB）。

　興味深いのはインターコネクトがMellanox HDR200 InfiniBandで9D-Hypercubeという点だろう。
　最近のHPCではFat-treeやDragonflyが大勢で一部でTorusも見られるが、Hypercubeは久しぶりという感じがする。9D Hypercubeということで、どのように構成しているのか興味深いところである。古典的な方法では各ノードに9基のNICを搭載してノード間を直接相互接続するところであろうが、スイッチがスペックシートに記載されていないため一切使用していないのか興味深いところである。Mellanox ConnectX-6では1コントローラーあたり2ポート/PCIe x32（HDR200 x 2ポートで計400 Gbps必要で、PCIe x32で504 Gbps。x16では帯域が不足する）を占有するため9Dで計144レーンが必要となるが、AMD Epyc 2基/ノードではPCIe 168レーンがサポートされるから一応可能である（というか、PCIe Switchを使う方法を除きAMD Epyc以外では実現できない）が、当然ながらNICの方がSwitchよりもポート単価が高額な上にネットワークトポロジーも複雑になることから、本当に各ノードにNICを9基搭載しているのか興味深いところである。

ネットワーク半導体ビジネス

Ubiquiti UniFi USW-Leaf Overview - ServeTheHome

　元ネットワーク系の組込エンジニアだった筆者は、転職して約8年を経た今でもネットワーク系半導体に興味があるのだが、そのマーケットというのは非常に独特に思える。

　ServeTheHomeに米Ubiquiti製UniFi USW-Leafのレビュー記事が掲載されたのだが、その製品に搭載されていたスイッチASICというのがNephos製「Taurus 1.8T」という珍しいものである。ServeTheHomeも「We have heard of a few other vendors building around this chip such as Lite-On but this is the first time we have seen one in the wild.（我々はLite-Onといった他の幾つかのベンダーがこのチップで開発しているというのは聞いたことがあるが、実際の製品で見たのは今回が初めてである）」と書いている。

　このNephosであるが、謎が多い。ServeTheHomeによると台湾MediaTek子会社の低価格スイッチチップベンダーとあるが、About Usには投資を受けて2016年にMediaTekから独立した旨が記載されているほか、Conract Usを見ると米Californiaや台湾Hsinchu（新竹）より上に中国Hefei（合肥）が記載されており、中文ページでも台湾で見られる繁体字ではなく中国で見られる簡体字で記載されていることから、実質的には中国の会社と見られる。

　中国企業の場合、政府の投資や独自の経済圏もあるため分からないが、一般的にはネットワーク系半導体ビジネスというのはシビアで生き残るベンダーは片手で数えられる程度でしかない。
　インターネットとクラウド全盛の現在においてネットワーク用半導体は必須のように思われ、実際、これまでも常に新規参入のベンチャーが登場してきたのだが、Wikipediaに「List of defunct Network Processor Companies（倒産したネットワークプロセッサーベンダーのリスト）」なんてものが存在するぐらいに倒産・買収による退場の多いマーケットである。

　データセンタークラスのスイッチであればBroadcom・Mellanox（NVIDIA）で、Intelに買収されたBarefoot Networksもどうなるか分からない。その少し下のクラスにMarvell Technologyがくるが、MarvellはCaviumの買収を通じてXpliantを取得しており同社のPrestera CXシリーズがここに食い込んでくる可能性はある（ただしXpliant製品ラインは終息するらしい）。これら計4社にCiscoやJuniperといったネットワーク機器ベンダーが独自開発したASICや、Intel CPUを使ったソフトウェアベースのスイッチを加えたスイッチ群でデータセンターのネットワークは構成されている。
　データセンターほどのパフォーマンス（40GbE～400GbE）が必要とされないマーケット、例えば消費者向け（～10GbE）ではBroadcomやMarvellに加えRealtekあるいはVitesseを買収したMicrosemi/MicroChip製スイッチも見られることだろうが、そもそも一般家庭ではWi-Fiが中心なうえブロードバンドルーターのSoC（Broadcom・Qualcomm・MediaTek製）にはスイッチが内蔵されていることも多く、独立したスイッチASICを見かける機会は少ない。

　逆に言えば、データセンターを構築するには米国企業からAISCやプロセッサーを購入する必要があり、そのため中国ではHuawei/HiSiliconなどがサーバー用CPUを開発したりしている。Nephosは一応は独立企業ということだが、恐らく間接的には中国政府が関係しているのではと想像する。