Industrial Light and Magic, Computing facilities

[06/08/25]
2006/08/23の話と順序が逆になってしまい、少々情報が旧いですが、
"Pixar", Byte and Switch User Profiles, April 13, 2006
　http://www.byteandswitch.com/document.asp?doc_id=92075
　"Storage Networking World -- Hollywood movie maker Pixar, famous for movies such as Toy Story and
　 Finding Nemo, has been wrestling with a massive data challenge during the production of its latest release,
　 Cars, according to Greg Brandeau, Pixar's VP of technology.

　 During his keynote here today, Brandeau explained that Cars, which is slated for a June release, has put
　 more strain on his internal systems than any other movie, swallowing up a colossal 2,300 CPU years over
　 the course of the last five years. In other words, in Brandeau's view, a single CPU would have to run for
　 2,300 years in order to do all the number crunching for this movie."

　"According to Brandeau, it was not the rendering system, which is based on Dell servers, that was causing
　 the slowdown. On closer inspection, an NFS file system feeding data to the Dell boxes was found to be
　 the source of the problem. "Our central file system was getting hammered in a way it had never been
　 hammered before. The NFS caches couldn't go fast enough -- they did not have enough RAM on them.""

　"Like many other users, Brandeau and his team found salvation in a SAN. (See Opinion: Finding God in a SAN.)
　 Pixar eventually opted to replace the NFS with a SAN based on an EMC CX700 box, linked to Dell Linux servers
　 running parallel file system software from startup Ibrix."

Ibrix Inc.
　http://www.ibrix.com/

大切なのはシステムの目的で、確実にそれ満たし、かつユーザが安心して使えるシステムの実現でしょう。

最低限：
　何のためのシステム
　誰のための (誰が使う) システム
　誰が管理・運用するシステム
なのか？

関連エントリー：
　ピクサー展 (06/07/01-08/27), 森アーツセンター, 2006-07-05
-----
[06/08/23]
"A Hollywood Storage Story", Byte and Switch News Analysis, August 21, 2006
　http://www.byteandswitch.com/document.asp?doc_id=101925
　"As anybody who has recently paid $10.75 for a movie ticket knows, Hollywood is a big money industry.

　 While Julia Roberts gets the biggest piece of the pie, a good chunk also goes toward the storage systems
　 needed to process digital images that create those epics."
-----
[06/03/31]
"ILM's state-of-the-art (storage) studio", Computer Graphics World, March, 2006
　http://cgw.pennnet.com/Articles/Article_Display.cfm?Section=ARTCL&ARTICLE_ID=250488&VERSION_NUM=2
　"Industrial Light & Magic uses high-speed NAS servers with a distributed file system,
　 10gb/sec Ethernet, and a 5000-node renderfarm to store and move 170tb of content"

新しい施設 (Presidio) の概略：
　建物：865,000 sq. ft. (80,361平方メートル)
　データセンター：13,500-sq. ft. (12,541平方メートル)

　バックボーン：10Gb Ethernet
　光ファイバー：600 miles (965Km)
　ポート数：10Gb: 300
　　　　　　　1Gb: 1500

　Renderfarm専用プロセッサ 3,000 (AMD)
　　　(日常業務後はレンダーリングに使用される) デスクトップを含めると：5,000
　　AMD社のプレスリリース
　　"Industrial Light & Magic (ILM) Selects Angstrom Microsystems™ As Provider of Next Generation Server Render Farm", April 21, 2004
　　　http://www.amd.com/us-en/Weblets/0,,7832_8366_5730~84919,00.html
　　"AMD64 Is The Force Behind Star Wars: Episode III “Revenge Of The Sith”", August 10, 2004
　　　http://www.amd.com/us-en/Weblets/0,,7832_8366_7595~89153,00.html
　　"Angstrom Announces One of the First 16-core AMD Opteron™ Processor-based Blade Servers: The Titan64 OctaBlade™", April 21, 2005
　　　http://www.amd.com/us-en/Weblets/0,,7832_8366_5730~97101,00.html
　　"AMD Sets The 64-Bit Gold Standard For Industrial Light & Magic And Lucasarts New Presidio Facility", August 1, 2005
　　　http://www.amd.com/us-en/Weblets/0,,7832_8366_7595~100323,00.html
　　日経エレクトロニクス誌でも紹介されていました (ただし、旧システムだと思います)
　　Angstrom Microsystems
　　　http://www.angstrom.com/
　　　Titan64 Superbladeだと、1ラックに 260CPUの Opteronの収容が可能となっています。
　　　CPUが Coreかソケット(Processor)どちらをさしているのか、ちょっと不明ですが・・・


　ストレージ(Renderfarm用)
　　Spinnaker SpinServer NAS (20ヘッド)
　　170TB (既に 90%使用): 3000HDDs (20Stacks)
　　　NASヘッドから Diskへは SAN (Brocadeスイッチ) 経由で用途別
　　　　High-speed production disks
　　　　Slower nearline disks
　　　　 => Off-line to an ADIC Scalar 10k tape library
　　　Spinnaker採用の決め手は "one unified naming space" だったそうです。
　　　Spinnaker社が NetApp社に吸収されたため、次世代の SpinOsと統合された Data ONTAP NGのテスト運用も
　　　している様子です。
　他にカスタムデザインの HD Video専用サーバ
レンダーリングは 1フレーム単位の処理なので、きちんと設計・チューニングをすれば NASでも十分対応可能と思えます。
(ジャンボフレームの採用、TCP-Flavor等、いろいろ興味がわきます)
さすがに、HD Video(600MB/s)では厳しいでしょうが。


さて、空調を含めた電気代はどれ位かかるのでしょうか・・・


Industrial Light & Magic
　http://www.ilm.com/
Lucasfilm Ltd.
　http://www.lucasfilm.com/
　"Letterman Digital Arts Center Preview", June 24, 2005
　　http://www.lucasfilm.com/press/presidiopreview/
　ILMを含めた新しいセンターの紹介です。
　　敷地面積：23エーカー(その内公園：17エーカー)：92,000平方メートル
　　☆東京ドーム：建築面積：46,755平方メートル
　　建物は四階建て、地下駐車場：1.500台
　元の公園環境 (元々は陸軍基地の病院施設) を保全した再開発だそうです。

ちなみに、http://www.ilm.jp/ は Information Lifecycle Managementで EMCジャパンさんのページです。
=====
関連エントリー：
　Computer News/メモ, 06/02/09, 2006-02-09
　　"Sun Microsystems Powers NBCOlympics.com's Coverage of 2006 Torino Winter Olympics", February 6, 2006
　スーパーボールとストレージ [05/02/03：オリジナル], 2006-01-07