第5回Hadoop座談会の感想

Hadoop座談会（第5回）に参加してきました。ありがとうございました。
Togetter： 2011/06/29_Hadoop～座談会(第5回） #hadoopmodeling
johtaniさんのブログ・torazukaさんのブログ（虎塚）・落合さんのブログ・gggggoroさんのブログ

今回はなんと参加者300人近くということで、原宿の会場。奥行きが深い構造で、ぎっしり人が入っていて、びっくりした。この広さでプロジェクター2つというのは、少々厳しかったのではないかという気もする＾＾；
今回は他の人のブログとかが充実しているので、自分は軽く感想をまとめるだけにしておきまする。（つーかプロジェクターが見えづらかったので、あまりメモできてない(汗) 下手に頭を動かすと、後ろの人の迷惑になるだろうし…）

話の題材は、鉄道会社と電力会社。
どちらもよく知られた社会インフラで、システムが稼動したら耐用年数が長い（10年以上）。事前検証なんかも数年かける。
自分が携わってきたのとは結構違うなぁ。

---

鉄道の方では運行に関する（舞台裏の）話が面白かった。山手線や新幹線って、線路脇に信号無いんだ。ほほー。

Hadoopの話は直接は出てこなかったけれど、分散技術が使えそうなものとして、可用性（連続稼動）とバッチ処理の高速化が挙げられていた。
連続稼動って、フォールトトレランス（FT）やActive-Activeといった冗長構成の関連らしい。Hadoopも、スレーブノードが一部壊れても自動的にリカバリーするから、使えるかもしれないということかな？

鉄道ってシステム化が進んでいそうなのに、そうでもない分野もあるっていうのは確かに意外だったかも。

---

九州電力の方は、事例として名前が挙がりつつも詳細が載っていなかったので、気になっていたところ。

平成21年度（2009年度）から分散処理・仮想化の検証を始め、その一環でHadoopも検証したらしい。
仮想化基盤にはKVMを使用。VMwareとベンチマークを比較して、多少劣るものの大差ないという判断。
Hadoopは物理マシン10台の上に仮想サーバー110台。仮想マシンのコア数を変えてみたりとか、色々試したそうだ。

平成22年度（2010年度）は本番バッチと同様のものをHadoopで作ってみて比較。王道だ(笑)
電柱の巡回をする為のデータ作成の月次バッチ（電柱は100万本）だそうで、
Oracleバッチが7多重で17時間20分かかっていたところを、Hadoop仮想サーバー10台（物理マシン2台）＋MySQLで32分。43ジョブに分割して、並列実行できるところは並列化したらしい。
他にももうちょっと詳しくスペックを言っていたけれどメモできなかったので、資料が公開されると嬉しいな～。
MapReduceの製造には2名のエンジニアが2ヶ月かけて死にそうだったそうで、ハードルは高い。

平成23年度（2011年度・今年）はAsakusaフレームワークに挑戦。
素のMapReduceを作るよりも効率よくなるはずとのこと（1/3とか）。
他にも部署名変更で9時間×60日かかっているシステムがあるので、それをやってみるとか。

将来への展望としては、ひとつにはスマートグリッド。
メーターが800万台あるので、スマートメーターへの交換だけで10年はかかる。
30分に1回データを取得するので、1時間に2回。1ヶ月で2×24×30日×800万台のデータを扱うことになる。また、交換は徐々に行われるので、最初は少ないけれどもだんだん大きくなってくる。（クラウド向きだなぁｗ）

ここで自分が疑問に思っていたことが会場からの質問でも出て、御徒町さんから補足が。
検証を仮想マシンでやっていたようだが、Hadoopは物理マシンでないと性能が出ないのではないかという懸念。「Hadoopは仮想化の流れに逆行するのか？」なんて話もあったし。
で、Hadoopで重要なのはディスクI/Oなので、仮想化で共有ストレージ（NetAppやEMC）を使っていると残念な結果になるが、ディスク分散していれば仮想環境でもHadoopはスケールするということのようだ。
仮想化の方式なんて全然詳しくないので、これは良いことを聞いた。

あと、monkey magicが8月にOSS化するのだそうだ。これまた思い切ったなぁ。でもそうすると、AsakusaFW＋monkey magicの組み合わせが鉄板になるかな？(笑)