ＮＨＮテクノロジーカンファレンスにいってきた。
「Hな話」ということで、５つお話を聞いてきた。その後
「Ｈなプレゼント」ということで、HBaseの本、３名様に抽選で！
ということで、「抽選君」で抽選をしました。
そしたらなんと、あたりました！
HBaseの本Ｇｅｔ！！
それはさておき、聞いてきた話のメモメモ
■HTML5 Animation in Mobile Web Games
韓国 シムさん（同時通訳）
・ＨＴＭＬ５モバイルゲームに適用した事例の紹介
・Ａｎｄｒｏｉｄはあんまりすきじゃない
・Ｗｈａｔ Ｉｓ Ａｎｉｍａｔｉｏｎ
少しずつ変化するものを集めたもの
韓国ではタクシーで馬が走るのがあった
必要なもの
リソースマネージメント
→イメージの管理
→ゲームではローディング画面を出しても待ってくれる
オブジェクト化
ＤＯＭはオブジェクトを持っているけど、
ＣＡＮＶＡＳはオブジェクトを持ってない
→自分でオブジェクト化する必要がある
アニメーション
ＣＳＳトレーション、タイマー使えない
（多数のタイマーは干渉する）
レンダリングパイプラインを使う
ティっク１秒に６０回
モニターが６０Ｈｚだから６０ＦＰＳが最適
２０ＦＰＳ以上必要
リクエストアニメーションフレームも使える
→ios6から
ドローイング
キャンバスを消す方法
ClearRect
スプライトアニメーション
ＩＯＳ４：ピクセルの操作→演算が走る
座標
小数点の座標：
自動的にアンチエイリアシングはしり、ぼんやりする
イベント
□より、もうすこし精密な領域が必要
GetImageData：セキュリティ的に外部からもってこれない
→ＣＤＮの場合外部からになるケース
ios4とios5の差
ＧＰＵアクセラレートの差
→ＣＳＳ３Ｄのトランスフォームを使うと、アクセラレートされる
→トランスフォームを使う
→イメージエレメントが必要になってくる
Ａｎｄｒｉｏｄ
断片化がひどい→全部サポート？？
Ａｎｄｒｉｏｄ ＩＣＳは、ＣＳＳ３Ｄ使える（２．Ｘは手がない）
→バグがある ２０４８ピクセル、回転した場合
１秒に６０回＝１００オブジェクトなら、６まん回・・・
Ｃｏｌｌｉｅ
オープンソースにした。
http://jindo.dev.naver.com/collie
■日々進化するHadoopの「今」
ＮＴＴデータ Ｈａｄｏｏｐを７、８年やっている
Ｈａｄｏｏｐ徹底入門
Ｈａｄｏｏｐを使っている人
会場見た目６割くらいは使っている
２つのコンポーネント
分散ファイルシステム ＨＤＦＳ
大規模分散フレームワーク ＭａｐＲｅｄｕｃｅ
複数のＩＡサーバー
大きなデータ：分散
あまり移動せずに処理
分散処理固有の問題：フレームワークで解決
こわれる
遅延
ＨＤＦＳ
マスター：ＮａｍｅＮｏｄｅ
スレーブ：ＤａｔａＮｏｄｅ
ＭａｐＲｅｄｕｃｅ
マスター：ＪｏｂＴｒａｃｋｅｒ
スレーブ：ＴａｓｋＴｒａｃｋｅｒ
Ｈａｄｏｏｐは
高速なＲＤＢＭＳや検索エンジンではない
ＲＤＢ：ＩＯの量を最小にしようとする
Ｈａｄｏｏｐ：データの管理は行わない
ＭａｐＲｅｄｕｃｅ：並列して実行
急速に発展するエコシステムがＨａｄｏｏｐの魅力のひとつ
Ｈｂａｓｅ，Ｈｉｖｅ、Ｍｏｈｏｕｔ、Ｐｉｇ
→組み合わせるときつい
Ｈａｄｏｏｐディストリビューション
ＣＤＨ、ＨＤＰ
Ｈａｄｏｏｐの動向
活発に進んでいるが・・・
バーションはやや複雑な状況
Ｈａｄｏｏｐ１．０系（０．２０系）
→ＣＤＨ ３
Ｈａｄｏｏｐ２．０系
→ＣＤＨ ４
ＮａｍｅＮｏｄｅＨＡ
Ｈａｄｏｏｐ単体では、ＳＰＯＦと言われていたＮａｍｅＮｏｄｅのＨＡ化
スライドシェアにレポートをおいておいてある
ＨＤＦＳ Ｆｅｄｅｒａｔｉｏｎ
Ｈａｄｏｏｐでボリュームみたいな概念
ブロックストレージとネームスペースの分割
マルチテナントに必要な要素の１つ
ＹＡＲＮ（やーん ＭａｐＲｅｄｕｃｅ２．０）
Ｈａｄｏｏｐ ４０００ノードまでしかスケールしない：こまった
→アーキテクチャを変えて１００００台へ
ＭＰＩなど、ＭａｐＲｅｄｕｃｅ以外の分散処理も
まとめ
・新バージョンつぎつぎ
・アーキテクチャのも直し
・エコシステムは成長
・いくつかの技術が浸透中
並列分散
機械学習
スケーラビリティ
・Ｈａｄｏｏｐカンファレンスやります。
■Hbase at Line
・ＮＨＮとＮａｖｅｒの話
さいきんＮａｖｅｒまとめ、Ｌｉｎｅ
アメリカでＳＮＳランキング１位
Ｌｉｎｅ
・はじめ：パフォーマンス Redis
・グローバル化：
・スケーラブル
・はじめ：パフォーマンス Redis
中東盛り上がり
→シャーディング、ＺｏｏＫｅｅｐｅｒ
・スケーラブル
アジアで盛り上がり！とくに香港
Redisではだめ
ザッカーバース：シェアの法則
Ｌｉｎｅカンファレンス：１日１０億メッセージと発表
データとスケーラビリティー
Ｈｂａｓｅ
Ｃａｓｓａｎｄｒａ：コンシステンシー
ＨＢａｓｅ
数百ＴＢを格納可能
Ｓｔｒｏｎｇ コンシステンシー
アドホックにロードバランシング
１つのモデルで１つのＲＯＷ
→コンシステンシーが１つのＲＯＷ
RedisからＨＢａｓｅへ移行
スケーラビリティ ○
障害は・・・Ｘ
Ｈｂａｓｅは、火山
リージョンサーバーが死ぬと、ダウンタイム発生
Ｃｏｍｐａｃｔｉｏｎ対策
■ＯＳＳで支えられるライブドアの巨大ログ集計 HiveとFluentd
tagomorisさん
・どういうことをやっているかの話
ＰＶ／ＵＵの集計
ＨＴＴＰレスポンスコード時系列変化
レスポンスタイム時系列変化
あれこれ
Ｗｅｂサーバー（数百台）
｜
生ログ
｜
Ｆｌｕｅｎｔｄ（リアルタイム処理、数十台）
→Ｇｒａｐｈｉｃ
｜
HadoopHDFS：Ｈｉｖｅ Ｓｅｒｖｅｒ
集計処理
CDH3u5 + CentOS +JDK5
・Ｈｉｖｅ
Ａｐａｃｈｅオープンソースプロダクト
ＨｉｖｅＱＬ（ほぼＳＱＬ）
集計、統計でパフォーマンスがよい
ＲＰＣを使える（ＨｉｖｅＳｅｒｖｅｒ経由で）
・Fluentd
オープンソース
構造化ログ収集用ソフトウェア
Ｍａｐ：片っ端から処理できる
→fluentdも片っ端から処理できる
・集計クエリの登録と実行
shib
Ｈｉｖｅクエリを実行する口
・なぜ、自分たちで作るか
自分たちで数字が説明できる
追試可能でなければならない
機能と継続性
機能とコンポーネント分離
・機能とコンポーネント分離
Ｈａｄｏｏｐ／ＨＤＦＳ
Ｈｉｖｅ server
Ｓｈｉｂ
ＳｈｉｂＵＩ
・機能のアップデート
ミドルウェアの機能アップデート
頻繁にある
ＵＩツールの機能アップデート
・機能向上のための鉄則
頻繁に、ただし全体を壊さずに
→コンポーネント分離
祖結合
小さく、変更内容が追えるツールをＯＳＳでそろえる
・規模の拡大とデプロイの話
規模の拡大
量の拡大（スケールアウト・スケールアップ）
バリエーションの拡大
スケールする：両方に対応できていないと
変更は少なく、追加は容易に
汎用の公開ソフトウェアを可能な限りそのまま使う
デプロイ容易性
・場合によっては、あらゆるところに手をいれる覚悟をしておく
→基本的にはしない
コンセプトの良いＯＳＳを選んで使う
グラフ HR for Cast
■Data Scientistの立場から見るHadoop利用
トレジャーデータの人。
ＭｏｎｇｏＤＢの人
思考フロー：処理フローと逆
・ゴールの設定
・ツールの選択
・中間データ形式の選択
・Ｈａｄｏｏｐの活用
どんな動物を選ぶか！（象とか豚とか）
Ｈｉｖｅが使いやすくていいかな・・・
・トレンドの話
インタラクティブ処理
→Ｈａｄｏｏｐファミリはバッチ処理
Ｄｒｅｍｅｉ
ＨＩＶＥ
・モニタリング
・ＪＤＢＣ，ＯＤＢＣドライバ
・Ｒ／Ｅｘｃｅｌ／ＳＰＳＳ
モニタリング
・ＫＰＩの観測
・異常通知
→１つ１つのパネルにクエリを入れる
ＢＩ
・さまざまな切り口
Ｅｘｃｅｌのピボットテーブル
・キューブという概念
それぞれのディメンジョンには深さがある
→集計値を持っておく
ＭＲ ＣＵＢＥというアルゴリズム
→Ｐｉｇでも実装提案
・Ｔａｂｌｅａｕ
Ｇｏｏｇｌｅの技術
・アドホック技術 ３つのプロジェクト
・Ｔｅｎｊｉｎｇ
Ｈｉｖｅっぽい。ＭａｐＲｅｄｕｃｅ強化
・Ｄｒｅｍｅｌ
独自フォーマット、高速に結果を返す
ＢｉｇＱｕｅｒｙ
・PowerDrill
裏側で大規模集計
「Hな話」ということで、５つお話を聞いてきた。その後
「Ｈなプレゼント」ということで、HBaseの本、３名様に抽選で！
ということで、「抽選君」で抽選をしました。
そしたらなんと、あたりました！
HBaseの本Ｇｅｔ！！
それはさておき、聞いてきた話のメモメモ
■HTML5 Animation in Mobile Web Games
韓国 シムさん（同時通訳）
・ＨＴＭＬ５モバイルゲームに適用した事例の紹介
・Ａｎｄｒｏｉｄはあんまりすきじゃない
・Ｗｈａｔ Ｉｓ Ａｎｉｍａｔｉｏｎ
少しずつ変化するものを集めたもの
韓国ではタクシーで馬が走るのがあった
必要なもの
リソースマネージメント
→イメージの管理
→ゲームではローディング画面を出しても待ってくれる
オブジェクト化
ＤＯＭはオブジェクトを持っているけど、
ＣＡＮＶＡＳはオブジェクトを持ってない
→自分でオブジェクト化する必要がある
アニメーション
ＣＳＳトレーション、タイマー使えない
（多数のタイマーは干渉する）
レンダリングパイプラインを使う
ティっク１秒に６０回
モニターが６０Ｈｚだから６０ＦＰＳが最適
２０ＦＰＳ以上必要
リクエストアニメーションフレームも使える
→ios6から
ドローイング
キャンバスを消す方法
ClearRect
スプライトアニメーション
ＩＯＳ４：ピクセルの操作→演算が走る
座標
小数点の座標：
自動的にアンチエイリアシングはしり、ぼんやりする
イベント
□より、もうすこし精密な領域が必要
GetImageData：セキュリティ的に外部からもってこれない
→ＣＤＮの場合外部からになるケース
ios4とios5の差
ＧＰＵアクセラレートの差
→ＣＳＳ３Ｄのトランスフォームを使うと、アクセラレートされる
→トランスフォームを使う
→イメージエレメントが必要になってくる
Ａｎｄｒｉｏｄ
断片化がひどい→全部サポート？？
Ａｎｄｒｉｏｄ ＩＣＳは、ＣＳＳ３Ｄ使える（２．Ｘは手がない）
→バグがある ２０４８ピクセル、回転した場合
１秒に６０回＝１００オブジェクトなら、６まん回・・・
Ｃｏｌｌｉｅ
オープンソースにした。
http://jindo.dev.naver.com/collie
■日々進化するHadoopの「今」
ＮＴＴデータ Ｈａｄｏｏｐを７、８年やっている
Ｈａｄｏｏｐ徹底入門
Ｈａｄｏｏｐを使っている人
会場見た目６割くらいは使っている
２つのコンポーネント
分散ファイルシステム ＨＤＦＳ
大規模分散フレームワーク ＭａｐＲｅｄｕｃｅ
複数のＩＡサーバー
大きなデータ：分散
あまり移動せずに処理
分散処理固有の問題：フレームワークで解決
こわれる
遅延
ＨＤＦＳ
マスター：ＮａｍｅＮｏｄｅ
スレーブ：ＤａｔａＮｏｄｅ
ＭａｐＲｅｄｕｃｅ
マスター：ＪｏｂＴｒａｃｋｅｒ
スレーブ：ＴａｓｋＴｒａｃｋｅｒ
Ｈａｄｏｏｐは
高速なＲＤＢＭＳや検索エンジンではない
ＲＤＢ：ＩＯの量を最小にしようとする
Ｈａｄｏｏｐ：データの管理は行わない
ＭａｐＲｅｄｕｃｅ：並列して実行
急速に発展するエコシステムがＨａｄｏｏｐの魅力のひとつ
Ｈｂａｓｅ，Ｈｉｖｅ、Ｍｏｈｏｕｔ、Ｐｉｇ
→組み合わせるときつい
Ｈａｄｏｏｐディストリビューション
ＣＤＨ、ＨＤＰ
Ｈａｄｏｏｐの動向
活発に進んでいるが・・・
バーションはやや複雑な状況
Ｈａｄｏｏｐ１．０系（０．２０系）
→ＣＤＨ ３
Ｈａｄｏｏｐ２．０系
→ＣＤＨ ４
ＮａｍｅＮｏｄｅＨＡ
Ｈａｄｏｏｐ単体では、ＳＰＯＦと言われていたＮａｍｅＮｏｄｅのＨＡ化
スライドシェアにレポートをおいておいてある
ＨＤＦＳ Ｆｅｄｅｒａｔｉｏｎ
Ｈａｄｏｏｐでボリュームみたいな概念
ブロックストレージとネームスペースの分割
マルチテナントに必要な要素の１つ
ＹＡＲＮ（やーん ＭａｐＲｅｄｕｃｅ２．０）
Ｈａｄｏｏｐ ４０００ノードまでしかスケールしない：こまった
→アーキテクチャを変えて１００００台へ
ＭＰＩなど、ＭａｐＲｅｄｕｃｅ以外の分散処理も
まとめ
・新バージョンつぎつぎ
・アーキテクチャのも直し
・エコシステムは成長
・いくつかの技術が浸透中
並列分散
機械学習
スケーラビリティ
・Ｈａｄｏｏｐカンファレンスやります。
■Hbase at Line
・ＮＨＮとＮａｖｅｒの話
さいきんＮａｖｅｒまとめ、Ｌｉｎｅ
アメリカでＳＮＳランキング１位
Ｌｉｎｅ
・はじめ：パフォーマンス Redis
・グローバル化：
・スケーラブル
・はじめ：パフォーマンス Redis
中東盛り上がり
→シャーディング、ＺｏｏＫｅｅｐｅｒ
・スケーラブル
アジアで盛り上がり！とくに香港
Redisではだめ
ザッカーバース：シェアの法則
Ｌｉｎｅカンファレンス：１日１０億メッセージと発表
データとスケーラビリティー
Ｈｂａｓｅ
Ｃａｓｓａｎｄｒａ：コンシステンシー
ＨＢａｓｅ
数百ＴＢを格納可能
Ｓｔｒｏｎｇ コンシステンシー
アドホックにロードバランシング
１つのモデルで１つのＲＯＷ
→コンシステンシーが１つのＲＯＷ
RedisからＨＢａｓｅへ移行
スケーラビリティ ○
障害は・・・Ｘ
Ｈｂａｓｅは、火山
リージョンサーバーが死ぬと、ダウンタイム発生
Ｃｏｍｐａｃｔｉｏｎ対策
■ＯＳＳで支えられるライブドアの巨大ログ集計 HiveとFluentd
tagomorisさん
・どういうことをやっているかの話
ＰＶ／ＵＵの集計
ＨＴＴＰレスポンスコード時系列変化
レスポンスタイム時系列変化
あれこれ
Ｗｅｂサーバー（数百台）
｜
生ログ
｜
Ｆｌｕｅｎｔｄ（リアルタイム処理、数十台）
→Ｇｒａｐｈｉｃ
｜
HadoopHDFS：Ｈｉｖｅ Ｓｅｒｖｅｒ
集計処理
CDH3u5 + CentOS +JDK5
・Ｈｉｖｅ
Ａｐａｃｈｅオープンソースプロダクト
ＨｉｖｅＱＬ（ほぼＳＱＬ）
集計、統計でパフォーマンスがよい
ＲＰＣを使える（ＨｉｖｅＳｅｒｖｅｒ経由で）
・Fluentd
オープンソース
構造化ログ収集用ソフトウェア
Ｍａｐ：片っ端から処理できる
→fluentdも片っ端から処理できる
・集計クエリの登録と実行
shib
Ｈｉｖｅクエリを実行する口
・なぜ、自分たちで作るか
自分たちで数字が説明できる
追試可能でなければならない
機能と継続性
機能とコンポーネント分離
・機能とコンポーネント分離
Ｈａｄｏｏｐ／ＨＤＦＳ
Ｈｉｖｅ server
Ｓｈｉｂ
ＳｈｉｂＵＩ
・機能のアップデート
ミドルウェアの機能アップデート
頻繁にある
ＵＩツールの機能アップデート
・機能向上のための鉄則
頻繁に、ただし全体を壊さずに
→コンポーネント分離
祖結合
小さく、変更内容が追えるツールをＯＳＳでそろえる
・規模の拡大とデプロイの話
規模の拡大
量の拡大（スケールアウト・スケールアップ）
バリエーションの拡大
スケールする：両方に対応できていないと
変更は少なく、追加は容易に
汎用の公開ソフトウェアを可能な限りそのまま使う
デプロイ容易性
・場合によっては、あらゆるところに手をいれる覚悟をしておく
→基本的にはしない
コンセプトの良いＯＳＳを選んで使う
グラフ HR for Cast
■Data Scientistの立場から見るHadoop利用
トレジャーデータの人。
ＭｏｎｇｏＤＢの人
思考フロー：処理フローと逆
・ゴールの設定
・ツールの選択
・中間データ形式の選択
・Ｈａｄｏｏｐの活用
どんな動物を選ぶか！（象とか豚とか）
Ｈｉｖｅが使いやすくていいかな・・・
・トレンドの話
インタラクティブ処理
→Ｈａｄｏｏｐファミリはバッチ処理
Ｄｒｅｍｅｉ
ＨＩＶＥ
・モニタリング
・ＪＤＢＣ，ＯＤＢＣドライバ
・Ｒ／Ｅｘｃｅｌ／ＳＰＳＳ
モニタリング
・ＫＰＩの観測
・異常通知
→１つ１つのパネルにクエリを入れる
ＢＩ
・さまざまな切り口
Ｅｘｃｅｌのピボットテーブル
・キューブという概念
それぞれのディメンジョンには深さがある
→集計値を持っておく
ＭＲ ＣＵＢＥというアルゴリズム
→Ｐｉｇでも実装提案
・Ｔａｂｌｅａｕ
Ｇｏｏｇｌｅの技術
・アドホック技術 ３つのプロジェクト
・Ｔｅｎｊｉｎｇ
Ｈｉｖｅっぽい。ＭａｐＲｅｄｕｃｅ強化
・Ｄｒｅｍｅｌ
独自フォーマット、高速に結果を返す
ＢｉｇＱｕｅｒｙ
・PowerDrill
裏側で大規模集計
アクセス
トータル
ランキング
