「Cassandra Meetup in Tokyo, Summer 2015」に行ってきた！

９月４日「Cassandra Meetup in Tokyo, Summer 2015」にいってきた。
その内容をメモメモ

---

Cassandraのポジション
DataStaxEnterprise(DSE)
　Cassandraにソケットで付け加えている製品
　今、solr,spark,hadoop,InMemory,将来グラフＤＢも

Apache Spark and Cassandra
パトリックさん（英語）
・自己紹介

Apache Cassandra
・Cassandraは
　　シェアードナッシング
　　マスタレスのピアＴｏピア
・なぜカサンドラをつかうの？
　モバイルアプリ
　Ｗｅｂアプリ
　　→ゲーム
　ビデオゲーム：オンライン；Ｎｏダウンタイム
　ＩｏＴ

例：Weather Station

・クエリーをサポート
　ＩＤ
　時間（レンジも）
　→グラフ描ける

・ＲＡＷデータで保存

アグリゲーション　クエリー

Apache Spark
・Map Reduc スロー
・Spark より速いスピード

MapReduce デスクに依存
Spark メモリ→計算

Resilient Distri
RDD
　イミュータブル
　パーティションド
　リユーザブル

ＡＰＩ
　ＭａｐＲｅｄｕｃｅ　ＭａｐとＲｅｄｕｃｅ
　Ｓｐａｒｋ　いっぱい！

CassandraとＳｐａｒｋ
Great Combo

ストリーム　ＳＱＬ　ＭＬｉｂ　グラフ
　　　　　　　Spark
　　　　　　　Cassandra

Spark Connector
　→Git Hubにある。オープンソース

サーバーに
　　かさんどらのいんすたんす
　　すぱーくわーかー→エクスキューたー→カサンドラにアクセス
→これが、クラスタになっている

別に
　　スパークマスター

→トランザクショナル（カサンドラのみ）と
　アナリティクス（かさんどらとスパーク）にわけることも

Ｓｐａｒｋ　ＲＤＤ
　ＣＱＬ
　Ｓｐａｒｋ　Ｃｏｎｎｅｃｔｅｒ実行
　Ｓｐａｒｋ　パーティション
　操作
→ＥＴＬ

スパークコネクター
　Ｃａｓｓａｎｄｒａだけで制限があるのものＯＫにする


Sparkのこーど
　すからでかいてある
　SparkContextで

ＣＱＬをつかって

ＳＱＬ（max,minも、Joinも）

Ｓｐａｒｋはすから、ぱいそん両方サポート

Spark ストリーミング
プロブレムドメイン
　　かふか：メッセージングシステム

すぱーく：マイクロバッチ

DStream-マイクロバッチ

https://github.com/killrweather/killrweather

で試せる


さんたくらら

ＣＱＬとＳｐａｒｋ　ＳＱＬの速さ
　ＣＱＬはやい

■Ｃａｓｓａｎｄｒａへの取り組みとＳｐａｒｋとの連携について
Ｙａｈｏｏ　Ｊａｐａｎ

・自己紹介

・Ｃａｓｓａｎｄｒａの利用について
　ＣａｓｓａｎｄｒａＳｕｍｍｉｔ　Ｔｏｋｙｏ２０１５からのアップデート

・５０のサービスが利用中
　利用はひき続き拡大中

・マスターデータ
　行動履歴
　設定
　集計

・ハードウェア
　　ＳＳＤ性能評価　ＱＰＳ６倍、れいてんし１／１０以下
　　おそくてもいいばあいはＨＤＤ
・１．２→２．０へのアップグレード
・２．０．１６もんだいがあってパッチ当ててる

・Ｃａｓｓａｎｄｒａネイティブインターフェース

・ＣａｓｓａｎｄｒａとＳｐａｒｋ連携
　やりたいこと：データの可視化

・なぜＳｐａｒｋ
　Ｃａｓｓａｎｄｒａ
　　キー単体引き当ては得意
　　でも横断的に取得するのは苦手
　→Ｓｐａｒｋ連携

　リアルタイム解析だけならＳｔｏｒｍ

・Ｓｐａｒｋ
　　はやい、汎用的
・Ｈａｄｏｏｐとの速度比較
　　Ｈａｄｏｏｐのオーバーヘッド
　でーたのでシリアライズコスト

Ｓｐａｒｋ
　　ＳｐａｒｋＳＱＬ
　　Ｓｐａｒｋ　Ｓｔｒｅａｍｉｎｇ
　　ＭＬＩＢ（マシンラーニング）
　　ＧｒａｐｈＸ

データ抽象化レイヤＲＤＤ→ＭａｐReduce

ＨａｄｏｏｐライブラリでＣａｓｓａｎｄｒａにＲｅａｄ／Ｗｒｉｔｅ
→でーたすたっくすのＣａｓｓａｎｄｒａＣｏｎｎｅｃｔｏｒを使う

既存クラスタへのＳｐａｒｋ導入

コンシステンシーレベル

ＣＰＵリソースの確保
メモリーリソースの確保

Ｓｐａｒｋクラスタ
　　スタンドアロンで検証開始

リアルライム解析
　　トリガー→Kadka→

インタラクティブ解析
　　ＭｙＳＱＬで問題→Ｃａｓｓａｎｄｒａ
　　購読ＤＢへの要件：ＳｐａrkSQL

耐障害性
　ドライバーダウンしたら
　　デプロイモード

セキュリティ
　　ノード間通信の暗号化

まとめ

■はじめるＣａｓｓａｎｄｒａ

サイバーエージェント

・自己紹介

・会社紹介

・カサンドラは？
　１．１．５、１．２．１３
　クラスタ３つ
　１５０ノード
　ＱＰＳ：５万
　１５Ｔ

・サイバーエージェントのスマートフォンプラットフォーム

・ネイティブアプリの基盤
　認証、課金、ロギング

・なぜカサンドラ
　担当になったらあった
　ＳＰＯＦがない
　耐えられるスケーラビリティ
　運用実績

・システム
　２．０．８
　れぷけ―しょん３
　ＣＱＬ
　Ｎｏｄｅ．ｊｓでドライバ自作
　プライベートクラウドで
　２４コア
　１２ノード

オペレーション
・構築
　　Ｊｅｎｋｉｎｓ＆あんしぶるで自動化
・監視
　　しきいち監視はせんす（コミュニティプラグインと自作）
チェック
　　ＯＳのリソース
　　ＪＶＭ　ヒープ
　　カサンドラ特融
　　　ＱＰＳ
　　　レイテンシ
　　　フラッシュ、こんぱくしょん、ヘルス確認
　　　ゴシップタイムアウト

オペレーション
　　リペア＆クリンアップ７日
　　バックアップ　２時間ごとに各ノード
　　りストア

何かあった時によく使うnodetool
nodetool status
　カラムファミリー

あきらめて再起動

ＮＷ障害
・Ｌ２レベルで完全なる断で全ノード独立
・Ｈｉｎｔも消失
・hintがなくてもnodeさえつぶれてなければクラスタの復旧は可能
・ＮＷ断に耐えられた

その他
・slowlogを実装する
・スキーマ設計大事

■
・自己紹介

AWS
・５０を超えるサーボス
・NetFlicks AWS+Cassandra カオスモンキー
　マルチリージョン
　→ネットフリックスさんの記事を読んでおく

・EC2snitch,EC2MultiReasionSnitch

Cassandra tools
2.1.8をかいとうすると出てくる

cassandra-stress　負荷の検証 95%タイル、99%タイル YSBC
Cassandra-stress deamon バックグラウンドか
cassandra.in.sh　環境変数設定
json2sstable　エラーになる
sstable2json　動いた！→３系では推奨しない
sstablelevelreset　０にセットするためのツール？
sstablemetadata ssテーブルのメタデータを出す
sstableofflinerelevel
sstablerepairedset　ブログに書かれている
sstablesplit ssテーブルの分割
token-generator　

おまけ
cassandgo AWS上のCassandra構築

おまけ２
DynamoDB
　AdRole

おまけ３
　Cassandra Japan Community
　　ブルーオーシャン　一気に日本の第一人者になれる