AWSおよびパートナーサービスを使った、データの集約および活用設計パターン

９月９日の、AWS Cloud Storage & DB Day 2014に行って来た内容のメモメモ！で、書き忘れていたのがあったので、
きょう、こっそり追加。

---

AWSおよびパートナーサービスを使った、データの集約および活用設計パターン
あまぞん、荒木氏

データ集約システム構成例
・データ：社内
・外にあるデータ：ＩｏＴ→どうやって集めるか

データ集約の基本方針
・あらゆるデータの発生源に対応する
　既存のアセットを最大限に活かす
　ＡＷＳのメリットを享受する

ＡＷＳのデータ関連サービス
データ
→ストレージ（Ｓ３，ぐれーしゃー）
→データベース
→データウェアハウス
→バッチ
→ＮｏＳＱＬ
→自動化（データパイプライン）

主力３サービス
Ｓ３
　オリジナルデータの保存
　中間データの保存
ＥｌａｓｔｉｃＭａｐＲｅｄｕｃｅ
　データのバッチ処理
　非構造化→構造化
ＲｅｄＳｈｉｆｔ
　ビジネスアナリティクス
　ＳＱＬアクセス

Ｓ３
・非常に耐久性の高いオンラインストレージ
　暗号鍵を管理できるようになった

ＥＭＲ
・Hadoopクラスタのサービス
　１時間単位の従量課金
　クラスタのサイズを後から変えられる
　アルゴリズムによって違う→同じデータを
　別のクラスタで処理してＡ／Ｂテスト
・終わったら終了

RedShift
・データウェアハウスサービス
　運用管理の手間がほぼない
　初期費用０、低価格
　ＳＱＬ
　エコシステム使える

データロード
・FlyData
・Ａｔｔｕｎｉｔｙ
・ＤａｔａＳｐｉｄｅｒ
・Ｔａｌｅｎｄ
違った特色
　ＪＤＢＣ／ＯＤＢＣ
　Ｓ３からのＬｏａｄをネイティブで持っている
ＦｌｙＤａｔａ　Ｓｙｎｃ　Ｆｏｒ　ＭｙＳＱＬ
　バイナリログを吸い出して、Ｓ３になげる
　トランザクションデータＭｙＳＱＬ
　統計処理ＲｅｄＳｈｉｆｔ

ＢＩツールとの連携
　ＪＤＢＣ／ＯＤＢＣ
　　　多くのベンダーがつないでくれている
　　　Ｔａｂｌｅａｕ
　　→可視化に強いベンダー

ビッグデータのソリューション
スケーラブルにアプローチ
・ビッグデータの一般的なアプローチ
・ビッグデータのストリーム処理
蓄積された過去のデータ
今のデータ

Amazon Kinesis
・フルマネージドなリアルタイムデータ処理

DynamoDB
・高速、予測可能なパフォーマンス

ＡＷＳを付き合ったＩｏＴアーキテクチャイメージ
・リアルタイムに流れるデータ処理
・用途によったデータ変換とデータ保存
・ユーザーエクスペリエンス部分

ＶＰＣ（バーチャルプライベートクラウド）
→デフォルトＶＰＣ
　専用線をつなぎこむことも

ＶＰＣ内のシステム構築のために
　サブネット：
　　ログインする必要ないものは、目的別に分けない
　　ログインする必要のあるものは、細かく分ける

AWSのＡＰＩ使用にはインターネット接続が必要
　　ＥＩＰ
　　ＮＡＴインスタンス
　　オンプレミス側インターネット船
　→ＡＷＳのリソースは原則ホスト名

AWS Direct Connect
　　ポートを用い、専用線
　　建屋→構内接続

cloud hubのHubとしてのVPC
　　→AmazonにVPNをあつめる

ネットワークキャリアによる拡張
　　閉域網へのアクセス手段
　　　　ＬＴＥ，３Ｇ，フレッツ
　　パートナーキャリア
　　　　ＫＤＤＩ
　　　　ＮＴＴコミュニケーション
　　　　ＫＵＨ
　　　　Tokaiコミュニケーション

Ｓ３へのファイルコピー
　　バケット
　　マルチパート
　　ファイル名の分散
　　ツール:
　　　　attunity cloud beam
　　　　ExpeDat Gateway
　　　　cloud berry

インスタンスへのファイルコピー：高速
　　Tsunami UDP
　　ASTERIA
　　Skeed

ブロック
　　　AWS StrageGateway
　　　DRBD,DRBD-proxy
　　　DataKeeper

転送先最適化サービス
　　　AWS OFA(オバマ・フォー・アメリカ）
　　　　→CloudOptを利用

システム設計
　　インフラ
　　データ集約
　　データ活用
ＡＷＳ専用線アクセス体験ラボ
　　受講するトレーニング
　　　ＶＰＣダイレクト
　　　　　トレーニング１　１０／２
　　　　　トレーニング２　１０／２１
　　　　　実機ハンズオン　１１／５
　　随時開催

まとめ
　　データをどこかに保存する　ＡＷＳ
　　体験ラボ