AWSの「ビッグデータ関連サービスとAmazonRedShiftの最新情報のご紹介」とか

今日（８月８日）Ｔａｌｅｎｄが主催して、アマゾンでやった、クラウドで実現するオムニチャネルのビッグデータ統合に行って来た！その内容をメモメモ

---

■オムニチャネルに活かすリアルタイム集計
　データコム　地主さん

１．会社説明　
　仙台に本社
　流通小売、ＰＯＳ分析、販売企画
　ＰＯＳデータ分析アプリケーション
　自社開発ＤＢエンジン、
　　　２００７年開発、インメモリ型、ＰＯＳに特化
　　　従来：パフォーマンスを出すために、ＪＯＩＮしていた
　　　　→大福町形式
　　　このシステム：都度組み合わせでもＯＫ
　　　　マルチマスター（合併などで）もできる
　　　　マスタ履歴無制限
　　　　日別在庫もコンパクトに持てる
　RedShift,RDB

２．流通小売業界の動向
　　人口減少による国内市場の縮小
　　高齢者だけでなく、若い人も少なくなる→買う人も、働く人も少なくなる
　　伸び悩む「従来型」小売りの売り上げ→コンビニ等は延びているが、売上規模は・・
　　消費者の商品購買チャネルの変化
　　　ネット、モバイル伸びてる（カタログ通販はそれほど）
　　　→オムニチャネル
　　シングルチャネルからオムニチャネル
　　　シングルチャネル→マルチチャネル→クロスチャネル→オムニチャネル
　　オムニチャネル対応状況

　　広義のオムニチャネル
　　　企業グループ、他社もふくめ
　　　「すべての」「あらゆる」販売活動
　　オムニチャネルのインフラ
　　　自社システムと他社システム
　　　　　共通コードや統合データベース
　　　クローズドデータとオープンデータ
　　　　　クローズドデータ：自社、社内
　　　　　オープンデータ：気象、統計情報
　　　業務端末と個人端末
　　　　　業務端末＋ＢＹＯＤ

　オムニチャネル対応のためのシステム
　　高速、大容量→桁がちがう
　　　以前、数億件規模今、数十億件～数百億件
　　レスポンス
　　　夜間バッチ→オンデマンド、同時アクセス
　　拡張性、柔軟性
　　　企業連携によるデータ量２倍とか
　　　データ連携、新しいビジネスモデル
　　セキュリティ対応

３．システム事例のご紹介
　実店舗活用型オンラインショップ
　　　実店舗でピッキング：最寄店舗選ばれる。店員がピッキング
　　　物流センター、在庫持たない。発送コスト、輸送時間短縮
　　　リアルタイムな在庫

　食品スーパー電子発注システム
　　　　ＥＣ２：ＥＴＬサーバー
　　　　DynamoDB:性能保証されている
　　販売数更新と在庫数紹介のリアルタイム処理
　　　→発注〆時間
　　　　発注推奨数：マイニング機能
　　　→端末からＳＱＬ→Ｗｅｂサービスで実現

　卸・小売間の販売情報共有システム
　　　　ＥＣ２：ＥＴＬサーバー、Ｗｅｂサーバー
　　　　AmazonRDS：ＥＤＩ２００社、４００社が対応できず→ＦＡＸで対応
　　→取引先ごとのフォルダにおいておくだけ

　ビーコンを使った顧客プロモーション（まだ展示段階）
　　　　ＥＣ２：Webサーバー
　　　　DynamoDB
　　　　RedShift
　大容量、高速処理
　　　１００店舗のスーパー、ビーコン１０台、スマホ１０人
　　　　→３つのビーコン
　　　　　１秒間に１トランザクション毎秒３０００トランザクション
　　　　　過去の購買履歴でコントロール

４．まとめ
　線から面へ
　　・個別システムから全体システムへ
　　　　業務、組織、使用端末、コード体系
　　・高い拡張性、柔軟性、耐障害性
　　　　常に変化（手作業を機械化するのではないので）
　システムの考え方の変化
　　・電子計算機ではなくなった
　　　　お客さんの要望を聞く
　　　　　→お客さんに聞いても出てこない
　　　　　→仮説検証
　　・汎用機から専用機
　　　　汎用パソコンからＰＣ・スマホ・タブレット
　　　　汎用ＤＢから目的別ＤＢ
　　　　汎用言語からＤＳＬへ
　　・密結合から疎結合へ
　従来の仕組みでは対応難しい
　　　育てる時代からつなぐ時代
　あたらしい皮袋

---

■ハイブリッド環境で威力を発揮するビッグデータ統合ツールのご紹介

・つなぐソフトウェア
・Talendについて
　使命：全てのデータから価値を生み出す
　２００５年　フランスで２人のエンジニアから
　　　　ベルドナンドディアド、ファビルスボナン
　オープンソース・オープンビジネス
　４５０００名　コミュニティ（世界で４番目）日本１０００名くらい
　　１５００名　品質テスター
　　　５００個　コンポーネント
２０００万回　　ダウンロード
　１００万人　　つかっている
　４０００社　　導入企業（商用版）

１２８％の成長率
世界第二位　ＯＳＳ系（ちなみに１位はＲｅｄＨａｔ）

・Ｔａｌｅｎｄ製品について
　　TalendStudio Eclipseで作られたデザインツール
　　　　↓
　　　　Jar
　　　　↓
　　Talend Administration Center

処理の自動化
→ＨａｄｏｏｐとOozieベースの実行スケジュール
　ロール別ユーザー管理

・エンタープライズの場合、商用版
　無料版は保守がつかない
ESB(えんたーぷらいずさーびすばす）
Talend Unified PLATFORM
プロジェクトの深耕：１個のＧＵＩなので、学習コスト
I Love Data→I Love BigData

ビッグデータの活用
　オンプレミスだけでなく、クラウド
ソース

ＤＡＴＡ→ビッグデータで増えた

　　データ処理加工

ＩＮＦＯＲＭＡＴＩＯＮ
　　ＢＩツール

ＩＮＴＥＬＬＩＧＥＮＣＥ

→費用対効果

１．多種多様なデータに対応できない
従来：コネクタ数　１００
Ｔａｌｅｎｄ：　　５００＋コミュニティ３００

可読性
従来：コードは読めない
Talend：Javaコード

２．Hadoopを簡単に使えない
　３０％人月単価高い

３．高速に処理できない
　TalendｎジョブはHadoop上で稼動する

４．費用対効果
　利用者単位

現在のビッグデータ活用は？
　ＢＩ
　経営行動に入れ込む
　オートメーション

１．５歩先のビッグデータは

ハイブリッド環境でのデータ統合

デモ

---

■ビッグデータ関連サービスとAmazonRedShiftの最新情報のご紹介
Amazon 榎並さん

好きなサービス
kinesis,DynamoDB

・ＡＷＳ summit 2014 Tokyo　品川で
　日本でも増え続けるお客様
　使っている人が話す

・クラウドコンピューティングのメリット
　　１、初期投資が不要
　　２．低額な変動価格
　　３．使用分のみ
　　４．セルフサービス
　　５．スケールアップダウン
　　６．俊敏性

１．初期投資が不要
　　オンプレミス
　　クラウドコンピューティング　０円

２．低額な価格変動
　　４４回値下げ

３．実際に使用分の支払い

４．セルフサービスないんふら
　　オンプレミス→複雑、遅くなりがち
　　クラウド→わんくりっく
　　サーバーの削除も簡単

５．スケールアップ・ダウンが容易

６．市場投入時間と俊敏性をカイゼン
　・いろいろなチャレンジ

運用負担が減り、本来の業務に集中

アマゾンウェブサービスの現在
８００の政府機関、３０００の教育機関
１００００をこえるパートナー
１０箇所のデータセンター群
年間２８０を超える機能拡張、カイゼン

ガートナーIaaSの位置づけ
ビジョンの完全性と実行能力
　　リーダー：ＡＷＳ
　　　のこり１４社＊５→ＡＷＳ

ビッグデータを取り巻くシステム

事例
・アンデルセンサービス
　　ＶＰＣ上での原価計算バッチ処理（Ａｓａｋｕｓａ利用）
　　ＥＭＲ
・西鉄ストア
　　期間で必要な処理

サービス
Collect Direct Connect
Sttore S3,DynamoDB,Glacier
Analyze EMR,RedShift,EC2,Data Pipeline
SHARE 　S3
全体的にkinesis

S3,9イレブン、DropBoxもS3つかっている。

Amazon Elastic MapReduce
・運用難しい→そこをやっている
　　Hadoop2.4,Hive,Pig,HBase

Amazon Kinesis　ストリームタイプサービス
　キャンペーン
　ゲーム
　ＰＯＳデータ売り上げ
　センサーの異常検知、不正アクセス
　Ｔｗｉｔｔｅｒ

事例
・スシロー
　　Kinesis→RedShift→tablau

RedShift
・DataWarehoouse as a Service
・拡張性：数百Ｇから１．６Ｐまで
・高速：カラムナー、超並列（ＭＰＰ）
・LeaderNodeとComputeNode→代金はコンピュートノード
　Ｓ３とインテグレーションされている
・ＢＩツール：tablauなど
・データ投入
　　ダイレクトコネクト
　　ＶＰＮコネクション
　→Ｓ３にいれてから

Ｉ／Ｏを減らす仕組み
・カラムナー型
・データ圧縮
・ゾーンマップ
・直結ストレージ
・データブロックサイズ

並列分散

２０１３年２月のローンチ以降多数の新機能追加
６０を超える新機能
セキュリティ

無料トライアル、アジアパシフィック値下げ
dw2.largeを２ヶ月間トライアル

リザーブドインスタンス
・普通は１時間単位課金
・手付金：時間単位安くなる

事例：
・airBandB　　Hadoopから安くなった
・Bookmyshow　Hadoopから安くなった
・Financial time Hadoopよりやさしい
・ＮＴＴドコモ　統合ＤＷＨプロジェクト
　数ペタバイトのデータ分析をRedShiftで
　マーケットプレイスでETL/BIツールを試せる

・すかいらーく様　ＰＯＳデータ分析 RedShiftで
　　マーケティング部門が導入
　　わずか１ヶ月で本番稼動　tablau

・良品計画 RedShiftとtablau→Ｏ２Ｏ

・ＡＬＢＥＲＴ　ADreco RedShift PostgreSQLとの互換性

クラウドもアマゾンで、ビッグデータもアマゾンで

Ｑ＆Ａ
Ｑ：RedShiftが苦手なものはないのか？
Ａ：ある。トランザクション処理は苦手。そのようなものはＤｙｎａｍｏＤＢのほうが得意
　　RedShiftは集計。更新はちょっとおそい

（このあと、RがおそくてUSP研究所のをつかうとうんたらかんたら・・・という話が出た）

JQueryの自作のしかた

Javascriptを書いていると、だんだんいろんなことを書いてきて、
「うーんまとめたい。部品化したい」と思うわけです。

で、その部品化としては、JQueryにしてしまうのが、一番かなと・・

ということで、Javascriptで書いた内容を部品化するための

　　　JQueryの自作のしかた

について、調べたので、ここにメモメモ。

---

■やるべきこと

JQueryの自作のしかたは、

自作のjQueryスクリプトをプラグイン化しよう
http://www.webopixel.net/javascript/392.html

に書いてある。

なので、そのとおりやってみる。

---

■お題。

ボタンを押されたら、alertを出す。
変数msgを使って、表示するメッセージも変えられる

---

■サンプル作成
対象となるJQuery(jquery.mkalert.js)

;(function($) {

	$.fn.myalert = function(options) {

		var opts = $.extend({}, $.fn.myalert.defaults, options);

		$(this).click(function(){
			alert(opts.msg);
		});
	};

	$.fn.myalert.defaults = {
		msg: "OK"
	};

})(jQuery);

呼び出し側

<HTML>

<head>



<script src="http://code.jquery.com/jquery-1.9.1.js"></script>

<script type="text/javascript" src="jquery.myalert.js"></script>



<script type="text/javascript">

$(function() {

	$('#alert-btn').myalert({

		msg:"メッセージ"

	});

});

</script>



<title>JQuery自作テスト</title>

</head>

<BODY>

<div id="alert-btn">実行</div>

</BODY>

</HTML>

---

■結果
クリックした

---

なんか、部品化に使えそう・・・

REDHAT FORUM 10月10日の発表とか・・OpenStack最新情報セミナー

８月７日、OpenStack最新情報セミナーに行って来た！
夜の部はディストリビューション４社のプレゼン

---

■EnterpriseにおけるOpenStack～必要な機能をOpenな技術で～
・SUSEクラウド：プライベートのIaaS
・The SUSE Cloud
　　→Openstackのコアコンポーネント＋α
　　　SUSEマネージャー＋SUSEスタジオ
　　　サードパーティー

OpenStack
　たたいて作れるのは、Ubuntuさんくらい？
SUSE　Cloudのポリシー
　複雑な手順の排除
　ネットワーク設計不要
　　　TagVLAN
　マルチハイパーバイザー　

・OpenStackの概要図
　→仮想ルーター、仮想スイッチ、仮想マシン
　→シングルポイントになるところがある

OpenStackの必要機能
・ミッションクリティカルで使える
　　２４Ｘ３６５→冗長性
　　　データ
　　　サービス
　　　Ｌ３agent

・データのＨＡ
　　アクティブスタンバイ（ＤＲＢＤとか）

・サービスグループのＨＡ
　　アクティブアクティブ

・Neutron L3 Agentの冗長化
　　アクティブアクティブ

ＳＵＳＥクラウド仮想ネットワークＨＡ
ＧＵＩ画面
　　ＨＷＫ（ほーく）
　　Pacemaker GUI

まとめ
３から
・ＳＰＯＦを排除
・Ｎｕｔｒｏｎベースで商用ＳＤＮに近い機能の実現
・商用ＳＤＮと組まないといっているわけではない

---

■エンタープライズでOpenStackならレッドハットで

・RedHat 最新バージョン７＋ＯｐｅｎＳｔａｃｋ　Icehouse版
（ＲＨＥＬ－ＯＳＰ：れるおーえすぴー）

OpenStack→RDO（無償）→RHEL-OSP

従来
・スケールアップ型
・スケールアウト→クラウド型

No1コントリビューター
　クローズチケット数がＲｅｄＨａｔだんとつ

アップストリームにフォーカス
→パートナーエコシステム
　カタリスト

エンタープライズ向け

RedHatのクラウドポートフォリオ
将来的にはクラウド管理まで
１つのコンソールで４つのクラウド
　　→RedHat CloudForms

RedHat
ストレージ２つ
　　SWIFTなどGLUSTERFS
　　CinderなどCEPH（inktank買収）

REDHAT FORUM 10月10日
ウェスティンホテル東京（恵比寿）にて開催
細かいアジェンダは、もう少し先

Ｑ＆Ａ
データセンター以外の用途でも売るのか？
→すべてのお客様に無条件で売ってハッピーというわけではない
　あとでお話させてください。

---

■Canonicalが支える、
さくっと動くUbuntu OpenStack

なんでUbuntu？
Ubuntuは良いとこ取り：無償で利用、必要なときはサポート
UbuntuはWeb、Cloudで→スケールアウトがたで
時代はUbuntu？
OpenStackの開発環境としても

なぜCanonical
Ｕｂｕｎｔｕサポートしてる

Ubuntu OpenStackのサポートサイクル
　Ubuntu クラウド　アーカイブ

さくっとOpenStack
　Juju MAAS

デプロイ　デモ

JujuとPuppet,Chefを混在させる
　Charmは、好みの言語で書ける

Charmエコシステム
　９００個以上のCharm→半分くらいがコミュニティ

さくっと運用
landscape：特定のグループにパッチを当てたりできる
トライアル版

Jujuとmaasは、オープンソースでだれでも無償でできる

Canonicalのサポート料金体系：ノード単位

---

■時代の波に乗り遅れるな！
Fast!Fast!Fast!
今、すぐ使えるOpenStack++
NetOneはRedHat OpenStackのパートナー
AMD Seamicroも扱っている
でも
I love metacloud

We love openstack

なぜ、OpenStack？
スピード
誰もがStartupと競争
プライベートクラウドの期待
OpenStackが伸びている
コミュニティの拡大
OpenStackのアーキテクチャ：複雑
コードとＡＰＩの塊

メタクラウド
・ＯｐｅｎＳｔａｃｋの課題
　構築難しい
　新しい機材
　新しい機能
　オペレーション
　スキルを持ったエンジニア

フルスタックで１０人→コアでないところ・・・
→メタクラウド

メタクラウド
ＯｐｅｎＳｔａｃｋ＋カーボンＯＳ＋運用まで提供
　　冗長化、ライブマイグレーション、
　コスト体系シンプル：ソケット単位
　ＩｃｅＨｏｕｓｅベース
フルサポート

Rackspaceも付加価値クラウドへ転換
Scott Sanchez,Niki Acosta
VMWareよりやすくしたい

OoyalaはMetacloudのユーザー
→Amazonを使っていた
月額１０００万円以上払う場合、プライベートクラウド
専任エンジニアいない

技術概要
・カーボンＯＳ
・最適化されたＫＶＭ
・Matacloud 論理構造
　　奇数台
　　Ceph
・コントローラーアーキテクチャ
・ノンダウンタイム　リモート
・コンピュートアーキテクチャ
　　ubuntuベース
・マルチテナント／プロジェクト
・ネットワーキング
・ストレージ
・認証機能
・拡張ダッシュボード
・管理ＵＩ／ダッシュボード

まとめ
・プロダクション環境が数時間～数週間
・すぐれた経済性
・ディズニー　メタクラウドを選んだ