「ビッグデータには５つのシナリオがある」とＩＢＭは考えているらしい

ちなみに、その５つとは

（１）可視化し探索する
（２）お客様の視点で広く
（３）セキュリティ
（４）マシンから出てきたデータの活用
（５）データウェアハウスの拡張


なんて話を、昨日、

Information On Demand Conference Japan 2013(iodc2013)
http://www-06.ibm.com/software/jp/data/events/iodc2013/


で聞いてきた。

そのセッションの中の１つ

IBMのビッグデータプラットフォーム戦略（１）
正しいビッグデータ・テクノロジーの選び方

についてメモメモ

---

■ビッグデータ活用の取り組み
・全世界のビッグデータに対する取り組み
　　やっている　７５パーセントがなんらかはじめている（計画も含め）
　　なんのため　５０％がお客様を知りたい
　　　　　　　　　業務の最適化、リスクもあるが・・
　　業界別に　　公共部門は、業務の効率化もある
　　インフラは　いままでもやってたこと４つ
　　　　ウェアハウス、統合、セキュリティがあって＋Hadoop、
　　　　→まずは基礎
　　　　　すでにビッグデータと呼べるものがある
　　データ　トランザクション、ログ、e-mail
　　なにをする　レポート、マイニング
　　段階
　　　　準備
　　　　検討
　　　　試行
　　　　実行　６％
　　　積極的にやられている人でも、こんなもん
　　　　→どこからやればいい

　私たちの生活は、この１０数年で、何が変わりましたか？
　　　ノートは紙だった
　　　一番変わったのは地図：電子的
　　　買い物：ネットでショッピング
　　　車：カーナビ
　　　犯罪：インターネット→国境がない犯罪

　データは生成され続けている
　　　人が動くたび
　　　動かなくても

　四つのV
　　　ボリューム
　　　多様性
　　　スピード
　　　不確かな情報：ソーシャル、意見

　新しい特性を持ったデータのつながり
　　　従来のアプローチ：トランザクション
　　　新しいデータのアプローチ：ソーシャル、センサー：非構造化、準構造化　

■ビッグデータのユースケース
５つのシナリオ：手がつけやすい

（１）可視化し探索する
　　どんなデータをどこに持っているか
　　１箇所に集めずに、どうつながっているかを見極める

（２）お客様の視点で広く
　　　ソーシャル、センサー

（３）セキュリティ
　　　セキュリティ、犯罪の対策に活用

（４）マシンから出てきたデータの活用
　　　サーバーのログファイル
　　　エラー→知見（機械学習も含め）

（５）データウェアハウスの拡張

今日は３つ

・可視化し探索する
　　データ探索
　　　ソースをつなげる役割：もっと簡単に
　　　　　→どこを深堀すればいいか？
　　　　　　Infosophia data explorer

・マシンから出てきたデータの活用
　　タイムスタンプがあっているか
　　ログがいろいろある→一元的に見えないか？
　　　Big Insights＋アプリケーション

　　いかに効率よく監視
　　アプリケーションに学ばせて
　　モデリングの仕組みも


・データウェアハウスの拡張
　　新しいデータ（非構造化データ）を構造化（Hadoopで）
　　ソーシャルのノイズの除去

　　ビジネス・バリュー・マップ（３つ）
　　　データの事前処理を行うハブ（Hadoop→DW）
　　　検索可能なアーカイブ（DW→Hadoop）
　　　データのディスカバリーと分析

■活用可能なテクノロジーとその選び方
活用の３要素
　・データ
　・テクノロジー
　・業務への適用と効果

テクノロジー：特徴と使い方
　・ディスク装置
　・データが流れる
　・非構造化データ

　データ統合Data Explorer
　サンドボックス：Big Insights(Hadoop)
　ウェアハウス:Pure Data,DB2
　動的予測・アクション（リアルタイム）Streams

　　→SPSSなどの判断

IT予算の６８％は保守
さらに、空調、電源費用も
新規プロジェクトに半分の予算；５分の１
　→ピュアシステム：コスト削減
　　Pure Data System For Hadoop(Big Insight)
　　　スタートがすぐに切れるように

パラメータ
　　データの種類
　　データ量と分析
　　リアルタイム
　　構築スキル
　　分析スキル
　　ROIとリードタイム
　　コスト

IBMが提供するテクノロジー
　　アクセラレーター

ビッグデータの活用は、テクノロジーの組み合わせ
　　テクノロジーと考え方