ちなみに、その5つとは
(1)可視化し探索する
(2)お客様の視点で広く
(3)セキュリティ
(4)マシンから出てきたデータの活用
(5)データウェアハウスの拡張
なんて話を、昨日、
Information On Demand Conference Japan 2013(iodc2013)
http://www-06.ibm.com/software/jp/data/events/iodc2013/
で聞いてきた。
そのセッションの中の1つ
IBMのビッグデータプラットフォーム戦略(1)
正しいビッグデータ・テクノロジーの選び方
についてメモメモ
■ビッグデータ活用の取り組み
・全世界のビッグデータに対する取り組み
やっている 75パーセントがなんらかはじめている(計画も含め)
なんのため 50%がお客様を知りたい
業務の最適化、リスクもあるが・・
業界別に 公共部門は、業務の効率化もある
インフラは いままでもやってたこと4つ
ウェアハウス、統合、セキュリティがあって+Hadoop、
→まずは基礎
すでにビッグデータと呼べるものがある
データ トランザクション、ログ、e-mail
なにをする レポート、マイニング
段階
準備
検討
試行
実行 6%
積極的にやられている人でも、こんなもん
→どこからやればいい
私たちの生活は、この10数年で、何が変わりましたか?
ノートは紙だった
一番変わったのは地図:電子的
買い物:ネットでショッピング
車:カーナビ
犯罪:インターネット→国境がない犯罪
データは生成され続けている
人が動くたび
動かなくても
四つのV
ボリューム
多様性
スピード
不確かな情報:ソーシャル、意見
新しい特性を持ったデータのつながり
従来のアプローチ:トランザクション
新しいデータのアプローチ:ソーシャル、センサー:非構造化、準構造化
■ビッグデータのユースケース
5つのシナリオ:手がつけやすい
(1)可視化し探索する
どんなデータをどこに持っているか
1箇所に集めずに、どうつながっているかを見極める
(2)お客様の視点で広く
ソーシャル、センサー
(3)セキュリティ
セキュリティ、犯罪の対策に活用
(4)マシンから出てきたデータの活用
サーバーのログファイル
エラー→知見(機械学習も含め)
(5)データウェアハウスの拡張
今日は3つ
・可視化し探索する
データ探索
ソースをつなげる役割:もっと簡単に
→どこを深堀すればいいか?
Infosophia data explorer
・マシンから出てきたデータの活用
タイムスタンプがあっているか
ログがいろいろある→一元的に見えないか?
Big Insights+アプリケーション
いかに効率よく監視
アプリケーションに学ばせて
モデリングの仕組みも
・データウェアハウスの拡張
新しいデータ(非構造化データ)を構造化(Hadoopで)
ソーシャルのノイズの除去
ビジネス・バリュー・マップ(3つ)
データの事前処理を行うハブ(Hadoop→DW)
検索可能なアーカイブ(DW→Hadoop)
データのディスカバリーと分析
■活用可能なテクノロジーとその選び方
活用の3要素
・データ
・テクノロジー
・業務への適用と効果
テクノロジー:特徴と使い方
・ディスク装置
・データが流れる
・非構造化データ
データ統合Data Explorer
サンドボックス:Big Insights(Hadoop)
ウェアハウス:Pure Data,DB2
動的予測・アクション(リアルタイム)Streams
→SPSSなどの判断
IT予算の68%は保守
さらに、空調、電源費用も
新規プロジェクトに半分の予算;5分の1
→ピュアシステム:コスト削減
Pure Data System For Hadoop(Big Insight)
スタートがすぐに切れるように
パラメータ
データの種類
データ量と分析
リアルタイム
構築スキル
分析スキル
ROIとリードタイム
コスト
IBMが提供するテクノロジー
アクセラレーター
ビッグデータの活用は、テクノロジーの組み合わせ
テクノロジーと考え方
(1)可視化し探索する
(2)お客様の視点で広く
(3)セキュリティ
(4)マシンから出てきたデータの活用
(5)データウェアハウスの拡張
なんて話を、昨日、
Information On Demand Conference Japan 2013(iodc2013)
http://www-06.ibm.com/software/jp/data/events/iodc2013/
で聞いてきた。
そのセッションの中の1つ
IBMのビッグデータプラットフォーム戦略(1)
正しいビッグデータ・テクノロジーの選び方
についてメモメモ
■ビッグデータ活用の取り組み
・全世界のビッグデータに対する取り組み
やっている 75パーセントがなんらかはじめている(計画も含め)
なんのため 50%がお客様を知りたい
業務の最適化、リスクもあるが・・
業界別に 公共部門は、業務の効率化もある
インフラは いままでもやってたこと4つ
ウェアハウス、統合、セキュリティがあって+Hadoop、
→まずは基礎
すでにビッグデータと呼べるものがある
データ トランザクション、ログ、e-mail
なにをする レポート、マイニング
段階
準備
検討
試行
実行 6%
積極的にやられている人でも、こんなもん
→どこからやればいい
私たちの生活は、この10数年で、何が変わりましたか?
ノートは紙だった
一番変わったのは地図:電子的
買い物:ネットでショッピング
車:カーナビ
犯罪:インターネット→国境がない犯罪
データは生成され続けている
人が動くたび
動かなくても
四つのV
ボリューム
多様性
スピード
不確かな情報:ソーシャル、意見
新しい特性を持ったデータのつながり
従来のアプローチ:トランザクション
新しいデータのアプローチ:ソーシャル、センサー:非構造化、準構造化
■ビッグデータのユースケース
5つのシナリオ:手がつけやすい
(1)可視化し探索する
どんなデータをどこに持っているか
1箇所に集めずに、どうつながっているかを見極める
(2)お客様の視点で広く
ソーシャル、センサー
(3)セキュリティ
セキュリティ、犯罪の対策に活用
(4)マシンから出てきたデータの活用
サーバーのログファイル
エラー→知見(機械学習も含め)
(5)データウェアハウスの拡張
今日は3つ
・可視化し探索する
データ探索
ソースをつなげる役割:もっと簡単に
→どこを深堀すればいいか?
Infosophia data explorer
・マシンから出てきたデータの活用
タイムスタンプがあっているか
ログがいろいろある→一元的に見えないか?
Big Insights+アプリケーション
いかに効率よく監視
アプリケーションに学ばせて
モデリングの仕組みも
・データウェアハウスの拡張
新しいデータ(非構造化データ)を構造化(Hadoopで)
ソーシャルのノイズの除去
ビジネス・バリュー・マップ(3つ)
データの事前処理を行うハブ(Hadoop→DW)
検索可能なアーカイブ(DW→Hadoop)
データのディスカバリーと分析
■活用可能なテクノロジーとその選び方
活用の3要素
・データ
・テクノロジー
・業務への適用と効果
テクノロジー:特徴と使い方
・ディスク装置
・データが流れる
・非構造化データ
データ統合Data Explorer
サンドボックス:Big Insights(Hadoop)
ウェアハウス:Pure Data,DB2
動的予測・アクション(リアルタイム)Streams
→SPSSなどの判断
IT予算の68%は保守
さらに、空調、電源費用も
新規プロジェクトに半分の予算;5分の1
→ピュアシステム:コスト削減
Pure Data System For Hadoop(Big Insight)
スタートがすぐに切れるように
パラメータ
データの種類
データ量と分析
リアルタイム
構築スキル
分析スキル
ROIとリードタイム
コスト
IBMが提供するテクノロジー
アクセラレーター
ビッグデータの活用は、テクノロジーの組み合わせ
テクノロジーと考え方