金曜日、 トップエスイー「ビッグデータイブニングセミナー」に行ってきた!
前回は、NECだったけど、今回は、富士通!
競争優位を生み出すビッグデータ利活用技術とその応用
株式会社 富士通研究所
ソーシャルイノベーション研究所第二ソリューション研究部
の、昔、テキストマイニングしてた人
の講演をメモメモ。
なお、表題の「こいつに、テキトーなデータを食わせると、どんな解析がいいか教えてくれるんだって!」を知りたい人は、最後のほうにある、「データから分析シナリオを絞り込む」から見てください。
分析技術とその応用
富士通の考える未来像
・ヒューマンセントリック・インテリジェントソサエティの実現
ビッグデータ利活用技術
1.ビッグデータ
3V
アメダス
Cバンドレーダー
XバンドMPレーダー:アメダスの10万倍→ビッグデータ
IDCによるビッグデータの定義
ビッグデータビジネスの動向
どこからどこまで?→数字は分かれている
ITロードマップ:3段階
活用できていなかった
異業種
センサー・社会インフラ
富士通:今後の柱
ビッグデータに対する認知度
2011から2012で認知度向上
情報システム部:関心
現場:まだまだ
多くの企業は、バズワードとみている
・ビッグデータで何がうれしいのか?
→イメージわかない、投資対効果
提案力が鍵
富士通研究所のビッグデータの取り組み
データ収集:メディア、プライバシーの話
データ処理:Hadoop,CEP
分析:
活用
ビッグデータ利活用技術
データと目的・価値を結びつきえる技術
従来:活用できるデータが足りない
現在:活用しきれていないデータが増加
データ分析技術の適用イメージ
過去の分析
現在の監視
未来の予測
過去の分析の実現イメージ
事象の発生パターン、特徴、シナリオ
予防型リスクマネジメント
運行情報活用
現在の監視
過去事例から抽出・構築した
災害発生検知
未来の予測
説明的→予測的
ヒット予測・・
過去の分析
予防型リスク管理
リスクマイニング技術
品質、安全性のトラブル:現場では分かっていた
→ヒヤリハット、ニアミス:ハインリヒの法則
トラブルレポート
何回も起こる:対応が間違えている?
対応の優先、内容の変化
トラブルレポートの例:交通事故
定型項目と非定型項目で出来ている
なぜなぜ分析をやらなくても、経過でわかる
リスクマイニングのコア技術
テキストマイニング
リスクシナリオ分析:イベント連鎖モデル
センサーデータ活用
テキストマイニング技術
形態素解析
かかりうけ解析
統計処理
共起関係集計
分析・可視化(概念マップ、クラスタリング)
→テキストデータのトップダウン分析
イベント連鎖(順序ある)
リスクシナリオ分析
分種別の判定
格フレームの抽出
イベント抽出
順序関係の抽出
統合マイニング
テキストと数値データを組み合わせ
定量的な因果モデル
トラブルレポート:正常が書いていない
センサーデータを取っておく
マニュアル・手順書
→情報大航海プロジェクト JALと実証実験
センサーデータ活用
テキスト+数値データから定量的な因果モデル
微妙なタイミング、微妙な操作量
車載端末情報からのドライバモデル抽出
でじたこ(でじたるたこめーたー)
ビッグデータ:非構造
現在の監視
複合データ分析による災害検知
XバンドMPレーダーの雨量データとTwitter
Twitterを人間センサーに
GPS情報→ランドマーク→市区町村レベルで推測
伝聞情報の排除
未来の予測
・テキストデータの予測
専門家、非専門家
専門家の予測はサルにも劣る
http://www.asukashinsha.co.jp/book/b101697.html
長期的予測は難しい:バタフライ効果
人間、社会の予測難しい
→AKB総選挙をあてることはできないか?
商品ライフサイクル
売り上げ予測→ソーシャルメディア
前評判;機械学習
電子機器のヒット予測
何を作ったら売れるか?
未充足ニーズ
デルファイ法
Twitter
問いかけをしないで集める
商品観察
アンケート
グループインタビュー
ソーシャルでは分からない
ユーザー属性推定
書き込み内容から推定:機械学習
行動表現解析技術
行動表現抽出辞書
どんな人分析
属性ごとの特徴分析
どうして分析(行動の詳細分析)
未来の予測2:センサーデータを利用
故障・生涯の予測、予兆検知
・故障予測に基づき、予防保全のコストを最小化
リスク低減とコスト削減
個体の予測
マクロ→マイクロ
いろんなセンサーで故障予測分析
部品寿命を予測:生存時間解析
故障予測、予兆検知:いろいろはいっている
異常検知
予兆検知
確率的予測
故障メカニズムの分析
保全計画の最適化
予兆検知:イベントログ
メッセージを分類
スライディングウィンドウで
数値データを利用(モデル作成→モデル適用)
確率的予測
発生リスクと期間をモデル化
→過去に起きたことの繰り返しパターン
未来の予測3シミュレーション
広域道路交通シミュレーター
最近やってない
最適化と制御
・ビッグデータ利活用に対する期待
未来を知りたい
意思決定を最適化
運用イメージ
異常検知、故障予測
電力の効率的利用
オフィスの電力マネジメント→ピークシフト
オープンデータの利用
LOD活用基盤
まだぴんとこない
アメリカ:おばまさんビッグデータを第4の柱に
ビッグデータ:どこにあるんだっけ?
そこで問題:公開すれば使えるの?
→LOD;オープンデータのネットワーク
セマンティックWebとも近い話
リンク自動的にはるとか
ゆくゆくこういう時代
分析シナリオの自動推薦
データサイエンティストみたいな話
→スーパーな人がいない
専門家の知識の再利用
インテリジェントプラットフォーム
テンプレートの再利用
ビジュアルプログラミング的にできる
設計する人は、はじめは専門家
Rつくったのって、埋もれてるよね!
残していきましょうよ
他の人は再利用できる?
データから分析シナリオを絞り込む
足りない情報を出す
抽象化して、テンプレート
http://jp.fujitsu.com/journal/strength/technologies/201212.html
データモデルは作れる?
こういう仕組みは成り立つ
データサイエンティストが毎回行かないといけないのか?
Interstage Business Analyics Modeling Serverの拡張機能として実用化
(分析知識の再利用)
FUJITSU Big Data Initiativeセンター
オファリングメニュー
開発について
最近だと、ソフトウェア地図
前回は、NECだったけど、今回は、富士通!
競争優位を生み出すビッグデータ利活用技術とその応用
株式会社 富士通研究所
ソーシャルイノベーション研究所第二ソリューション研究部
の、昔、テキストマイニングしてた人
の講演をメモメモ。
なお、表題の「こいつに、テキトーなデータを食わせると、どんな解析がいいか教えてくれるんだって!」を知りたい人は、最後のほうにある、「データから分析シナリオを絞り込む」から見てください。
分析技術とその応用
富士通の考える未来像
・ヒューマンセントリック・インテリジェントソサエティの実現
ビッグデータ利活用技術
1.ビッグデータ
3V
アメダス
Cバンドレーダー
XバンドMPレーダー:アメダスの10万倍→ビッグデータ
IDCによるビッグデータの定義
ビッグデータビジネスの動向
どこからどこまで?→数字は分かれている
ITロードマップ:3段階
活用できていなかった
異業種
センサー・社会インフラ
富士通:今後の柱
ビッグデータに対する認知度
2011から2012で認知度向上
情報システム部:関心
現場:まだまだ
多くの企業は、バズワードとみている
・ビッグデータで何がうれしいのか?
→イメージわかない、投資対効果
提案力が鍵
富士通研究所のビッグデータの取り組み
データ収集:メディア、プライバシーの話
データ処理:Hadoop,CEP
分析:
活用
ビッグデータ利活用技術
データと目的・価値を結びつきえる技術
従来:活用できるデータが足りない
現在:活用しきれていないデータが増加
データ分析技術の適用イメージ
過去の分析
現在の監視
未来の予測
過去の分析の実現イメージ
事象の発生パターン、特徴、シナリオ
予防型リスクマネジメント
運行情報活用
現在の監視
過去事例から抽出・構築した
災害発生検知
未来の予測
説明的→予測的
ヒット予測・・
過去の分析
予防型リスク管理
リスクマイニング技術
品質、安全性のトラブル:現場では分かっていた
→ヒヤリハット、ニアミス:ハインリヒの法則
トラブルレポート
何回も起こる:対応が間違えている?
対応の優先、内容の変化
トラブルレポートの例:交通事故
定型項目と非定型項目で出来ている
なぜなぜ分析をやらなくても、経過でわかる
リスクマイニングのコア技術
テキストマイニング
リスクシナリオ分析:イベント連鎖モデル
センサーデータ活用
テキストマイニング技術
形態素解析
かかりうけ解析
統計処理
共起関係集計
分析・可視化(概念マップ、クラスタリング)
→テキストデータのトップダウン分析
イベント連鎖(順序ある)
リスクシナリオ分析
分種別の判定
格フレームの抽出
イベント抽出
順序関係の抽出
統合マイニング
テキストと数値データを組み合わせ
定量的な因果モデル
トラブルレポート:正常が書いていない
センサーデータを取っておく
マニュアル・手順書
→情報大航海プロジェクト JALと実証実験
センサーデータ活用
テキスト+数値データから定量的な因果モデル
微妙なタイミング、微妙な操作量
車載端末情報からのドライバモデル抽出
でじたこ(でじたるたこめーたー)
ビッグデータ:非構造
現在の監視
複合データ分析による災害検知
XバンドMPレーダーの雨量データとTwitter
Twitterを人間センサーに
GPS情報→ランドマーク→市区町村レベルで推測
伝聞情報の排除
未来の予測
・テキストデータの予測
専門家、非専門家
専門家の予測はサルにも劣る
http://www.asukashinsha.co.jp/book/b101697.html
長期的予測は難しい:バタフライ効果
人間、社会の予測難しい
→AKB総選挙をあてることはできないか?
商品ライフサイクル
売り上げ予測→ソーシャルメディア
前評判;機械学習
電子機器のヒット予測
何を作ったら売れるか?
未充足ニーズ
デルファイ法
問いかけをしないで集める
商品観察
アンケート
グループインタビュー
ソーシャルでは分からない
ユーザー属性推定
書き込み内容から推定:機械学習
行動表現解析技術
行動表現抽出辞書
どんな人分析
属性ごとの特徴分析
どうして分析(行動の詳細分析)
未来の予測2:センサーデータを利用
故障・生涯の予測、予兆検知
・故障予測に基づき、予防保全のコストを最小化
リスク低減とコスト削減
個体の予測
マクロ→マイクロ
いろんなセンサーで故障予測分析
部品寿命を予測:生存時間解析
故障予測、予兆検知:いろいろはいっている
異常検知
予兆検知
確率的予測
故障メカニズムの分析
保全計画の最適化
予兆検知:イベントログ
メッセージを分類
スライディングウィンドウで
数値データを利用(モデル作成→モデル適用)
確率的予測
発生リスクと期間をモデル化
→過去に起きたことの繰り返しパターン
未来の予測3シミュレーション
広域道路交通シミュレーター
最近やってない
最適化と制御
・ビッグデータ利活用に対する期待
未来を知りたい
意思決定を最適化
運用イメージ
異常検知、故障予測
電力の効率的利用
オフィスの電力マネジメント→ピークシフト
オープンデータの利用
LOD活用基盤
まだぴんとこない
アメリカ:おばまさんビッグデータを第4の柱に
ビッグデータ:どこにあるんだっけ?
そこで問題:公開すれば使えるの?
→LOD;オープンデータのネットワーク
セマンティックWebとも近い話
リンク自動的にはるとか
ゆくゆくこういう時代
分析シナリオの自動推薦
データサイエンティストみたいな話
→スーパーな人がいない
専門家の知識の再利用
インテリジェントプラットフォーム
テンプレートの再利用
ビジュアルプログラミング的にできる
設計する人は、はじめは専門家
Rつくったのって、埋もれてるよね!
残していきましょうよ
他の人は再利用できる?
データから分析シナリオを絞り込む
足りない情報を出す
抽象化して、テンプレート
http://jp.fujitsu.com/journal/strength/technologies/201212.html
データモデルは作れる?
こういう仕組みは成り立つ
データサイエンティストが毎回行かないといけないのか?
Interstage Business Analyics Modeling Serverの拡張機能として実用化
(分析知識の再利用)
FUJITSU Big Data Initiativeセンター
オファリングメニュー
開発について
最近だと、ソフトウェア地図