昨日、
Information On Demand Conference Japan 2013(iodc2013)
http://www-06.ibm.com/software/jp/data/events/iodc2013/
で聞いてきた。
そのセッションの中の1つ
IBMのビッグデータ・プラットフォーム戦略(2)
ビッグデータ・テクノジーの使い方とユースケースの実演
について、メモメモ
(表題の顔検出に関しては、一番最後)
■セミナー内容
多くの人が様子を見ている
情報収集・勉強中
誰かが始めたからうちも
ちゃんと勉強しておかないと 28%
まずは、小さくはじめる
手のひらで動く
IBMの技術は多くの分野で応用
事例があるのはよくわかるけど、具体的には
ビッグデータ活用:5つのシナリオ
・可視化する
・顧客に関する視点を広くする
・セキュリティをインテリジェントに
・データウェアハウスを拡張する
・マシンデータを可視化し、分析する
複数のログから原因を特定する難しさ
HTTP 500内部サーバーエラー
非構造化、半構造化
→パッケージ化されたソリューション
Hadoopが後ろで動いている
Bigdata=Hadoopといわれていた時代もあった
ログのパターンを見つける
MDA(マシンデータアクセラレータ)
データサイエンティスト的にいうと
ロジスティック回帰アルゴリズム
すべてのデータとあらゆる分析を活用できる
新しいアーキテクチャ
ちがうところ
リアルタイム:アルゴリズムトレーディング(スピード)
非構造化データ(多様化):Hadoop
→ランディングさせる、
アーカイブ
いままで:何かにためて処理をする(タイムラグ)
→ストリームコンピューティング
リアルタイム分析
時系列リアルタイム分析(予測:実績)
データサイエンティスト的にいうと
ARIMAモデル(自己回帰和分移動平均)
動画のリアルタイム分析
Amazonのクラウド上のデモ環境:1時間ぐらいで作れる
動画ファイルを読み込み
顔検出→丸をつける
データサイエンティスト的に言うと
Haar-Like検出アルゴリズム
→オープンソースでダウンロードできる
学習させる(機械学習)
OpenCVをいれて
火事が起きたときのPM2.5の拡散のリアルタイム分析
5年10年たつと、リアルタイム処理が普通になる?かも??
ハンズオンラボの機会を5月か6月にも・・
■セミナーが終わって
一番最後の「動画のリアルタイム分析」が、
顔検出技術を使って、動画のビッグデータ処理をする話
に相当する。
顔検出技術が、「Haar-Like検出アルゴリズム」で、
OpenCVでは、これを利用して、顔検出ができる。
具体的なやり方は
Haar-like特徴を用いた顔の認識
http://d.hatena.ne.jp/a-sukiyaki/20120805/p1
を参照のこと。
OpenCVの入手に関しては
OpenCV のインストール
http://www.ok.ctrl.titech.ac.jp/~tkanda/opencv_install.htm
や
opencv.jp
http://opencv.jp/
を参照のこと
Information On Demand Conference Japan 2013(iodc2013)
http://www-06.ibm.com/software/jp/data/events/iodc2013/
で聞いてきた。
そのセッションの中の1つ
IBMのビッグデータ・プラットフォーム戦略(2)
ビッグデータ・テクノジーの使い方とユースケースの実演
について、メモメモ
(表題の顔検出に関しては、一番最後)
■セミナー内容
多くの人が様子を見ている
情報収集・勉強中
誰かが始めたからうちも
ちゃんと勉強しておかないと 28%
まずは、小さくはじめる
手のひらで動く
IBMの技術は多くの分野で応用
事例があるのはよくわかるけど、具体的には
ビッグデータ活用:5つのシナリオ
・可視化する
・顧客に関する視点を広くする
・セキュリティをインテリジェントに
・データウェアハウスを拡張する
・マシンデータを可視化し、分析する
複数のログから原因を特定する難しさ
HTTP 500内部サーバーエラー
非構造化、半構造化
→パッケージ化されたソリューション
Hadoopが後ろで動いている
Bigdata=Hadoopといわれていた時代もあった
ログのパターンを見つける
MDA(マシンデータアクセラレータ)
データサイエンティスト的にいうと
ロジスティック回帰アルゴリズム
すべてのデータとあらゆる分析を活用できる
新しいアーキテクチャ
ちがうところ
リアルタイム:アルゴリズムトレーディング(スピード)
非構造化データ(多様化):Hadoop
→ランディングさせる、
アーカイブ
いままで:何かにためて処理をする(タイムラグ)
→ストリームコンピューティング
リアルタイム分析
時系列リアルタイム分析(予測:実績)
データサイエンティスト的にいうと
ARIMAモデル(自己回帰和分移動平均)
動画のリアルタイム分析
Amazonのクラウド上のデモ環境:1時間ぐらいで作れる
動画ファイルを読み込み
顔検出→丸をつける
データサイエンティスト的に言うと
Haar-Like検出アルゴリズム
→オープンソースでダウンロードできる
学習させる(機械学習)
OpenCVをいれて
火事が起きたときのPM2.5の拡散のリアルタイム分析
5年10年たつと、リアルタイム処理が普通になる?かも??
ハンズオンラボの機会を5月か6月にも・・
■セミナーが終わって
一番最後の「動画のリアルタイム分析」が、
顔検出技術を使って、動画のビッグデータ処理をする話
に相当する。
顔検出技術が、「Haar-Like検出アルゴリズム」で、
OpenCVでは、これを利用して、顔検出ができる。
具体的なやり方は
Haar-like特徴を用いた顔の認識
http://d.hatena.ne.jp/a-sukiyaki/20120805/p1
を参照のこと。
OpenCVの入手に関しては
OpenCV のインストール
http://www.ok.ctrl.titech.ac.jp/~tkanda/opencv_install.htm
や
opencv.jp
http://opencv.jp/
を参照のこと