Hadoopで、「全ては」できない。
そういう意味で、昔のHadoopに期待していた、
「Hadoop入れてまわせば、Bigdataで儲かるよね!?」
という考え?技術??は今では昔のものになったのかも・・
今の考えは、IBMのPureDataのように、
どうも、Hadoopだけじゃなく、何種類かのデータマネジメント手法が必要で、
・1つは、BI(=可視化)
・1つは、データをためておく(=スケール)
・1つは、高度分析(=高速計算処理)
と考えるのが相場のようだ。このとき、処理をFPGAでやらせたほうが、確かに早いだろう。
Hadoop、Hadoopばっかり連呼していると、
時代遅れかも(っていうか、もともと勘違いだけどね、それ)
とかいう話に、心のつながりを持った?
Information On Demand Conference Japan 2013(iodc2013)
http://www-06.ibm.com/software/jp/data/events/iodc2013/
の
進化するビッグデータ分析アプライアンスが生み出す企業価値
データウェアハウスアプライアンスの最新バージョン
を聞いてきたので、メモメモ・・・
はじめに
・ビッグデータとは
・IBMのアプライアンスとは
・分析とは
皆様のビジネスには、なにが必要ですか?(企業価値とは?)
・ビッグデータ
ベンダーが言っている?
→ハードが売れる?という思惑
→バズワード?
企業にとってビッグデータとは?
→結果を出す。儲からなければいけない
→なにをしなければいけないか?
・ビッグデータとは
Twitterの傾向:ビジネスにつなげられるか?
Facebookのいいね!:見つかったとして、ビジネスにつながる?
■IBMのアプライアンスとは
なぜ、ハードを売る?
→価値のある製品
→PureDataという答え
3種類作った
トランザクション:OLAP
オペレーショナル:データウェアハウス
分析用→今日説明
大量データをどう企業価値につなげるか
ねてぃーざ(IBMが買収)したテクノロジ
・PureData for Analytics
簡単、早く、安い:ビジネスにどう大事なのか?
去年正しいことが、今年間違い
→一度設計したものが、まったく違うものに
RedHat
・デモ
DB接続
DB作成
Webログ1億件、11Gのデータの
テーブル作成
テーブルに読み込み 1分6秒
るあーというプログラムで、
ドメインを切り出すプログラムをつくってあるので
登録する
SPSSから
テーブルアクセス
登録したプログラムを呼び出す
→1億件分切り出す
レコード集約(GROUP BY)
並べ替えTop100を表示
・これを自分たちのシステムでやったら?
・なぜ、こんなことができるのか?
パラレルマシン:240並列→DBを積んでる
自分は技術を理解しなくていい
FPGAを積んでいる
・FPGAによるストリーミング処理
インテリジェント・クエリー・ストリーミング処理
→これだけで、何倍もの差
■進化する分析アプライアンスの活用
BI:レポートするだけ
データマイニング、分析:サンプリング
時代が変わった
サンプリングではわからない:毎日毎日、はやっていることが違う
大量データを使って分析する→最適化まで
インデータベースアナリティクス
DBにないファンクションをプログラム
従来の分析システム
・今では古くなったHadoopを使って分析
8Pとか持っている(Hadoopではまわせない)
・インデータベースでできる
・デモ
地図情報のデモ:売上データ
そういう意味で、昔のHadoopに期待していた、
「Hadoop入れてまわせば、Bigdataで儲かるよね!?」
という考え?技術??は今では昔のものになったのかも・・
今の考えは、IBMのPureDataのように、
どうも、Hadoopだけじゃなく、何種類かのデータマネジメント手法が必要で、
・1つは、BI(=可視化)
・1つは、データをためておく(=スケール)
・1つは、高度分析(=高速計算処理)
と考えるのが相場のようだ。このとき、処理をFPGAでやらせたほうが、確かに早いだろう。
Hadoop、Hadoopばっかり連呼していると、
時代遅れかも(っていうか、もともと勘違いだけどね、それ)
とかいう話に、心のつながりを持った?
Information On Demand Conference Japan 2013(iodc2013)
http://www-06.ibm.com/software/jp/data/events/iodc2013/
の
進化するビッグデータ分析アプライアンスが生み出す企業価値
データウェアハウスアプライアンスの最新バージョン
を聞いてきたので、メモメモ・・・
はじめに
・ビッグデータとは
・IBMのアプライアンスとは
・分析とは
皆様のビジネスには、なにが必要ですか?(企業価値とは?)
・ビッグデータ
ベンダーが言っている?
→ハードが売れる?という思惑
→バズワード?
企業にとってビッグデータとは?
→結果を出す。儲からなければいけない
→なにをしなければいけないか?
・ビッグデータとは
Twitterの傾向:ビジネスにつなげられるか?
Facebookのいいね!:見つかったとして、ビジネスにつながる?
■IBMのアプライアンスとは
なぜ、ハードを売る?
→価値のある製品
→PureDataという答え
3種類作った
トランザクション:OLAP
オペレーショナル:データウェアハウス
分析用→今日説明
大量データをどう企業価値につなげるか
ねてぃーざ(IBMが買収)したテクノロジ
・PureData for Analytics
簡単、早く、安い:ビジネスにどう大事なのか?
去年正しいことが、今年間違い
→一度設計したものが、まったく違うものに
RedHat
・デモ
DB接続
DB作成
Webログ1億件、11Gのデータの
テーブル作成
テーブルに読み込み 1分6秒
るあーというプログラムで、
ドメインを切り出すプログラムをつくってあるので
登録する
SPSSから
テーブルアクセス
登録したプログラムを呼び出す
→1億件分切り出す
レコード集約(GROUP BY)
並べ替えTop100を表示
・これを自分たちのシステムでやったら?
・なぜ、こんなことができるのか?
パラレルマシン:240並列→DBを積んでる
自分は技術を理解しなくていい
FPGAを積んでいる
・FPGAによるストリーミング処理
インテリジェント・クエリー・ストリーミング処理
→これだけで、何倍もの差
■進化する分析アプライアンスの活用
BI:レポートするだけ
データマイニング、分析:サンプリング
時代が変わった
サンプリングではわからない:毎日毎日、はやっていることが違う
大量データを使って分析する→最適化まで
インデータベースアナリティクス
DBにないファンクションをプログラム
従来の分析システム
・今では古くなったHadoopを使って分析
8Pとか持っている(Hadoopではまわせない)
・インデータベースでできる
・デモ
地図情報のデモ:売上データ