Hadoopは、「今では古くなった技術」－今はデータベースをＦＰＧＡで！

Hadoopで、「全ては」できない。
そういう意味で、昔のHadoopに期待していた、

　　「Hadoop入れてまわせば、Bigdataで儲かるよね！？」

という考え？技術？？は今では昔のものになったのかも・・

今の考えは、IBMのPureDataのように、
どうも、Hadoopだけじゃなく、何種類かのデータマネジメント手法が必要で、

　　・１つは、ＢＩ（＝可視化）
　　・１つは、データをためておく（＝スケール）
　　・１つは、高度分析（＝高速計算処理）

と考えるのが相場のようだ。このとき、処理をＦＰＧＡでやらせたほうが、確かに早いだろう。
Hadoop、Hadoopばっかり連呼していると、
時代遅れかも（っていうか、もともと勘違いだけどね、それ）

---

とかいう話に、心のつながりを持った？

Information On Demand Conference Japan 2013(iodc2013)
http://www-06.ibm.com/software/jp/data/events/iodc2013/

の

進化するビッグデータ分析アプライアンスが生み出す企業価値
データウェアハウスアプライアンスの最新バージョン

を聞いてきたので、メモメモ・・・

---

はじめに
・ビッグデータとは
・IBMのアプライアンスとは
・分析とは
皆様のビジネスには、なにが必要ですか？（企業価値とは？）

・ビッグデータ
　ベンダーが言っている？
　　→ハードが売れる？という思惑
　　→バズワード？
　企業にとってビッグデータとは？
　　→結果を出す。儲からなければいけない
　　→なにをしなければいけないか？

・ビッグデータとは
　Twitterの傾向：ビジネスにつなげられるか？
　Facebookのいいね！：見つかったとして、ビジネスにつながる？

■IBMのアプライアンスとは
　なぜ、ハードを売る？
　　→価値のある製品
　　→PureDataという答え
　　　　３種類作った
　　　　　　トランザクション：OLAP
　　　　　　オペレーショナル：データウェアハウス
　　　　　　分析用→今日説明
　大量データをどう企業価値につなげるか
　　ねてぃーざ（IBMが買収）したテクノロジ

・PureData for Analytics
　　簡単、早く、安い：ビジネスにどう大事なのか？
　　去年正しいことが、今年間違い
　　　→一度設計したものが、まったく違うものに

　RedHat

・デモ
　　DB接続
　　DB作成
　　Webログ１億件、１１Gのデータの
　　　　テーブル作成
　　　　テーブルに読み込み　１分６秒
　　　　るあーというプログラムで、
　　　　　　ドメインを切り出すプログラムをつくってあるので
　　　　　　登録する
　　SPSSから
　　　　テーブルアクセス
　　　　登録したプログラムを呼び出す
　　　　　　→１億件分切り出す
　　　　レコード集約（GROUP　BY)
　　　　並べ替えTop100を表示

・これを自分たちのシステムでやったら？

・なぜ、こんなことができるのか？
　　パラレルマシン：２４０並列→DBを積んでる
　　自分は技術を理解しなくていい
　　FPGAを積んでいる

・FPGAによるストリーミング処理
　　インテリジェント・クエリー・ストリーミング処理
　　→これだけで、何倍もの差

■進化する分析アプライアンスの活用
　　BI：レポートするだけ
　　データマイニング、分析：サンプリング

　　　　時代が変わった

　　
　　サンプリングではわからない：毎日毎日、はやっていることが違う
　　　大量データを使って分析する→最適化まで
　　　インデータベースアナリティクス
　　　　　DBにないファンクションをプログラム

従来の分析システム
・今では古くなったHadoopを使って分析
　　８Pとか持っている（Hadoopではまわせない）
・インデータベースでできる

・デモ
　　地図情報のデモ：売上データ