RubyやCによるOpenFlowのオープンソースなプラットフォーム Trema

きのう、
SCSKのOSSユーザーのための勉強会で、

「OpenFlowプログラミングフレームワーク Trema」

を聞いてきた。

TremaはRubyやCによるOpenFlowのオープンソースなプラットフォーム。
ここのサイト

Trema
Full-Stack OpenFlow Framework in Ruby and C
http://trema.github.io/trema/

にソース、使い方などある。

それでは、以下、聞いてきたお話のメモメモ

---

（講師の自己紹介）

SDNとOpenflowとTremaの関係

SDNとOpenFlow
　SDN
　　・明確な定義がない
　　・ソフトウェアでネットワークを制御・管理する技術全般またはコンセプト
　OpenFlow
　　・Openflowの規約できまっているもの

OpenFlowとは
・今までスイッチでできなかったこと
・スイッチの集中管理

SDNの概略図例

NECビッグローブのSDN
・MPLS　Japan(2012/10）発表
・矛盾のない一括設定
・データセンター仮想化を実現するクラウドコントローラー

GoogleでのSDN
・Open Networking Summit(2012/4)で発表
・G-Scale全体の開き帯域を一括して管理するため
　　トラフィックエンジニアリングサーバー
　　SDNゲートウェイ
　　Openflowコントローラー

OpenflowとTremaの関係
・Tremaは実装のひとつ

主なフレームワーク
　Trema
　POX
　NOX
　Floodlight

Tremaの考え方
　OpenFlowプロトコルをフルに実装
　Ruby,Cで簡単に開発できるように
　簡単にテスト
　１台のパソコンで

Tremaを利用したときの開発のイメージ
　簡単に作成・試してみる

Trema
　　Openflowコントローラー向けライブラリ
　　ネットワークエミュレーター

Tremaはどう使われている
　　よくわかっていない
　　大学、企業の研究で
　　日本で使われている
　　導入例も

Tremaコミュニティ
　Trema塾
　とれま寺
　OpenFlow実践入門
　TremaDay
　メーリングリスト、その他
　Twitter
　個人のブログ

コミュニティに参加している人
　TremaでOpenflowをはじめるために
　rubyを勉強している人
　既存のネットワークでの課題を持っている人
　SDN関連の最新情報を抑えておきたい人
　上司からOpenFlowを導入できないかといわれて
　ネットワークで有名になりたい
　ネットワークプログラミング

話題
　Trema-Sharkというデバッグツールのインストール
　Openflow version1.3
　TremaのAPIの設計方針とツール
　SDNのノースバウンドAPIの定義
　TremaのRuby
　人生相談
　　　上司の説得方法

課題と今後
　　Tremaの現行版（Ver1.0に対応）
　　Trema-edge（Openflow１．３対応）
　　TremaApps

Tremaの現状の課題
　　・ユースケース（アプリケーション）が不足
　　　　情報が公開されていない
　　・OpenflowV1.3対応
　　　　接続性の確認
　　　　１．０と１．３の動きが違う
　　・SDNノースバウンドAPIや抽象化、モデル化

Tremaの今後
　　・TremaDayを続ける。次回は７月を予定
　　・OpenFlow１．３

TremaとOpenDaylightの関係
　すみわけとかない
　なんかしていくというはなしもない
　ぜんぜんわかってない

WindowsXPだけでなく、Office2003もサポート切れになるんだけど・・・大丈夫？

ＸＰ更新悩む自治体…財政難「使い続けるしか」
http://www.yomiuri.co.jp/net/news0/20130527-OYT1T00182.htm


一生懸命、ＸＰからの移行作業、やってるようですね！

ところで、２０１４年にサポート切れになるのは、ＸＰだけでなく、
Office2003もそうなんだけど、大丈夫？

http://www.microsoft.com/ja-jp/windows/lifecycle/xp_eos.aspx?WT.mc_id=13_cm_wi_eos_

XPを入れている人って、Office2003入れてることも多いから、注意だよね！

BRMSが、流行なの・・・

なんか、最近、ＢＲＭＳが流行らしい。
ＢＲＭＳは、ビジネスルールをマネージメントするシステムで
（って、文字まんま！やん　＾＾；）
ビジネスルールを自然言語で書いて、プログラムと分離して管理できる。

こいつから、プログラムが自動生成できて・・・
っていうのは、他の自動生成の話と同様の話なわけで・・・
それで、「日本では導入が遅れている・・・」というように話すのも、
おなじみのパターン。

---

実は、今開発の中心作業は、ユーザーインターフェースだったりする。
なので、むしろ、ビジネスモデルより、ユーザーインターフェースの部品を
きっちり管理でき、デバイスに対して
（単純なレスポンシブＷｅｂデザインではなく）
端末毎の制御をきっちりしてくれるＩＤＥ環境のほうが、
開発効率は上がると思う。

まあ、話として、ＢＰＭとＢＲＭＳを統合して、サーバー側の
ビジネスプロセスを、ＲＥＳＴ形式で呼び出し可能にして、
それを、ＧＵＩ側の自動生成ツールで呼び出せれば、
自動化は、完了することになる。

---

あと、もうちょっとなんだけど、ＢＲＭＳとか、ＢＰＭとか、
話題になってから、結構時間がかかっているので、
難しい話なのかもしらん。。。

ＲでＣＳＶファイルを結合して、クロス集計した結果を図で示す

こんにちは。データ分析・活用実践講座 ７班の班長です。

わが班の発表の、最後、Ｒでクロス集計を行って、その結果を

のように、図示する方法について、あとで聞きに来たかたがいたのに、
はっきり答えなかったので、ここで紹介しておきます
（って、その人がこのブログを見てくれているとも思えないけど・・・　＾＾；）

---

まず、やりたいことは、こんなかんじ。

【やりたいこと】 ・ここに購入履歴（rireki.csv)と、購買者属性（zokusei.csv）がある。 　　購入履歴には、購買者ＩＤ(ID)，購入品番（Goods:１～６）・・・などなど 　　購買者属性には、購買者ＩＤ(ID)、部署(Busho:1～10)、性別(Sex:1,2)・・・などなど 　がある ・ここで、商品（１～６）ごとに、どのような部署が買っているか、男性・女性どちらが買っているか 　などをクロス集計して、結果を図示したい

そこで、やることは、

【やること】 ・２つのＣＳＶファイルを読み込み ・２つを結合して（marge) ・商品と部署、商品と性別をクロス集計して（table) ・表示する

ということになる

これを、Ｒでやると、こんなかんじ

【Ｒのコマンド】 rireki <- read.csv("rireki.csv") zokusei<- read.csv("zokusei.csv") head(rireki) rireki2<- merge(rireki,zokusei,by="ID") head(rireki2) table(rireki2$Goods,rireki2$Busho) plot(table(rireki2$Goods,rireki2$Busho))

読み込みは、いきなりread.csv("rireki.csv")と書いているが、実はこの前に
メニューから　ファイル＞ディレクトリの変更　で以下のように

読み取りディレクトリを変えている

marge(ＣＳＶファイル１、ＣＳＶファイル２、ｂｙ＝”結合するキー”）
となる。今回結合するキーはＩＤ

tableでクロス集計、それをplotで表示するが、
クロス集計表とplotで表示する項目が、縦横逆になる

ので注意

これが、さっき書いた

　大掛かりな解析や、ソフト開発の話がいらない割りに、リアルタイムに状況が把握でき、次の一手がすぐに打て、その結果がすぐにわかるので、効果がすぐに出やすい。
Ｒでも、これなら簡単にできる（というのを、次のエントリーで示す）

のこと。

---

なお、「データ分析・活用実践講座 [演習付き]」についての感想。

おもしろかった（‘＿‘！）
はじめのほうは、とくに、

　　シート３７　回帰系の体系と
　　シート３８　分析手法マップ
　　シート４２　手法毎の主な用途

が、超大切なシート！

午後はＲをつかってなんだけど・・・
・・・ちょっと、途中、ついていけなくなった（；＿；）・・・
いや、やってることは、わかるんだけどね、
データで迷子になってしまった感じ（＾＾；）

即興で７班の班長による、データをざっと見る話（上記のやつ）が
あったけど・・・便利でしょ、これ。
見たいテーブルを、margeしていき、それをtableでクロス集計していく。
そして、plotして特徴を大づかみに掴む。
このぐらいでいいんではないでしょうか？

全体的には、ＢＩ，ＢＡのレベルまでを一気に行う
（決定木をつかって）
雰囲気的には、データ分析の初歩的な感触はつかめた気がする。

以上、報告終わり！

ビッグデータより現場のデータ解析、HadoopよりARで可視化のほうが儲かるはず！

ここの記事

ビッグデータは統計学と矛盾する？
http://itpro.nikkeibp.co.jp/article/Watcher/20130522/478709/

ビッグデータの問題点として
（以下の四角内は、上記サイトを引用したものを加工）

・本当にビッグデータが必要なのか、目的が明確なのか 　　　→目的さえ明確であれば、必ずしも大量のデータはいらない（統計学者） ・大量データのメンテナンスを誰がどう行うか ・データサイエンティストの育成だけでなく、現場の社員のデータ分析力も向上させるべき 　　　→「数字に強い」現場ならば、強い企業になるに違いない

実は、この１番目と３番目が重要で、利益を出す、お金儲けが目的なら、
現場でデータ処理したほうがよく、その場合、ビッグデータである必要は
まったくなく、データメンテナンスが少なくて済む。

---

　ちょっと勘違いされやすいのだが、ビッグデータ処理は、現場に役立つ知識が
出てくるとは限らない。どちらかというと、セールスプロモーションとか、
ちょっと長期なものがでる（もっと深い分析をすると、マーケティング寄りになる）

　たとえば、「さよならクロール」（ＡＫＢ４８の新曲）を買っている人は、「AKB48総選挙公式ガイドブック2013」も買っています。とＡｍａｚｏｎなら出てきます。ビッグデータだと、「協調フィルタリング」という手法？分野？ですね。

　でも、だからといって、レコードやさんで、「さよならクロール」の横に、「AKB48総選挙公式ガイドブック2013」を置こうとしても、そもそも、公式ガイドブックは本なので、仕入れからしないといけないので、すぐに置けるものではないのです。つまり、ＡｍａｚｏｎとかＥＣサイトだと、ビッグデータの手法は、現場で役立つのですが、リアルな店舗では、すぐに役立つとは限りません。

　決定木もそうで、「○○で△△なお客さんは、■■な商品を購入する」とわかっても、○○で△△なお客さんがきたときに、■■を手に持って、店員がお客さんに、そーっと忍び寄って、「ほら！」と見せたら、そりゃーあなた、店員はストーカーっすよ（＾＾；）

---

　実際に役立つのは、ＰＯＳデータの売上を、現場のiPadに表示してあげるとか・・・
　最近売れているのは、

　　　「さよならクロール」のTypeA,K,Bとか、
　　　お客さんは何時に来るとか（これはセンサーが必要）、
　　　来るお客さんの割りに、売上が立たないとか・・・

　そういうこと。これは、ＰＯＳデータのほかに、お客さんに反応するセンサー、
　表示するiPadのアプリとか、その程度の話になってくる。

　大掛かりな解析や、ソフト開発の話がいらない割りに、リアルタイムに状況が把握でき、次の一手がすぐに打て、その結果がすぐにわかるので、効果がすぐに出やすい。
Ｒでも、これなら簡単にできる（というのを、次のエントリーで示す）

　そして、見やすくするなら、ＡＲで、どの商品が（ないしはどの売り場が）売れているかを一目で表示するとかのほうが、Ｈａｄｏｏｐを導入するより、現場に身近で、効果が出やすい

---

つまり、すぐにお金儲けをしたいのなら、
　　ビッグデータとかで、Hadoopなどを導入するよりも、
　　現場でデータ解析をして、iPad等のタブレットに表示など
　　　（さらにはARで可視化など）
現場の営業力を強化するためにデータ解析をしたほうがいい。

どんなセールスプロモーションを打つかとか、
商品の仕入れなど、ちょっと時間を置いて考えるようなことに使う目的なら
ビッグデータで使われるデータマイニング、機械学習の手法が生きてくる

さらに、消費者を理解して、新商品開発とかになると、
もっと高度な統計モデルを作成する手法が生きてくる

目的によって使い方がかわるのだが、
多くはたぶん、「すぐにお金儲け」なんじゃないか？
だとしたら、ビッグデータじゃなくって、それは、現場でのデータ分析手法で、
力を入れる分野、ちがうぞ？？

マイクロソフト、国内にAzureサービスのデータセンターを開設

ちょっと古いニュースだけど・・・

マイクロソフト、国内にAzureサービスのデータセンターを開設
http://www.itmedia.co.jp/enterprise/articles/1305/23/news082.html

（以下太字は、上記サイトより引用）
で、ここで


、富士通とのWindows Azureをベースとしたクラウド分野での戦略的協業についても触れ、「協業を継続し、より両社のサービスの連携を強化したものへと進化させていく」としている。

って言ってるけど、マイクロソフトがAzureのクラウドやって、
どう協業するんだろう？？

世界最先端ＩＴ国家創造－内閣官房IT担当室

なんか、日本政府が自ら「世界最先端」
なんていっちゃうと、ちょっとはずかしい・・・


『世界最先端ＩＴ国家創造』宣言（案）に関する
パブリックコメントの募集について
http://www.kantei.go.jp/jp/singi/it2/info/h250524-public.html

ビッグデータ分析を超えた先にある、数理と経験を融合するベイズモデル（１）－２

この前のマーケティングの講義が
興味深かったのでメモメモ。

前に書いた話のつづき。
顧客理解からかな・・・

---

■「顧客の理解」の「理解」とは
・理解とは、真の構造解明（真理）ではない
　仮説的役割を担う、高次情報を抽出

赤池先生いわく
・科学的知識でも
　　究極の真理→内容が進化している

・なので、私たちが求める真理とは
　　・現在の知識に依存：相対的
　　・一つの近似を与えるモデル

■（コラム）赤池先生・・・
・ＡＩＣの赤池先生
・火力発電所とか、いろいろ研究してたけど、
・ノーベル賞は分野的にだめだったけど、京都賞はもらったよ。
・統数研では、「グレンジャー因果性（コーザリティ）より、赤池のVARモデルだよね！」
・晩年は、ゴルフスィングの研究！？
・お別れ会で「赤池先生ナイスショット！」

■消費者を理解する
　理解→仮説を発見する
　モデル→ずっと正しいことは、ありえない
　　　記述能力：データを説明できる
　　　汎化能力：予測する能力

　通常の場合
　　　記述能力は、説明変数を増やせば向上する（決定係数は１に近づく）が、
　　　汎化能力が低下するというトレードオフにある
　
　ベイズは
　　　記述能力も汎化能力も上げる

■マーケティング高度化のツール
　柔軟にモデル化しようとする→膨大なパラメータ
　　　ここで標本数ｎ、パラメータｐとすると、
　　通常の統計　ｎ　＞＞　ｐ
　　　　　　　　ｎ　＜　　ｐ　だと、解けない

　　ベイズ　　　ｎ　＜＜　ｐ　を解く

　最近は、ｎが大きくても解ける


　さいきんは・・
　　マルコフ連鎖モンテカルロ法（ＭＣＭＣ）


　プライヤーを外から与える

■今日的課題
　結果データから、マーケティングを高度化する
　　・消費者異質性
　　・時間的異質性
　　・内生性
　→通常の手法では、モデル化、推定が困難

■推論
　　演繹
　　帰納
　　アブダクション
　帰納推論：頑健性はない、蓋然的だが、知識が拡張できる

---

＜＜ベイズ＞＞

■ベイジアン

　まず、回帰を考える
　　　Yn=C+αXn + εn , εn=(0,σ2)　（つまり、誤差は正規分布）
　　　Yn=平均値 + ランダムなゆらぎ
　このとき、Ｃ、αを推定するのが、統計モデル

　推定方法：通常は、最尤法→尤度関数を最大化
　　　→パラメーター数は、サンプル数よりかなり小さい

　統計モデルのパラダイムシフト
　　・パラメータの次元を小さくすることが美徳
　　　→モデルの記述力は低くなる

　　　↓

　　・パラメータにも、統計モデル：外の情報を足す
　　　→ベイズモデル
　　
　ベイジアンモデリング
　　　さまざまな情報を分布の形で表現
　　　　　→平均＋散らばり度合い
　　　「平均で考える」ことから、「分布で考える」へ

■ベイズの定理

知っておくべきこと：
　　条件付確率　Ｐ（Ａ｜Ｂ）
　　同時分布　Ｐ（Ａ,Ｂ）＝P(A|B)P(B)=P(B|A)P(A)

ベイズの定理
θ＝パラメータ　Ｙ＝データ
Ｐ（θ｜Ｙ）＝事後分布　Ｐ（θ）＝事前分布
Ｐ（Ｙ｜θ）＝データ分布（尤度関数）のとき

Ｐ（θ｜Ｙ）＝Ｐ（Ｙ｜θ）・Ｐ（θ）／Ｐ（Ｙ）
　　　　　　∝Ｐ（Ｙ｜θ）・Ｐ（θ）
　　　　　　＝Ｐ（Ｙ,θ）→同時分布

■ベイズ更新

　　事前情報→事前分布
　　　　　　　　　　　　＞　ベイズの定理　→　事後分布
　　データ　→尤度

---

次回に続く！

ライフログなどの行動のビッグデータ（人間行動理解）のためのフリーのツールなど

情報処理２０１３年６月号　Ｐ５６８～

行動センシング総合ツール　ＨＡＳＣ　Ｔｏｏｌ

に出ている、人間行動理解のためのフリーのツール
ＨＡＳＣ　Ｔｏｏｌのありか

http://hasc.jp/tools/hasctool/format.html


これは、「人間行動理解のための装着型センサによる大規模データベース構築」

HASC
http://hasc.jp/

内にあります。

---

また、Ｐ６００に出てくる「良く知られた行動認識手法」は、
ここ

Activity Recognition from User-Annotated Acceleration Data
http://web.media.mit.edu/~intille/papers-files/BaoIntille04.pdf


あとは、ジェスチャ認識とかですかね・・

ビッグデータ分析を超えた先にある、数理と経験を融合するベイズモデル（１）－１

この前のマーケティングの講義が
興味深かったのでメモメモ。

主に

ビッグデータには、３段階あると思う。日本のSIerは、一番儲かる部分をやってないよね！
http://blog.goo.ne.jp/xmldtp/e/70268386f94206ebfc407251346385aa

で書いた、第三段階を実現するためのベイズの話なんだけど、
今日は主に、

なぜ第二段階の、現在SIerが行おうとしている
「相関に基づくビッグデータ分析」が、だめなのか

その限界を述べるところで終わっている。
そこまでのメモメモ

（上記サイトを先に見たほうがいいかも。じゃないと、この講義の意味通じないかも？？）

---

■この講義の内容
　マーケティングの研究分野で何を考えているか
　→統計モデルのうち、時系列、状態空間モデルを扱う
　　線形ガウス（性質いい）　→　非線形非ガウス

■参考書は？
・ベイズモデルの参考書

データ解析のための統計モデリング入門
―― 一般化線形モデル・階層ベイズモデル・MCMC ――

http://www.iwanami.co.jp/.BOOKS/00/X/0069730.html



・時系列解析

　時系列解析入門
　北川　源四郎　岩波書店　２００５

　特に状態空間の時系列なら、コレ！！


　予測に生かす統計モデリングの基礎
　樋口知之　講談社　２０１１

・網羅的には・・・

　パターン認識と機械学習 上　下
　ビショップ
　http://www.amazon.co.jp/dp/4621061224

なんだけど、わかりにくいかも・・・特に下巻

■ベイズは・・
　　・１９８５年ごろに出て、
　　・３０年ぐらいたった今、日本語のベイズ本もいっぱい
　　・モデリング、推定の世界では普通の話（もはやコモンセンス）
　　・論文誌に採録させるには、ベイズの香りをさせないとね・・


■マーケティング研究
　　トランザクションデータを
　　　　・マイニングする
　　　　・統計処理→本講義では、コレ（統計モデル、しかもベイズ）
　　　　・機械学習

　　身近なところに潜んでいる構造の解析

　　マーケティング：買い手中心、短・中期

■課題解決の戦略
　経験、勘だけで妥当な評価ができるか
　　→それだけではだめ。属人性が入るから
　　→データと統計モデルがいる

　経験や勘がいけないといっているのではない。
　経験や勘を積極的にマーケティングのモデルに採用
　　→経験・勘と、データの融合：ベイズモデル

■アナリシスとモデリングの違い
　アナリシス（分析）：データを食わせて何か得る
　モデリング　通常引っ張り出せない情報を得る
　　→まったく違う

　　　　｜　　　　　　　　
　　　　｜有　　　　誤差じゃない
　　誤　｜益　　　　当たり前の情報←分析ではここが出てきてしまう
　　　　｜情
　　差　｜報←ここの情報を狙って取ってくるには
　　　　｜　　精緻なモデリングで引っ張ってくる必要

＜＜フロアからの質問＞＞
Ｑ：具体的にどんなときに、単純な分析だけでは出てこない状況が考えられるか
　　そして、その話と、経験と勘と、いったい、どう結び付くのか？

Ａ：例えば、Ｗｅｂでの広告の効果測定を考えよう。
　　広告と、売上データ、訪問履歴データは取れる。
　　しかしそれだけでは、どういう人が、広告をどう受け取り、何を考えて・・・
　　とか、さっぱり判らない（広告と売上、訪問履歴の相関しか出ないから）

　ここで、広告の受け取り方や、商品購入のアンケート結果があったとしたら、
　これとデータフュージョンさせることにより、その辺がわかる。

　つまり、これからやろうとしているベイズの話は、
　経験や勘をデータフュージョンさせようという話。
　経験や勘も情報、つまり別ソースのデータなんだよね！

　データが正規分布してたとする。ここに情報を加えると、不確実性は減る（分散減る）
　その情報として、経験や勘を使う

---

■マーケティングによる科学的なものの捉え方
　１．具体性・現実性
　２．操作性→数字で表現
　３．変動性→つねに変動
　４．傾向性→だけど、傾向はある

■片平「マーケティングサイエンス入門」
　データ
　論理　　　　　　→ジャーナルで重要
　市場　　　　　　→ここまでがデータ解析
　マネジリアル　　→ジャーナルではあまり求められない

（以下、論文の書き方なので、これを見ている人には
　関係ない話だろうから省略。博士課程の講義なので、
　ここが重要なんだけど　＾＾；）

■ＩＤつきＰＯＳデータ
　（商品、消費者、時間）の３次元→Massiveだけど、Sparse

■異質性
　　消費者異質性
　　　：消費者毎のパラメータいる
　　　　同じものを買っても違う理由
　　動的異質性
　　　：時間によって、同じ人でも変わる

（以下、論文の傾向と査読通過の話なので省略）

■消費者を知る　　
　　現代：需要が供給を決める
　　供給者：需要側の構造把握
　　　→今とれるのは、結果データ
　　　　　→理由となるデータは直接取れない

　　結果にいたるメカニズムの理解が必要
　　　→表層的な結果データの関連性は、「理解」ではない

---

あ～なげ～・・・一旦ここできる。

ここまでをまとめると（ちょっと付け足している）、

・データを分析しても、それだけでは、当たり前な結果しか出てこない
　さらに、みんな同じようなデータ、同じような解析方法をしてしまったら
　同じような結果が得られ、競争優位性はない。

・ＰＯＳデータ等、結果データを元に、
　相関とか求めても（ここまでが今のSIerさんのビッグデータ分析）、
　表層的な結果データの関連性が出てくるだけで、
　顧客を理解できない

・そこで、他社よりも有益な情報を得るには、
　属人性が必要になってくる。
　この属人性である勘や経験を加味して、
　より有益な情報を取れるようにするのが、
　ベイズである。

次からは、「顧客の理解」とは、どういうことかを議論する。
真の理解は可能なのか、必要なのか・・・
とかいう話。

質的データ、テキストを扱うフリーソフト

授業で出てきたものを、メモメモ


■　ＱＳＲ　ＮＶＩＶＯ
http://www.qsrinternational.com/


先生は、グラウンデッド・セオリーとかをするのにいいよ！
って言ってた。

詳しくは

http://www.hulinks.co.jp/software/nvivo/

(表題に書いてあるＵＲＬは、無料版を取得するサイト）
使い方は（古いけど）

http://download.qsrinternational.com/Document/NVivo8/Japanese/NVivo8-Getting-Started-Guide.pdf

---

■ KH Coder
http://khc.sourceforge.net/

テキストマイニング用フリーツール

---

■NodeXL
http://nodexl.codeplex.com/

ネットワークが書けるＥｘｃｅｌシート

オープンソースプロジェクトに貢献したい初心者におすすめのプロジェクト

だって

オープンソースプロジェクトに貢献したい初心者におすすめのプロジェクト
http://opensource.slashdot.jp/story/13/05/21/094250/

Sunの販売予測は、今のビッグデータ解析より、進んでいた、ってことか・・・

この前、

ビッグデータには、３段階あると思う。日本のSIerは、一番儲かる部分をやってないよね！
http://blog.goo.ne.jp/xmldtp/e/70268386f94206ebfc407251346385aa

で、ビッグデータを３段階に分けた。

第一段階は、ＢＩとか

第二段階は、統計と機械学習による予測

第三段階は、ＳＥＭ，ベイズ・シミュレーションを利用した未来の創造

って書いた。これを、富士通フォーラムの聞いてきたお話に当てはめると、

第一段階は、

ビッグデータを使って儲け（データ分析の利益）は、どこから出てくるか
http://blog.goo.ne.jp/xmldtp/e/c446d8f3fe3522de91980b096909302c

で書いた、アクショナブルリアルタイム分析、

第二段階は、

富士通のビッグデータの考え方
http://blog.goo.ne.jp/xmldtp/e/f185d3792aaf55da64cd70b2b2520338

に出てくるキュレーターとなる。

　第二段階と第三段階を分ける特徴として、業務知識を利用するかどうかにある
（第二段階では、機械学習をするので不要、
　第三段階では、パス図を作るのに必要）
「業務知識を捨てることが重要」のようなことを言っていたので、
やはりキュレーターは第二段階だろう・・

---

このビッグデータと同じような動きをしたのに、ソフトウェアの見積もりがある。


見積もり手法の歴史とCoBRA法
http://blog.goo.ne.jp/xmldtp/e/1c9209ebd5948764174f9bcf90185dc4

で慶応ＳＤＭで行われた、ＩＰＡによるソフトウェアの見積もりのお話をまとめたが、

そこにあるように

見積もりははじめ、どういう変数を重視するか、どういう風に図で表すか
などの話（第一段階）から、ベームによるＣＯＣＯＭＯ（要するに重回帰みたいなもん？）
さらに機械学習と進んできたが（第二段階）何やってるかわかんなくなってきて、
現在のＣｏＢＲＡ法などでは、ヒューリスティックな知識も加味するようになってきている

---

ってことは、

Sunにおける、販売予測のためのベイジアンモデル
http://blog.goo.ne.jp/xmldtp/e/9c964087c4ad7653a13aa591e57f3f5d

に書いたけど、Sunの販売予測は、ベイジアンモデルを使って、人間の知恵と、
統計モデルを加味し、答えを出している。
つまり、第三段階にいたっている。

今のビッグデータが第二段階だとすると、Ｓｕｎの販売予測のほうが、進んでいたことになるね！

ソフトウェア工学の、かなりレベル高！なＯＣＷ、edubaseが見づらい件

ＯＣＷについて書いたけど、日本語で、大学院レベルなのかしら、
　　要求分析
　　ソフトウェア設計
　　テスト
　　形式仕様（モデル検査、形式仕様記述、定理証明）
について、言い換えるとソフトウェア工学について、
公開しているサイトがある。

それが、

edubase stream
http://stream.edubase.jp/


これだけ勉強すれば、たぶんあなたも、「ソフトウェア工学」という
ものをかなり知っていることになると思う。
１銭のお金もかけないで（通信費はかかるが・・・）

たぶん、学校に通ったら数十万は最低かかる
（ＴＯＰＳＥは、企業からでなく、ふつうにはいると、５０万以上かかる。
　それが、ただで見れる）

---

・・・なんだけど、これが、かなり見づらい。
どんなコンテンツがあるか探せない。

ここにあるコンテンツは主に？全て？
ＮＩＩのトップエスイー(TOPSE)プロジェクトの
内容なんだけど、そのカリキュラムを知らない人には、検索できないのだ！

この、見方なんだけど、

１．まず、TOPSE チャンネルに行く

http://stream.edubase.jp/static_gadgets/view/13


２．そのリンクから行きたいものがある場合
（ソフトウェア工学入門、VDM++による形式仕様記述など）は、そこからいく

３．それ以外の講義は、
　「２０１３年度の公開講座スケジュール予定」
　にある。

　２０１３年以外でも、これらは多くやっているので、
　この名前（たとえば、「並行システムの検証と実装」）で
　上にある「検索」で検索すると、見つかる・・・こともある
　（「ソフトウェア開発見積り手法」は見つからない）
　
年度毎の科目名で検索できるページを作ってくれればいいのに・・・

ま、
　　ゴール思考分析（KAOS,i*）などの要求分析
　　UML,ICONIXなどの設計手法
　　SPINとか、VDM,UPPAAL（は少ないけど）の形式手法
　　その他、テスト手法、ソフトウェアメトリクスなどなど
をお勉強したい場合にいいかも・・・

---

って、そんなことが言いたいんじゃなくって、
このように、ＯＣＷって、確かにやっているかもしれないけど、
見やすい、利用しやすいっていうわけじゃないよね。
Ｇｏｏｇｌｅとかの検索でも、引っかからないよね・・・

う～ん、ここが問題な気がする・・・
日本の国家の損失ですよ・・・
ってか、こういうコンテンツを英語に訳して、海外にもって行けばいいのに・・

日本のオープンコースウェアとか、東大のMOOCsとかをまとめてみる

大学の授業をネットで公開するOpen Course Ware(オープンコースウェア：OCW)としては、
ＭＩＴのＯＣＷが有名だけど、
日本でもＯＣＷをやっている大学は多々あり、

日本オープンコースウェア・コンソーシアム（JOCW)
http://www.jocw.jp/index_j.htm

というものすらある。そこの「メンバー」タブをクリックすると、
会員大学（ってことは、ＯＣＷやってるんだろうな）が見れる。

---

このＯＣＷに加えて、試験を行い、履修証明が出るものを、
MOOCs（ムークス）という。
Wikipediaによると(以下太字はWikipediaより引用)


Massive open online course (MOOC) は、WEB上で無料で参加可能な大規模講義のことである。おもにアメリカの大学で運営されており、基本的に無料で参加することができる。各種アプリケーションが開発されており、ビデオ講義を受けるだけでなく、知識確認のための試験問題などを受けることができる。また参加者のユーザーコミュニティーも用意されており、コース運営側にも有益なフィードバックがかえるため講義運営の効率も向上している。


とのこと。

MOOCs（大規模公開オンライン授業）　－あなたも「東大生」になれる
http://news.finance.yahoo.co.jp/detail/20130515-00009398-president-column

の記事によると、東大のMOOCs

https://www.coursera.org/todai

が９月から始まるのが、国内初と書かれているが、

慶応のWide University(SOI)
http://www.soi.wide.ad.jp/contents.html

は、どうなの？と思ったら、なんか、もう、更新してないの？？？

---

最近は、このMOOCsのような大規模授業に加え、クラスをプラスした
SPOC＝Small Private Online Courses
ってのが、キテいるらしい！！

SPOCs - the next big thing?
http://it-sph.blogspot.jp/2013/04/spocs-next-big-thing.html

おおお～、世の中、進んでいるのね・・