データ分析するのに必要な分析技術と、レベル

あれ、これ書いたっけ？
書いた気がするけど、まいっか・・・（＾＾；）
こんなかんじっすかねえ

---

■データ分析する目的が
・現状を知りたい
　　→主に基本統計量とその可視化（グラフ等）
・将来を予測したい
　　・仮説がある
　　　　　→仮説を検証する：検定の知識が必要
　　　　　→仮説の複雑な構造の正しさ：パス解析
　　・仮説が無い
　　　　　→仮説構築
　　　　　→直感的に行うので”なければ”、多変量解析や機械学習を行う。
　　　　　　　　判別する
　　　　　　　　分類する
　　　　　　　　予測する
　　　　　　　　因子を見つける
　　　　　　　　指標を作る
　　　　　　　　可視化する

※以下、詳細に

---

■現状を知りたい＝記述統計の分野
・１つの連続量の値
　　　→平均、中央値、分散、標準偏差→チャート
・２つ(以上）の連続量
　　　→相関→散布図
・カテゴリーデータ
　　　→クロス集計→チャート（ヒストグラム）、ピボットテーブル

※高校までの統計で行う知識

■将来予測で、仮説あり→仮説検証を行う
・２つの平均値
　　　→t検定
・２つ以上の値
　　　→分散分析
・カテゴリーデータ
　　　→カイ２乗検定

※大学の心理等で学習する知識

■将来予測で、仮説あり→パス解析
・重回帰分析
　　　すべて観測可能な変数のとき
・確証的因子分析
・共分散構造分析
※大学専門～主に大学院（特に共分散構造分析は）


■仮説構築→判別する
・線形判別
　　　→代表例：SVM
・ニューラルネットワーク
　　　→最近話題：DNN(ディープラーニング）
・決定木

※機械学習が利用可能
※大学専門～大学院レベル（DNNは、修士より上）

■仮説構築→分類する
・分類基準なくても分類：教師なし学習
　　　→クラスタリング：K-Means法
　　　→階層型クラスタリング：デンドログラム

※大学専門～大学院レベル（卒論・修論で使う？）

■仮説構築→予測値を求める
・連続量で予測値を求める
　　　→回帰分析、重回帰分析
・YES/Noの確率を求める
　　　→ロジスティック回帰分析
・カテゴリーデータも有る場合
　　　→数量化理論１類

※大学専門～大学院レベル（卒論・修論で使う？）

■仮説構築→因子を見つける
・（探索的）因子分析
　　　因子分析には２種類ある：探索的、確認的
　　　何もいわなければ探索的因子分析

※大学専門～大学院レベル（卒論・修論で使う？）

■仮説構築→指標
・主成分分析
※大学専門～大学院修士レベル

■仮説構築→可視化して人間が判断
・自己組織化マップ
・コレスポンデンス分析・数量化分析
・多次元尺度構成法
※大学院修士レベル

---

■つけたし
・実際には、上記統計手法＋どんなデータ＝マーケティング手法になる
　　　例：バスケット分析（アプリオリというアルゴリズムの知識も必要）
　　　　　RFM分析
　　　　　デシル分析

・予測・検定は大学レベル以上だが、本当に予測をしたいのか？
　　→論文を書くのには必要
　　→でも社内で報告・実際の営業に生かすだけなら、
　　　　　クロス集計＋グラフで十分（高校レベルの統計＋Excelの知識）
　　　→最小二乗法、最尤法などを使わず、直線を引いて伸ばしてグラフを読む

・統計は所詮、平均など過去に高頻度で出たものしか扱えない
　低頻度のものは、誤差の中に消える。
　しかし、マーケティング的には、平均値でなく、極端なものほど差別化できる
　→低頻度・頻度０のものからアイデアを出す：チャンス発見(キーグラフ）

日経情報ストラテジーの２０１５年９月号の表紙はWantedlyの仲社長だね！

みた？日経情報ストラテジーの２０１５年９月号？
（日経情報ストラテジーをとっていない人へ・・・
　なぜか、２ヶ月くらい、早い号がくる。最新号が２０１５年９月号）

今月号の表紙は、Wantedlyの仲社長だね！
なんか、いいかんじに写っていて、いつもの日経情報ストラテジーとは、
雰囲気違います。
仲社長って、AmazonのPVのときと、イメージちがいますが。。。
どっちが正解なんでしょう・・？？

それはさておき、話、おもしろい。１１ページによると、
Wantedlyのはじめのころは、仲社長がサイトつくってたみたい
おおお・・すげ～、でも、そういうのって、お手伝いしてみたいとおもう。
おもしろそうだよねえ～
あんまり専門的になっちゃうと、たぶんお手伝いできないんでしょうけど・・・


そういう話っていうのは、ころがってるのかなあ？
CTOがWantedlyで３５０件もあるんですって？
ってことは、そういうお手伝いできる機会もあるのかなあ～
お金とか関係なしに、きょうみしんしん・・・

P9にある「遊びに行く」ボタンがそれなのかなあ～
Wantedlyに興味津々。
ちょっと、まじめに調べてみよう・・・Wantedlyのしくみ
あーんど、ソーシャルリクルーティング！