NHKが今のＡＩ・ビッグデータの限界を示した件

NHKさん、ビッグデータかAIかよくわからない視覚化した統計情報のようなもので、相関性が不安になる内容を特番で放送予定
https://togetter.com/li/1130945
（以下太字は上記サイトより引用）

「40代の一人暮らしが増えると空き家が餓死が増える」

擬似相関ですよね。

そこにも出てくるけど、

貧困の人が多くなると・・・
　　40代の一人暮らしが増える
　　空き家が増える
　　餓死が増えることがまさに貧困だ

「コンビニが増えたら自殺者が増える」

これも疑似相関ですよね。

都市化が進むと
　　コンビニ増える
　　　＋
　　うつ病の人も増える
　　一人暮らしの人も増える
　　貧困も増える
　　結果として、自殺者も増える

たぶん、都市化が進んでいるというより、
地方が衰退してるんだと思う、急速に・・・

---

■ＡＩとビッグデータを使うと、どうして疑似相関が多くなるのか

　データを表面的にしか見ないから。解釈しないから。
　解釈・理解していないということは、下記の新井先生のブログで言っている通り

プログラミング教育なんてやっている場合ではない
http://blog.goo.ne.jp/xmldtp/e/c282ca7d46c01fa8ad707ac4bb796864


　で、物事には、観測変数という表に見えて測定できる変数のほかに
　潜在変数というのがある。

　今やっているＡＩやビッグデータの解析は、観測変数の関係だけ
　を行っている（のが主流）。

　実際には、観測変数で見えている世界の背後に、
　原因となる潜在因子がある。

　この潜在因子を見つけるのに役立つのが、（探索的）因子分析で、
　それをもとに人間が潜在変数を考え、
　その考え方多しいかどうかを、共分散構造分析などで確認する。
　この手法はビッグデータ前のマーケティングでは普通に行われていたが、
　なぜか、ビッグデータ以降は、いわれなくなって。


　ＡＩやビッグデータはデータを「理解」できないので、潜在因子を想像して
　モデル化することができない。
　さらには、最近のビッグデータブームは、統計の技術を駆使
　しているわけはなく、なぜか因子分析と共分散構造分析は使わない・・・
　(主成分分析はするんだけどね・・・）

　なので、だれがみても、こういうおかしい現象が起こるわけ。

　これがビッグデータだ、ＡＩだって騒ぐ限界なのよ。

【追加７月２６日】
「40代ひとり暮らしが日本を滅ぼす」NスペのAI提言は本当か
https://headlines.yahoo.co.jp/article?a=20170725-00136199-diamond-soci


【追加７月２７日】
疑似相関について
https://twitter.com/podoron/status/889475502209064960

【追加７月３０日】
NHK渾身の｢AIに聞いてみた｣が炎上した必然
バズるワードへの傾倒がもたらす報道の歪み
http://toyokeizai.net/articles/amp/182300