紅白、PerfumeだからできたDeeplearningの演出

あけましておめでとうございます。

・・・と業界の人が言ったら、この後言うのは、
紅白のPerfumeの感想でしょう！

PerfumeがDeepLearning使ってたって言ってたけど、
どこに使ってたんだ？っていう話。

今年もすごすぎたPerfumeのパフォーマンス「事前に動きのデータをとってリアルタイム演算でCGを生成していたっぽい」 #紅白歌合戦2018
https://togetter.com/li/1303962


画像のリアルタイム演算は、以前は不可能とされていたんだけど、
ものすごいハードやGPU、FPGAの進化で、画像処理演算をリアルタイムで行っても間に合うようになった。

・・・とはいえ、複雑な画像処理は時間がかかるわけで・・・

ということで、動きを事前に予測できれば、たとえば、５秒後の画像が予測できれば、
５秒間画像処理をしていてもOKなわけで、事前に画像を予測できれば、それだけ、
複雑なリアルタイム画像処理ができるということになる。

なので、ここでディープラーニングを使って予測するということを思いついた、そして実行できた
Rhziomatiks Researchさんはすごいんだけど・・・


あれ、Perfumeだからできるんだよ。
事前データをもとにやっているので、同じ動きをびしっと再現できないと、これは合わない。
Perfumeさんは、この再現率がものすごい（＝天性の才能＋すごい練習量のはず）からできるんであって、
歌詞をまちがえちゃう、フリが適当な歌い手さんでは、再現率ひくいので、予測不能で合成できない。

ディープラーニングのすごさばかりを強調するけど、Perfumeさんのすごさを評価しないと、
「なになに、AIつかうとウケるの？」とか勘違いした歌い手さんたちが、
　　大勘違いして、ディープラーニング使ってライブやって、大失敗すると・・・

・・・いや、PoCで気づくか（＾＾；）・・・って、企業と同じ？


ってな感じで、今年も進めていきますので、よろしくです！

P.S　ライゾマがディープラーニングとかに手を出すと、
　　チームラボとの差が分かりにくくなる気がするのは、
　　私だけ？

【あわせて読みたい】
Perfume とライゾマティクスの新たな試みを支える Google の機械学習
https://cloudplatform-jp.googleblog.com/2018/06/NHK-Perfume-TECHNOLOGY-Reframe-Your-Photo-Google-TensorFlow.html

P.S　このディープラーニングを使った「事前に行動を予測して画面合成する」方法で、考えられるものを、↓に書いておいた
「ディープラーニングを使って、事前に行動を予測して画面合成する」には、どうすればよいか
https://blog.goo.ne.jp/xmldtp/e/a84290c2068b943a6f1d603c2194a4bb