ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

紅白、PerfumeだからできたDeeplearningの演出

2019-01-01 13:47:14 | Weblog
あけましておめでとうございます。

・・・と業界の人が言ったら、この後言うのは、
紅白のPerfumeの感想でしょう!

PerfumeがDeepLearning使ってたって言ってたけど、
どこに使ってたんだ?っていう話。

今年もすごすぎたPerfumeのパフォーマンス「事前に動きのデータをとってリアルタイム演算でCGを生成していたっぽい」 #紅白歌合戦2018
https://togetter.com/li/1303962



画像のリアルタイム演算は、以前は不可能とされていたんだけど、
ものすごいハードやGPU、FPGAの進化で、画像処理演算をリアルタイムで行っても間に合うようになった。

・・・とはいえ、複雑な画像処理は時間がかかるわけで・・・

ということで、動きを事前に予測できれば、たとえば、5秒後の画像が予測できれば、
5秒間画像処理をしていてもOKなわけで、事前に画像を予測できれば、それだけ、
複雑なリアルタイム画像処理ができるということになる。

なので、ここでディープラーニングを使って予測するということを思いついた、そして実行できた
Rhziomatiks Researchさんはすごいんだけど・・・


あれ、Perfumeだからできるんだよ。
事前データをもとにやっているので、同じ動きをびしっと再現できないと、これは合わない。
Perfumeさんは、この再現率がものすごい(=天性の才能+すごい練習量のはず)からできるんであって、
歌詞をまちがえちゃう、フリが適当な歌い手さんでは、再現率ひくいので、予測不能で合成できない。

ディープラーニングのすごさばかりを強調するけど、Perfumeさんのすごさを評価しないと、
「なになに、AIつかうとウケるの?」とか勘違いした歌い手さんたちが、
  大勘違いして、ディープラーニング使ってライブやって、大失敗すると・・・

・・・いや、PoCで気づくか(^^;)・・・って、企業と同じ?


ってな感じで、今年も進めていきますので、よろしくです!

P.S ライゾマがディープラーニングとかに手を出すと、
  チームラボとの差が分かりにくくなる気がするのは、
  私だけ?

【あわせて読みたい】
Perfume とライゾマティクスの新たな試みを支える Google の機械学習
https://cloudplatform-jp.googleblog.com/2018/06/NHK-Perfume-TECHNOLOGY-Reframe-Your-Photo-Google-TensorFlow.html


P.S このディープラーニングを使った「事前に行動を予測して画面合成する」方法で、考えられるものを、↓に書いておいた
「ディープラーニングを使って、事前に行動を予測して画面合成する」には、どうすればよいか
https://blog.goo.ne.jp/xmldtp/e/a84290c2068b943a6f1d603c2194a4bb

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする