自動で映像編集する時代～ディズニーが開発する新アルゴリズム

いつかは来ると思っていたが、ついに。。映像編集が自動でできるようになるのも夢物語ではなくなるかもしれない。夢というか悪夢というか。我々映像業者はカスミを食って生きていくか、さっさと転職するべきか。しかもこれがあてずっぽうの適当な編集ではなく、きちんとしたセオリーに則った、「ちゃんと見やすく分かりやすくするための編集」なのだから、ほんと困ったもんだ。この技術を開発しているのがディズニー・リサーチというのがまた驚き。マイクロソフトもこないだ恐ろしいスタビライズ技術を発表してたけど、こういう基礎研究がやっぱ大事なんだね。ほんと、すごいことやってるよね。。

 

何はともあれこれ。

Automatic Editing of Footage from Multiple Social Cameras

 

プレスリリースはこちら。

Disney Research Method Automatically Edits Footage From Wearable Cameras Into Coherent Videos　（PDF)

 

---

映像のセオリーを再現

僕はセオリー通りの編集というのが嫌いだ。嫌いというと語弊があるけど、なんか変なつなぎ、、、と自分で思ってもワリと平然とそのままにしたりする。それが個性かもしれないし、1か月後に見たらなんかいいじゃんと思うかもしれない。もしかしたらクライアントさんがいいって言ってくれるかもしれないし、見た人の琴線に触れるかもしれない。

結局、答えなんてないし、何が正しいというものはない世界だと思っている。

そんなのウソだと仰る方は、幣ブログのこの記事をぜひご覧いただきたい。。

「映像編集」というアートフォーム～「The Cutting Edge - The Magic of Movie Editing」

とはいえ、長い映像の歴史の中で培われてきた映像編集技術、というのがあるのは知っている。いわゆる「気持ちのいいつなぎ」とかそういうの。イマジナリーラインはかなり有名だと思うのでご存知の方は多いはず。

 

 

 

このディズニーが開発した編集自動アルゴリズムは、複数のカメラで撮影されたフッテージを、基本に忠実に編集してくれるのだそうだ。

 

---

人が興味を持つ内容をつなぐ

このアルゴリズムが達成しようとしていることは2点。（YouTubeビデオの39秒)

1)映像のコアとなる内容は何かを理解する

2)連続する意味があるシーンを選びつなげる

そのために3D Joint Attentionという技術を開発したのだそうだ。つまり、複数のカメラが捉えているシーンを客観化し空間として把握、「撮っている人が何に注意を払っているか」を理解する、、というのが3D Joint Attentionらしい。

 

 

その理解をしたうえで、編集するために上記の「映像編集のセオリー」を当てはめる。当然ながら180度ルール、つまりイマジナリーラインは超えない。同じようなサイズのカットつなぎは避ける（同ポジ編集／ジャンプカット）。アクションつなぎは積極的に活用。。などなど。

 

---

恐ろしい結果。。

2分15秒くらいからの、バスケットボールの選手が全員頭にGoProをつけた映像の自動編集を見ていただくと分かるが、ボールや選手の動きが映っていないただの天井だけの映像とか意味のない映像が入ることはない。常に「見ている人が何に興味を持つか」「つなぎに不自然さはないか」ということが正確に再現されている。

2分くらいからのこのバスケの編集はほんと鬱になるレベル

 

すごくないですか、これ？？？

自分がこの編集をするとしたら、めんどくさくてオエってなると思う。

 

---

プロのエディターが同じ素材で編集すると、、

4分からプロの編集マンが意思をもって編集したものと自動的に編集したものの比較。。ほぼ同じ、、、この4分8秒のつなぎなんて、タイミングすらほぼ同じ。。どうなってんの？？？

どっちが自動？？？（上記動画より切り出し)

 

つか、右か左かどっちがプロのエディターか分かりました？？？？あててみてください。

答えは4分28秒に出てきます。。

 

---

さてどうする？

これ、油断してると半年後とかにはiPadアプリで出てくると思う。もちろ今までも「自動映像編集アプリ」はあったが、僕がこれまで見たものは単なる遊び。出来上がったものを見て笑う、というのが正しい使い方だった。

このディズニーのこれはすごいと思った。ここまでアルゴリズムを突き詰められているものは見たことない。

 

これを見て思ったのは、「オレはどうする？」ということ。

 

正直、これが編集ソフトに実装化されて例えば「荒編ボタン」みたいなのがついてポチッと押すとだいたいの編集をしてくれてあとは微調整するだけ、、、しかもそのプラグインのことをクライアントさんは知らない、、、、、というのが最も美しい世界（笑

 

が、未来はきっと、そんなことはない。

プロ用の編集ソフトより先にiPadアプリとかになるはず。。で、サイアクな事態はこんな感じ。。。

 

クライアント「なんか編集が気に入らないので撮影素材もらえますか？」

僕「はい、もちろん」

クライアント「いまiPadで自動でやらせたらこっちのほうがいいんですけど」

僕「・・・・・・・」

クライアント「編集はiPadにやらせるのでもう結構です」

 

orz、、、、

 

こんな未来がくるのかなあ。。。。。それまでに引退だ引退！！

 

---

マイクロソフトの自動スタビライス

冒頭で言及したマイクロソフトのスタビライズソフトウエアもすごいです。ちょっと前に超話題になったので皆さんご存知だと思うけど、未見の方はぜひご覧あれ。

First-person Hyperlapse Videos

 

これできたら、モビいらんしｗｗｗ

 

余談だが編集にセオリーはない、と思う自分だがいつも心がけているのは「短く短く」。より短尺で多くのことを伝える、、、というのは常に命題。つないでみたら５分になった映像をどうやったら「1分」にできるか、、、、

 

---

 

※追記

ちょっとふざけて書いてしまって、誤解のないように少し補足すると、このアルゴリズム開発の方向性の一つに「プロの編集者の手助けをする」ということも書かれてある。この研究は当然ながら「編集者の仕事を奪って金儲けをする」ということを目的としているわけではない。膨大なフッテージの選別を自動でする、というプラグインとして提供されることも当然あり得るし、それは編集者がよりクリエイティブな仕事に専念できるような補完的なソフトウエアになるだろう。

いずれにしても楽しみだと思う。