社長も「ぶったまげた」リアルさ 顔写真を3Dアニメ化する「MotionPortrait」
7月24日11時23分配信 ITmediaニュース
「ぶったまげた。こんなにリアルに人の顔が動くなんて」――元ソニー木原研究所社長の藤田純一氏は「MotionPortrait」を初めて見たときの感想をこう語る。「技術者として驚いた。でも何に使えばいいんだろうね、とみんなで話し合った」
【他の画像が掲載された記事】
MotionPortraitは、1枚の顔写真から多彩な表情の3Dアニメーションを作り出す技術で、ソニー木原研で2年前に開発された。自動でまばたきさせたり、視線をそらしたり、くしゃみさせたりできるほか、マウスの動きに合わせて左右に顔を向けたりするなど、まるで生きているかのようにリアルに動く。
記者も顔写真を3D化してもらったが、そのリアルさに驚いた。音楽に合わせて首を縦に降ったり、眉が片方だけつり上がったり、鼻が上を向いたりと、自分の顔が激しく動き、自分ではないようだ。「本人がやらないようなありえない表情を作ることもできて楽しいですよ」と藤田社長が言う通りだ。
木原研究所は昨年閉鎖されたが、7月3日に設立した新会社・モーションポートレートに引き継がれ、藤田氏は同社の社長に就任。事業化に向けて踏み出している。
●3D動画、瞬時に作成
MotionPortraitで顔を動かすのに必要なのは、正面から撮った1枚の写真だけだ。写真から目や鼻などの特徴点を自動で抽出して3D画像を作成。3D画像を、怒る、笑うといった表情のパターンを設定しておいた「表情エンジン」にあてはめる。ハイスペックノートPCなら、ほんの5秒ほどで表情を動かせるアニメーションを作成できる。
人間の顔だけでなく、ペットの画像やイラストなどからでもアニメを作成可能だ。その場合は特徴点を手動で抽出する必要がある。
独自に開発した音声認識技術を活用し、音声に合わせてリアルタイムで口を動かすこともできる。リアルタイムの音声合成は、音声入力から一瞬遅れて口が動くのが一般的だが、同社の技術なら、遅れがほとんどないという。
●CGの使い道を広げたかった
当初は藤田社長すら「何に使うんだろう」と不思議がったこの技術。開発のきっかけは何だったのだろうか。
「CGの研究には2種類あると思う。いかに高品質なものを作るかということと、いかに自然なものを作るかということだ。ソニーには既に、プレイステーション 2で使われているような高品質なCG技術があったので、次はとにかく自然なCGを作りたいと考えた。人間の顔の表情は複雑であることに加え、普段見慣れているものだから、CGで違和感のないものを作ることは難しい。でもどうせやるなら、あえて難しい人間の顔の自然なCGを作ろうと思った」（藤田社長）
開発してみると驚くほどリアルなものができた。なぜここまでリアルに作れたのか――詳しい技術は「企業秘密」（藤田社長）だが、開発責任者で同社CTO（最高技術責任者）の渡辺修さんは「仕組みを頭で考えてプログラムを組んでみたら想像以上のものが出来上がった。自分自身も驚きだった」と開発時の喜びを語る。
プログラムは一般の3Dエンジンよりはるかに軽いため、携帯電話や、携帯ゲーム機などでも動かすことができる。「従来の手法で自然な表情のCGを作ろうとすると何カ月もかかるが、そんなに時間をかけて作ってもすごくない。簡単に作れて、携帯電話などで誰でも利用できるようなものにし、CGの使い道を広げたかった」（藤田社長）
既にPSPソフト「涼宮ハルヒの約束」（バンダイナムコゲームス）での採用が決まっている。1枚の画像から多彩な表情のアニメーションが作成できるため、ゲーム開発時のコストも抑えられるという。
●「動く遺影」も!?
7月3日に設立されたモーションポートレートは、MotionPortraitをビジネス化に向けて動き出している。ゲームに採用されるなどビジネスも始まっているが、「まだ明確な収益モデルは固まっていない」（藤田社長）という。
広告に活用したり、SNSのアバターを「動く顔アバター」にしたり、美容室でヘアスタイルを変えた時のイメージや、眼鏡店にある眼鏡を掛けた時のイメージをアニメで確かめるためのシミュレーションツールにしたり――アイデアはいくつもある。携帯端末でも利用できるため、例えば、携帯電話で撮影した顔写真をのメールで送れば、3Dの動く顔画像が返ってくる、というサービスも実現可能だ。
SNSでアバターとして利用したときのイメージ
まずは一般ユーザーへの認知を広げたいと考えており、同社サイトでイラストを募集し、優秀作品をMotionPortraitで動かす――といった企画も検討中だ。
「報道で紹介され、いろいろな業種の方から問い合わせを頂いている。中にはMotionPortraitを遺影に使いたいという写真屋さんもあった。みなさんの声を参考にしながら活用方法を探っていきたい」（藤田社長）
PSP版「ハルヒ」にも 顔写真を“3D顔アニメ”にするソニー発の技術 - 動画も。ITmedia(10日)
1枚の顔写真から高画質な動画像ができあがる!? So-netが新会社2社の事業内容を公開 - デジタルAREANA（10日）
モーションポートレートとは - デモコンテンツも。モーションポートレート
