Sensitech MediaとDark fake⑵

架空のAudreyを起用したGalaxy Chocolate

 

 

Audrey Hepburn Resurrected in New TV Commercial - Creepy or Cool?

 

以前所属していた学会で紹介したが、モデルを2人用意しても顔の表情は出来なかったが、それを作り上げた凄さには感服するが、CGのオードリーを作り上げてどうしようと言うのだろうか？要は笠智衆　佐田啓二を作り上げて、「東京物語」でも作ろうと言うのだろうか？愚の骨頂である。然し、進化すればするほど不気味の谷の違和感をも軽々と飛び越してしまった。

 

 

３ＤＣＧ女子高生「Saya」の新作映像と作者『TELYUKA』による秘話。

2017年登場したSAYAなどは、軽く不気味の谷をも軽々と飛び越えて、ボーカロイド「初音ミク」とは違ったバーチャル世界に登場した。夫婦CGアーチストTELYUKAの作品だ。

 

first ever 3d animation (40 year old 3d computer graphics pixar 1972)

 

 

凡そ40数年前　CG創成期に人間や手を石膏どりし、そこから陰線消去していったあの膨大な時間が、此処まで進化してしまうと一体何だったのか？と思えてしまう。それだけ、リアリティとバーチャルの境がなくなってきているのだ。

 

 

 

Sensitech MediaとDark fake⑴

 

 

Avatar 2009 - The Final Battle - Best Fight Scenes FULL HD

 

ジェイムズ　キャメロン監督の　「Avatar」が2009年に公開されて11年が経つ,2019 年公開の「アベンジャーズエンドゲーム」に抜かれるまで歴代1位となる27億8800万ドル（当時のレートで約2518億円）を記録していた。その10年前に公開されたのが、「Matrix」ラリー・ウオシャスキーとアンディ・ウオシャスキー兄弟だった。

 

Dodge this (slo-mo, bullet time) | The Matrix [Open Matte]

 

マシンガンショットとか、マット合成とか映像の技術革新を早めたのは事実だろう。然しながら、内容に関しては、「Avatar 」は「ソルジャーインブルー」であり、「Matrix」は私の頭が悪いのだろう。判らないのだ。

 

CG研究の頃思うのは、すごいと思わせない凄さであった。

 

Forrest Gump Opening Scene (Feather at the Bus Stop) - Forrest Gump (1994) - Movie Clip HD Scene

 

 

 

 

 

VR AR の狭間(12)

 

誰もが歩きスマホ電車バス車内でスマホ、若者もおじさんおばさんもスマホでゲームか？Pokemonか？電子マンガか？いやはや携帯電話に全て奪われているのだろうが、、、、。嘆かわしい事でもある。3DCG 凡そ1972年とすると、凡そ半世紀でここまで進歩したというか？コンピュータの演算処理能力の画期的な進歩ではあるが、人間としては退化となるのかもしれない。バーチャルがリアリティを持つことで、何処までが実像で何処からが虚像なのか？

 

 

Twilight Zone Cartoon Hell

 

 

スピルバーグプロデユースした米国テレビドラマ「Twiligt Zone」

「Carton Animation Hell」では、テレビのアニメーションの世界に入れられて怪獣に食べられてしまうのだ。

 

今や自分のavatarを360度撮影し、その虚像をモニターの中に入れてしまう事も可能である。そしてそのavatarをカメラで撮りリアルタイムに動かす事も可能になった。

itSeez3d tutorial on face scanning with Structure Sensor or iSense

 

 

Occipital Structure Sensor - 3D scan your face and more!

 

 

 

【デモ動画】iPad+Structure Sensor+itSeez3Dで3Dスキャンしている様子

 

VR ARの狭間⑽

 

 

岩井先生の「プロジェクションマッピング作品を通して見る技術」を拝読していくと、プロジェクションマッピングの可能性がどんどん広がっていく。

 

ジョン・アンダーコフラーが示すユーザインタフェースの未来

 

 

多くの研究者が机の上の書類にプロジェクションマッピングする研究に取り組んでいます。私達のグループもその例にもれず、いくつかの試みを行ってきています。例えば、机の上に広げている学習資料やノートに、遠隔の教育者による指差しや書き込みをプロジェクションマッピングする学習支援を実現しています8。この例では、互いの机の上に同じ書類が置かれていれば、たとえその配置が異なっていても、カメラによる画像認識を用い、指さした位置や書き込みの位置を互いの書類上で整合して相手側にプロジェクションマッピングします。また、目の前においたモニタに相手の正面映像が表示される一般的なテレビ会議を想定し、そのモニタ側から手が伸びてくるようプロジェクションマッピングすることで、自然な対話環境を実現しています。(https://shiropen.com/seamless/daisuke-iwai/projection-mapping/2より引用させて頂きました。)

 

 

この虚像の指し示す指を応用していけば、ハバード大学とMITのedXやスタンフォード大学のCouseraやUdemyの様なMOOK インターネット講義でのインタラクティブ性も随分と改善されていくと思う。

 

 

VR ARの狭間(11)

 

映像のイノベーションもリノベーションもその多くは、軍事研究開発から波及したものである事は確かである。

大阪大学岩井先生の机に散乱した書籍を如何に可視化認識していくか？

 

 私達のグループが行った作業照明の知能化の例をもう一例ご紹介します。この研究では、積み上がった書類の一番上から順に透明化することで、書類を探す手間を減らす試みを行っています9。書類が積み上がるたびに机上部に取り付けられたカメラでその表紙の画像を撮影しておき、透明化する際は時間を遡るように撮影画像をプロジェクションマッピングしています。

 Limpid Desk

 

プロジェクションマッピングによる自動車内部の透明化では、東京大学で行われている光学迷彩の研究が大変有名です。自動車の内部の座席や扉を透明化して外側を見られるようにしたシステムなど、様々な応用例が提案されています。(https://shiropen.com/seamless/daisuke-iwai/projection-mapping/2より引用させて頂きました。)

 The Transparent Car

 

ベンツでも実験的にやっている。

 <Mercedes-Benz Invisible Car Campaign Mercedediv class="player-unavailable">

 

 

 

 

 

 

 

 

 

 

 

 

 

VR ARの狭間⑼

 

 人の手のひらをスマートフォン化する、ということは、いわば人間の身体をプロジェクションマッピングによって拡張する人間拡張(Augmented Human)の一例と捉えることができます。人間拡張の別の例として、私達のグループでは、腕を伸長するシステムを提案しています。(https://shiropen.com/seamless/daisuke-iwai/projection-mapping/2より一部引用させて頂きました。)

 

Body Cyberization by Spatial Augmented Reality for Reaching Unreachable World [parts:eNozsjJkhIPUZENDA6Nks7TIcm/zlPjkUH8LJjMTAyZjMwMmAyYEcHBwAAAHvgjG

 岩井先生の話は、マーシャル・マルクハーンのメディア論と一致する。

マルクハーンはメディアを下記の様に定義している。

 

Marshall Mcluhan Full lecture: The medium is the message - 1977 part 1 v 3

 

「メディア」とは

マーシャル・マクルーハンは、メディアという概念の把握の仕方において、既に他の多くのメディア論とは大きく異なっている。この点、

1マクルーハンは、様ざまなものをメディアの名の下に一緒くたにして議論を展開している。ラジオ、テレビ、新聞は言うに及ばず、自転車、自動車、飛行機、また、時計、衣服、住宅、さらには、貨幣、数、オートメーション、兵器までもがメディアとして考察の対象になっている。

そして、2マクルーハンは、メディアを人間の身体、精神などの拡張と捉えた。テレビやラジオは中枢神経組織(聴覚)の電気的拡張である。また、自転車や自動車は人間の足の拡張であり、衣服は皮膚の拡張であり、住居は肉体の体温調節メカニズムの拡張である。さらに、貨幣は交換したいという衝動の拡張であり、弓矢は手と腕の拡張である1。

そして、3マクルーハンは、言語であれ、法律であれ、思想であれ、仮説であれ、道具であれ、衣服であれ、コンピュータであれ、人間が手を加えた人工物は、すべて物理的な人間の身体および精神の拡張物であり、メディアだとまで言い切る 2。

そして、4マクルーハンは、単純に拡張だけが行われるのではなく、拡張された必然的な帰結として、衰退が生じ、切断をもたらすと主張する。すなわち、拡張は切断と表裏一体なのである。例えば、人間の足の拡張たる車輪というメディアは、人間に対して、一面では、高速移動・高速運搬の能力を附与しているにもかかわらず、他面では、歩くという人間の基本機能を麻痺させ、むしろ人間を歩けなくさせているのである。このように、新しいメディアは、我われに拡張と切断の両方をもたらすというのが、マクルーハンの主張なのである。(http://www.sgu.ac.jp/soc/ssi/papers/58.pdf藤井正希1 Masaki FUJII1 群馬大学社会情報学部情報社会科学科 Faculty of Social and Information Studies,Gunma University論文より引用させて頂きました。)

 

 

 

 

 

 

VR ARの狭間⑻

 

HAKANAI de Adrien M / Claire B | TEMPS D'IMAGES - 04, 05 avril 2014 à 20h30, Usine C

 

Kinectのデバイスは本当に革命的だった。そして合計では3500万台以上を出荷したと言われている。この製品の奥行き感知能力と音声認識能力は、任天堂がその4年前にWiimotesで実現していたものをはるかに超えて、インタラクティブなゲームの新しい時代を導いたものだった。身体を使うアクティビティベースのゲームの流行はしばらくすると元へと戻る傾向がある。

Room2Room: Life-Size Telepresence in a Projected Augmented Reality Environment

 

 プロジェクションマッピング技術の変遷「プロジェクションマッピング作品を通して見る技術課題」で、岩井先生はこう紹介している。

 「この例はどちらかといえばエンタテインメント向けですが、この研究グループは他にも、遠隔地の人の姿を、あたかも今いるリビング内にいるかのようにプロジェクションマッピングする等身大テレビ会議システムも実現しています2。このグループは、リビング内のあらゆる面を複数台のプロジェクタでカバーし、さらにそれらの形状と色の情報をRGB-DカメラKinectを用いて計測することで、所望の位置に映像コンテンツを重畳可能なシステムを構築しています。」(https://shiropen.com/seamless/daisuke-iwai/projection-mapping/2より引用させて頂きました。)

 

VR ARの狭間⑺

 

 

岩井先生の「プロジェクションマッピング作品を通して見る技術」は、映像メディア表現を更にフィールドを広く教えてくれる。

MicrosoftのKinectは、XBoxで人気を博した。カメラで認識させ、自分の動きをコントロール化してくれる。

 

Xbox 360 Kinect

 

Kinectの最大の特徴はいわゆる一般的なモーションキャプチャとは異なり、特殊なマーカーやスーツを必要とせずプレイヤーが前に立つだけで骨格を認識し、リアルタイムにゲームプレイが可能というものだ。

これを応用したのが、岩井先生の仰る処の「照明の知能化」であろう。

 

 

１　照明の知能化

　これまで、多種多様な応用の提案がなされてきていますが、その多くには「賢い照明」という概念が通底していると私は考えています。つまり、プロジェクタを既存の照明装置を置換・補助する高自由度照明として捉え、様々なセンシング機能と組み合わせることで、私達の生活を便利で豊かにする照明システムの実現が目指されています。別の見方をすれば、家庭やオフィス内のIoT (Internet-of-Things)化という文脈から、ネットワークに繋がれた知的な照明としてプロジェクタを捉えることもできます。ここではまず、このような賢い照明としてプロジェクションマッピングを応用する例をご紹介します。

 

 

１．１　リビング照明の知能化

　まず、リビング照明を知能化する試みをご紹介します。米マイクロソフト社の研究所は、テレビに表示している映像の周辺コンテンツを、テレビの周囲の壁や家具にプロジェクションマッピングし、広視野の映像提示によってその没入感を高めるIllumiRoomというシステムを提案しています。(https://shiropen.com/seamless/daisuke-iwai/projection-mapping/2から引用させて頂きました。)

 

 

IllumiRoom Projects Images Beyond Your TV for an Immersive Gaming Experience

 

VR ARの狭間⑹

 

 

大阪大学の岩井大輔先生の取り上げた作品事例は時系列で、全ての映像の進化を纏めていらっしゃるので、非常に分かり易い。

TeamLaboの子供達が描いた絵を、プロジェクターで投影した海に泳がせることが出来る。「お絵描き水族館」などは子供の好奇心いや、我々爺さん婆さんでも楽しいものだ。

 

Sketch Aquarium / お絵かき水族館

 

 

そしてカンヌライオン 2013年の音楽ユニットPerfumeへのプロジェクションマッピングだ。

 

Cannes Moments: Perfume's Amazing Digital Light Show at Cannes Lions

 

 

ダンスをしながら動いている3名の歌手の衣装に映像が投影され、その見えが次々に切り替わる作品です。このようなダンスパフォーマンスに対するプロジェクションマッピングでは、一昔前まではいわゆる背景差分法 (ダンサー領域と背景領域を切り分ける)をベースにした単純な手法が用いられていましたが、最近ではモーションキャプチャ等を用いて、ダンサーの身体や衣装の各部位毎に異なる映像を投影するような表現が用いられるようになってきています。

(https://shiropen.com/seamless/daisuke-iwai/projection-mapping/1から引用させて頂きました。)

VR ARの狭間⑸

 

 

大阪大学の岩井大輔先生の「プロジェクションマッピング技術の変遷 

「プロジェクションマッピング作品を通して見る技術課題」は全て集約してくれているので、とても分かり易いものです。

1976年にコンピュータグラフィックの情報収集と「幼児番組での可能性」で、ユタ大学ベル研究所セサミストリートのCTWプロダクションといろいろと学んだが、全てに於いてそのプロセスが無駄な過程がない事を、今のリノベーションから理解できる。例えば、1972年ユタ大学のファイスのエレメントを実際の顔から求めて、徐々にスムーズシェーディングしていく。

当時 CGで能面を捉えた短編のCG作品もあった。

 

Early CGI Facial Animation (1974)

 

えらい時間を要したが、今のコンピュータの演算処理ではリアルタイムに再現できる時代となった。それがOMOTEだろう。

 

OMOTE REAL TIME FACE TRACKING & PROJECTION MAPPING

 

OMOTEの応用表現例がINORI-PRAYERであろう。

 

WOW｜INORI - PRAYER-