次なる可能性を秘めたSixthSenseテクノロジー
TEDの動画をご紹介します。
この内の一つ。
iPhone、iPadなどの未来が見えます。
テクノロジー手を携帯電話に、指をカメラに変えてしまう新技術。
まるで映画の中の世界。
常識が覆されるアイデアと創造性あふれる試作品をご覧ください。
http://www.ted.com/talks/lang/ja/pranav_mistry_the_thrilling_potential_of_sixthsense_technology.html
We grew upinteracting with the physical objects around us.There are an enormous number of themthat we use every day.Unlike most of our computing devices,these objects are much more fun to use.When you talk about objects,one other thing automatically comes attached to that thing,and that is gestures:how we manipulate these objects,how we use these objects in everyday life.We use gestures not only to interact with these objects,but we also use them to interact with each other.A gesture of "Namaste!", maybe, to respect someone,or maybe --in India I don't need to teach a kid that this means"four runs" in cricket.It comes as a part of our everyday learning.
So, I am very interested,from the beginning, that how --how our knowledgeabout everyday objects and gestures,and how we use these objects,can be leveraged to our interactions with the digital world.Rather than using a keyboard and mouse,why can I not use my computerin the same way that I interact in the physical world?
So, I started this exploration around eight years back,and it literally started with a mouse on my desk.Rather than using it for my computer,I actually opened it.Most of you might be aware that, in those days,the mouse used to come with a ball inside,and there were two rollersthat actually guide the computer where the ball is moving,and, accordingly, where the mouse is moving.So, I was interested in these two rollers,and I actually wanted more, so I borrowed another mouse from a friend --never returned to him --and I now had four rollers.Interestingly, what I did with these rollers is,basically, I took them off of these mousesand then put them in one line.It had some strings and pulleys and some springs.What I got is basically a gesture interface devicethat actually acts as a motion-sensing devicemade for two dollars.So, here, whatever movement I do in my physical worldis actually replicated inside the digital worldjust using this small device that I made, around eight years back, in 2000.
Because I was interested in integrating these two worlds,I thought of sticky notes.I thought, "Why can I not connectthe normal interface of a physical sticky noteto the digital world?"A message written on a sticky note to my momon papercan come to an SMS,or maybe a meeting reminderautomatically syncs with my digital calendar --a to-do list that automatically syncs with you.But you can also search in the digital world,or maybe you can write a query, saying,"What is Dr. Smith's address?"and this small system actually prints it out --so it actually acts like a paper input-output system,just made out of paper.
In another exploration,I thought of making a pen that can draw in three dimensions.So, I implemented this penthat can help designers and architectsnot only think in three dimensions,but they can actually drawso that it's more intuitive to use that way.
Then I thought, "Why not make a Google Map,but in the physical world?"Rather than typing a keyword to find something,I put my objects on top of it.If I put a boarding pass, it will show me where the flight gate is.A coffee cup will show where you can find more coffee,or where you can trash the cup.
So, these were some of the earlier explorations I did becausethe goal was to connect these two worlds seamlessly.Among all these experiments,there was one thing in common:I was trying to bring a part of the physical world to the digital world.I was taking some part of the objects,or any of the intuitiveness of real life,and bringing them to the digital world,because the goal was to make our computing interfaces more intuitive.
But then I realized that we humansare not actually interested in computing.What we are interested in is information.We want to know about things.We want to know about dynamic things going around.
So I thought, around last year -- in the beginning of the last year --I started thinking, "Why can I not take this approach in the reverse way?"Maybe, "How about I take my digital worldand paint the physical world with that digital information?"Because pixels are actually, right now, confined in these rectangular devicesthat fit in our pockets.Why can I not remove this confineand take that to my everyday objects, everyday lifeso that I don't need to learn the new languagefor interacting with those pixels?
So, in order to realize this dream,I actually thought of putting a big-size projector on my head.I think that's why this is called a head-mounted projector, isn't it?I took it very literally,and took my bike helmet,put a little cut over there so that the projector actually fits nicely.So now, what I can do --I can augment the world around me with this digital information.
But later,I realized that I actually wanted to interact with those digital pixels, also.So I put a small camera over there,that acts as a digital eye.Later, we moved to a much better,consumer-oriented pendant version of that,that many of you now know as the SixthSense device.
But the most interesting thing about this particular technologyis that you can carry your digital world with youwherever you go.You can start using any surface, any wall around you,as an interface.The camera is actually tracking all your gestures.Whatever you're doing with your hands,it's understanding that gesture.And, actually, if you see, there are some color markersthat in the beginning version we are using with it.You can start painting on any wall.You stop by a wall, and start painting on that wall.But we are not only tracking one finger, here.We are giving you the freedom of using all of both of your hands,so you can actually use both of your hands to zoom into or zoom outof a map just by pinching all present.The camera is actually doing --just, getting all the images --is doing the edge recognition and also the color recognitionand so many other small algorithms are going on inside.So, technically, it's a little bit complex,but it gives you an output which is more intuitive to use, in some sense.
But I'm more excited that you can actually take it outside.Rather than getting your camera out of your pocket,you can just do the gesture of taking a photoand it takes a photo for you.
(Applause)
Thank you.
And later I can find a wall, anywhere,and start browsing those photosor maybe, "OK, I want to modify this photo a little bitand send it as an email to a friend."So, we are looking for an era wherecomputing will actually merge with the physical world.And, of course, if you don't have any surface,you can start using your palm for simple operations.Here, I'm dialing a phone number just using my hand.The camera is actually not only understanding your hand movements,but, interestingly,is also able to understand what objects you are holding in your hand.
What we're doing here is actually --for example, in this case,the book cover is matchedwith so many thousands, or maybe millions of books online,and checking out which book it is.Once it has that information,it finds out more reviews about that,or maybe New York Times has a sound overview on that,so you can actually hear, on a physical book,a review as sound.("famous talk at Harvard University ...")
This was Obama's visit last week to MIT.("... and particularly I want to thank two outstanding MIT ...")So, I was seeing the live [video] of his talk, outside, on just a newspaper.Your newspaper will show you live weather informationrather than having it updated -- like, you have to check your computerin order to do that, right?
(Applause)
When I'm going back, I can just use my boarding passto check how much my flight has been delayed,because at that particular time,I'm not feeling like opening my iPhone,and checking out a particular icon.And I think this technology will not only change the way --yes. (Laughter)It will change the way we interact with people, also,not only the physical world.The fun part is, I'm going to the Boston metro,and playing a pong game inside the trainon the ground, right?(Laughter)And I think the imagination is the only limitof what you can think ofwhen this kind of technology merges with real life.
But many of you argue, actually, thatall of our work is not only about physical objects.We actually do lots of accounting and paper editingand all those kinds of things; what about that?And many of you are excited about the next generation tablet computersto come out in the market.So, rather than waiting for that,I actually made my own, just using a piece of paper.So, what I did here is remove the camera --All the webcam cameras have a microphone inside the camera.I removed the microphone from that,and then just pinched that --like I just made a clip out of the microphone --and clipped that to a piece of paper, any paper that you found around.So now the sound of the touchis getting me when exactly I'm touching the paper.But the camera is actually tracking where my fingers are moving.
You can of course watch movies.("Good afternoon. My name is Russell ...and I am a Wilderness Explorer in Tribe 54.")
And you can of course play games.(Car engine)Here, the camera is actually understanding how you're holding the paperand playing a car-racing game.(Applause)
Many of you already must have thought, OK, you can browse.Yeah. Of course you can browse to any websitesor you can do all sorts of computing on a piece of paperwherever you need it.So, more interestingly,I'm interested in how we can take that in a more dynamic way.When I come back to my desk I can just pinch that informationback to my desktopso I can use my full-size computer.
(Applause)
And why only computers? We can just play with papers.Paper world is interesting to play with.Here, I'm taking a part of a documentand putting over here a second part from a second place --and I'm actually modifying the informationthat I have over there.Yeah. And I say, "OK, this looks nice,let me print it out, that thing."So I now have a print-out of that thing, and now --the workflow is more intuitive the way we used to do itmaybe 20 years back,rather than now switching between these two worlds.
So, as a last thought,I think that integrating information to everyday objectswill not only help us to get rid of the digital divide,the gap between these two worlds,but will also help us, in some way,to stay human,to be more connected to our physical world.And it will actually help us not end up being machinessitting in front of other machines.
That's all. Thank you.
(Applause)
Thank you.
(Applause)
Chris Anderson: So, Pranav,first of all, you're a genius.This is incredible, really.What are you doing with this? Is there a company being planned?Or is this research forever, or what?
Pranav Mistry: So, there are lots of companies --actually sponsor companies of Media Lab --interested in taking this ahead in one or another way.Companies like mobile phone operatorswant to take this in a different way than the NGOs in India,[who] are thinking, "Why can we only have 'Sixth Sense'?We should have a 'Fifth Sense' for missing-sense peoplewho cannot speak.This technology can be used for them to speak out in a different waywith maybe a speaker system."
CA: What are your own plans? Are you staying at MIT,or are you going to do something with this?
PM: I'm trying to make this more available to peopleso that anyone can develop their own SixthSense device,because the hardware is actually not that hard to manufactureor hard to make your own.We will provide all the open source software for them,maybe starting next month.
CA: Open source? Wow.
(Applause)
CA: Are you going to come back to India with some of this, at some point?
PM: Yeah. Yes, yes, of course.
CA: What are your plans? MIT?India? How are you going to split your time going forward?
PM: There is a lot of energy here. Lots of learning.All of this work that you have seen is all aboutmy learning in India.And now, if you see, it's more about the cost-effectiveness:this system costs you $300compared to the $20,000 surface tables, or anything like that.Or maybe even the $2 mouse gesture systemat that time was costing around $5,000?So, we actually -- I showed that, at a conference, toPresident Abdul Kalam, at that time,and then he said, "OK, we should use this in Bhabha Atomic Research Centrefor some use of that."So I'm excited about how I can bring the technology to the massesrather than just keeping that technology in the lab environment.
(Applause)
CA: Based on the people we've seen at TED,I would say you're truly one of the two or three best inventors in the world right now.It's an honor to have you at TED.Thank you so much.That's fantastic.
(Applause)
私たちは身の回りのモノに触れて育ってきました私たちが日常生活で使うモノはものすごく沢山ありますコンピュータ機器の多くとは違い日常生活のモノというのは 使うのが楽しいものです日常生活のモノについて話題にするときそれに付随してくるものがもう１つありますジェスチャーですそれらのモノをどうやって扱うのか実生活でそれらのモノをどう使うのかジェスチャーはモノに対してだけ使うわけではありません人に対しても使います「ナマステ！」のジェスチャーは 誰かに敬意を示すときにしますインドの子供ならこれはクリケットの「4ラン」だと教えられなくとも知っています生活の中で自然に学び取るのです
私は早い時期に興味を持った事があります「モノやジェスチャーに対する私たちの知識や実生活でモノをどう使うかということがデジタル世界をより良くするために役立てられないだろうか？」キーボードやマウスを使うかわりに日常的なジェスチャーでコンピュータを使うことはできないだろうか？
8年ほど前に私はこの探求を始めましたそして自分の机の上にあるマウスをまず手に取りましたそれでコンピュータを使うというのではなく中を開けてみたのですマウスというのは昔は中にボールが入っていました2つのローラーがマウスを動かしたときのボールの動きをコンピュータに伝えるようになっていますだから私はこの2つのローラーに興味を持ちもっと欲しくなって友達からもマウスを借りました返すことはありませんでしたがこれでローラーが4つになりましたそのローラーを使って何をやったかというとマウスから取り外して一列に並べ紐と滑車とバネをつけたのです出来上がったのは ジェスチャーをインターフェイスとする装置でモーションセンサの働きをします2ドルでできました私が実世界でした動きがこの小さな装置を通してデジタル世界で再現されます2000年のことです
2つの世界の統合に私は関心があって次に考えたのは付箋メモです普段使っている付箋メモを電子的な付箋メモへのインタフェースにできないだろうか？紙に書いたお母さん宛のメッセージがSMSとして届き予定のメモが自動的にデジタルの予定表と同期しTODOリストも自動的に同期するという具合にそうすると デジタル世界の中で検索することもでき「スミス先生の住所は？」といった問い合わせもできます結果は紙に印刷されて出てきますこれは入出力を紙でするシステムで紙だけが外に見えています
別な探求として私は3次元に書けるペンというのも考えましたそのペンがあればデザイナや建築家が3次元で考えるというだけでなく実際に3次元で書くこともできずっと直感的に使えるはずです
Google Mapsを日常生活の中に引っ張り出せないか？ とも思いました何かを探すために検索語を打ち込むのではなくモノをその上に載せるのです搭乗チケットを載せれば ゲートへの道順を示してくれコーヒーカップを置けば コーヒーを買える場所やゴミ箱の場所を示すという具合です
どれも私が初期にやった探求です私の目的はずっと2つの世界を継ぎ目なく結ぶということでしたこれらの実験にはどれも1つの共通点があります身の回りの世界の一部をデジタル世界に持ってこようとしていることですモノの一部や実生活の直感的な面をデジタル世界に持ち込んでいますコンピュータをもっと直感的に使えるようにしたかったのです
しかし私たちが興味を持っているのはコンピュータ自体ではないということに気がつきました私たちに関心があるのは コンピュータの中にある情報です私たちは物事について知りたいと思いますどんなことが起こっているのかを知りたいと思います
それで去年の初めくらいから考えるようになりました「このアプローチを逆にすることはできないだろうか？」デジタル世界を取り出して日常生活の中に投影してみたらどうだろう？ピクセルデータは このポケットに入る四角い装置の中に収められています日常生活の世界へそれを解き放てるならピクセルをいじるために新しい言語を覚える必要もなくなるのでは？
この夢を実現しようと私は大きなプロジェクタを実際頭に載せてみましたヘッドマウントプロジェクタというわけですバイクのヘルメットに切り込みを入れてプロジェクタがうまく載るようにしましたそうやって デジタル情報で身の回りの現実を拡張できるようになりました
しかし後になって私はそのデジタル情報も操作したいと思うようになりましたそれでデジタルの目として小さなカメラを付けましたその後 もっと改良してコンシューマ向けのペンダント型を作りましたそれがご存じのSixthSenseデバイスです
このテクノロジーが特に興味深いのは自分の行くところはどこへでもデジタル世界を持っていくことができるという点ですどこか壁を見つけ それを操作面として使うことができますカメラがジェスチャーを捉え様々な身振りを解釈します初期のバージョンでは ご覧のようなカラーマーカーを使っていましたどこの壁でもかまいません壁の前で立ち止まって投影します追跡するのは一本の指だけではありません両手の指がすべて使えますだから地図を両手でつまんで拡大 縮小ができますカメラで実際にやっているのはエッジ認識や色彩認識そのほか沢山の細かいアルゴリズムによる処理です技術的には結構複雑なのですが結果としては直感的に使えるものになっています
これの楽しいところは 外に持ち出せるということですカメラをポケットから取り出すことなくただ写真を撮るジェスチャーをするだけで写真を撮してくれます
(拍手)
どうも
写真を撮ったら どこでも壁を見つけて写真を映して見ることができます「よし この写真にちょっと手を入れて友達にメールで送ってやろう」私たちはコンピュータの世界と日常の世界が混じり合う時代を迎えようとしているのです適当な壁がないときには自分の手のひらの上で簡単な操作をすることもできます手のひらでダイヤルしているところですカメラは手の動きを認識するだけでなくさらには手に持っているモノを認識することもできます
たとえばここでやっているのは手に取った本の表紙を何千何万というオンラインの情報と照合しどの本かを調べていますどれかわかったらその本のレビューを表示したりニューヨークタイムズのサイトにある音声による解説を引っ張ってきて実際の本を手にしながら聞くことができます(…ハーバード大学で行われた有名な講演で…)
これはオバマ大統領が先週MITを訪れたときのものです(…特にMITの2人の傑出した教授にお礼を言いたい…)私は彼の講演のライブビデオを 外で新聞の上で見ているわけですあるいはコンピュータを使わずに新聞でライブの天気情報を見ることができます
(拍手)
私が帰るときには 搭乗チケットで飛行機の遅れを確認できますiPhoneを取り出してアイコンを叩くまでもありませんこの技術は…ええ (笑)モノばかりでなく 人との関わり方も変えますお遊びとして ボストンの地下鉄に乗って電車の床で卓球ゲームをすることだって出来ます(笑)このようなテクノロジーが生活に溶け込むときできることを制限するものは自らの想像力だけです
私たちが扱うのは日常生活のモノばかりではないと言う人もいるでしょう実際 会計とか編集とかいろんなことをしますそしてあなた方の多くは 次世代のタブレットPCが市場に登場するのを心待ちにしていることでしょう私はそれをただ待っているのではなく自分のを紙切れを使って作ることにしました私がやったのはWebカメラにはマイクが入っているのですがそれを取り出してクリップにして紙に付けられるようにしましたどんな紙でも使えますそうすると紙にタッチしたときにタッチ音が出るようにできます実際の指の動きはカメラが把握します
もちろん映画だって見ることができます(こんにちは 僕はラッセル荒野探検隊 第54隊の隊員です)
それにゲームも(エンジン音)ここでは紙をどう持っているかをカメラが把握してレーシングゲームを操作しています(拍手)
見ることができることについてはお分りいただけたと思いますWebサイトやコンピュータ画面を 紙切れの上で見ることができますどこにいようともっと面白いのはこれをもっと生きたものにするということです自分の部屋に戻ったとき 情報をつまんでパソコンの上に落としてやれば続きを大きなパソコンでやることができます
(拍手)
コンピュータだけではありません 紙にもできます紙の世界で遊ぶのはとても面白いです資料の一部をこちらに取って別なところからも何か取ってきて情報をその場で修正できます「よし いい感じにできたぞ印刷しよう」そうして印刷しますこのような 20年くらい前にやっていたやり方のほうが2つの世界の間で行き来する現在のやり方より直感的です
最後になりますが身の回りのモノに情報を統合することでこれら2つの世界の溝を埋めデジタルデバイドをなくせるだけでなくもっと身の回りの世界と繋がりもっと人間らしく生きられるようになると思いますそして私たちは機械の一部みたいにならずにいられるでしょう
以上です
(スタンディングオベーション)
どうもありがとうございます
(拍手)
プラナフはっきり言って 君は天才だよ本当にすごいよこれをどうするつもり？ 会社を作る予定はあるの？それともずっと研究を続けていくの？
実際メディアラボのスポンサーの中にはこの技術をどう発展させるかに関心を持つ企業がたくさんありますたとえば携帯電話会社はインドのNGOとは違ったことを求めています「どうして'Sixth Sense' (第六感)しかないの？障害者のための'Fifth Sense'(第五感)があってしかるべきだこの技術を使えば 彼らが別な仕方で話せるようにできる」
君自身の計画は？ MITにずっといるの？これで何かするの？
これをより多くの人が利用できるようにして誰でもSixthSenseデバイスを開発できるようにしたいと思っていますこれのハードウェアを作るのはそんなに難しくはありませんこのソフトウェアはオープンソースにする予定ですたぶん来月あたりから公開します
そいつはすごい ワオ
(喝采)
いつかインドに戻ってこようと思っているの？
ええ もちろん
どういう計画？MITとインドで 時間をどう切り分けるつもり？
ここには多くのエネルギーがあり 学びがありますご覧いただいたものは私がインドで学んだことを元にしていますそしてコスト効率に目を向けるならこのシステムは300ドルですテーブル型PCみたいなものは2万ドルもしますあるいはあの2ドルで作ったマウスジェスチャーシステムは同じようなものが 当時は5千ドルくらいしましたあるカンファレンスで座長のアブドゥル カラムに見せたらこう言ってくれました「バーバー原子力研究センターでもぜひこれを使わなきゃ」私はテクノロジーを研究室に閉じ込めておくのではなくたくさんの人に届けるということにワクワクします
(拍手)
TEDで会った人の意見を聞くと君は現在の世界で最高の発明家の1人だと思う君をTEDに迎えられてとても光栄に思いますどうもありがとう実に素晴らしい
(スタンディングオベーション)
ショーシャンクの空で英会話 in 池袋
【映画で英会話の進め方】75分間
時間帯
ダブル受講される方は参加費2,000円となります。 
20：10～20：40（30分間） 
