マルチモーダル・インタフェース

マルチモーダル・インタフェースという言葉があります。modalityとは知覚を意味する言葉で、これが複数あるインタフェースという意味です。つまり視覚・聴覚・触覚など複数の知覚チャンネルを利用したインタフェースのことを指しています。

人間対人間の場合、例えば視線や身振り手振りなどの言葉以外の要素がコミュニケーションにおいて重要な役割を担っていて（これをノンバーバルコミュニケーションと言います）、実は人とのコミュニケーションにおいて90％を占めるとも言われています。これをコンピュータなどのヒューマン・インタフェースへ応用することでユーザビリティ（使い勝手）を向上しようというのがマルチモーダル・インタフェースの狙いです。

とは言え、人と人とのコミュニケーションにおけるノンバーバルな表現というのは人間には理解可能でもコンピュータに理解させるのは非常に難しい。"察する"とか"汲み取る"とか、あるいは"行間を読む"などという「情報の裏に隠された意味」を理解できる機械は今のところありません。なので機械と人とのコミュニケーションの場合は"サイン"に近いものになってしまうのですが、これを取り入れた身ぶり手ぶりテレビというのが去年発表されました。



機械には"察する"能力がないので、例えば誰かとテレビを見ながら話をしている時に何か身ぶり手ぶりをした場合にこれをテレビへの指示だと誤解してしまう場合があります。これを避けるためにはサインをある程度定型化しなければなりません。例えば画面をスクロールさせる場合は、人差し指を軽く上下に振るというのではなく、手のひらを向けて上から下へ10cm以上移動し、1秒以上間隔をあけてからまた上から下へ、という面倒くさいことをしなければならないわけです。（日立製作所のこの身ぶり手ぶりテレビの場合は「片手を上げて軽く振る」という動作を認識開始のキーとして、一定時間は人からの指示しか受け付けないという方法で“混線”を防ぐ、とありますが「片手を上げて軽く振る」のような決して特殊でない動作を開始のトリガーにしてしまうと誤動作する可能性が高いでしょう）

そして結局は人間が機械に合わせて何らかの操作を学習しなければならなくなるわけで、こうなってくると本末転倒です。ユーザビリティの原則は人間の負担を軽減することであり、そのためには学習が容易であり、新たに学習しなければならないことが少ないことが求められます（年配の女性がビデオでの録画の仕方をいつまでたっても覚えられないのは、その操作方法が分かりにくく記憶しにくいためです）。そういう意味では"身ぶり手ぶりテレビ"のような現在のマルチモーダル・インタフェースは興味深いものではあるけれども人間にとっての使い勝手を向上することは期待できそうにありません。しかし決して今のテレビやパソコンのままでいいという事にはならないので、マルチモーダル・インタフェースの取り組みは続けていかなければいけません。ただし、「使い勝手を向上する」という目的を見失わないことが重要ですね。

と、デジタル家電のヒューマンインタフェースを設計する立場としてそんなことを考えたりするわけです。

※今年からはこういう仕事に関係する専門的な話題もメモ代わりに書いていこうと思っています