メディエーテッドリアリティ（調停現実感）の必要性
（※）本稿は、2016年10月27日に東京・豊洲のNTTデータ本社で開催された「Internet of Abilitiesの時代：Augmented RealityからAugmented Humanへ」と題された暦本氏の講演内容をまとめたものです。
【プロフィール】
暦本純一（れきもと じゅんいち） 博士（理学）
1986年 東京工業大学理学部情報科学科修士過程修了。日本電気、アルバータ大学を経て、1994年より株式会社ソニーコンピュータサイエンス研究所に勤務。1999年よりソニーコンピュータサイエンス研究所 インタラクションラボラトリー室長。2007年より東京大学大学院情報学環教授 (兼 ソニーコンピュータサイエンス研究所副所長)。多摩美術大学客員教授。慶應義塾大学大学院メディアデザイン研究科 訪問教授。
建築をプログラミングする
今日のテーマはヒューマンオーグメンテーション(※1)なのですが、その前にIoT(※2)の話題をご紹介しましょう。
実は今年、「Squama」という作品がグッドデザイン賞を受賞しました。これは液晶を使ったスマートウィンドウで、5センチ角の窓の透明度を液晶技術によって自由にプログラムできるというものです。
例えば会議室でプレゼンする時、窓からの光がまぶしいからブラインドを下ろしているのに、室内の明かりが煌々とついている風景をよく見かけます。窓や建築をプログラミングできるようになれば、外からどのくらい光を取り入れるかを調整することができます。これも1つのIoTと言えます。
「Squama」は、5センチ角の四角（窓）の透明度をコントロールすることができる
これまでの建築はハードウェアとしてつくられてきましたが、これからの建築は機能（ソフト）が変わっていく。その裏にはもちろん情報技術があるわけですが、ディスプレイに情報を表示するだけではなく、室内の明るさや暗さ、見たいものと見たくないものを制御する、といった私たちが日常的に持っている感覚に密着していくと考えられます。
可動要素を取り入れたキネティックファサードや変化する建築というのは既にあります。例えばパリにあるアラブ世界研究所（設計：ジャン・ヌーベル、1987年）の建築は、メカによってシャッターが開閉するようになっています。
ファッションの分野では、汗をかくと水分でフィンが開く特殊なポリマーでできたウェアもあります。自然界であればカメレオンは外界に反応して変化しますね。
私たちが取り組んでいる窓も同じです。液晶材というのは電圧をかけると中の分子が並ぶ性質を使って光をコントロールする仕組みです。今や液晶材はどんどん値段が安くなっており、同じ面積の液晶テレビよりも建築材料としての窓の方が高いという時代なんです。また種類も色々ありますから、今後建築のなかにどんどん入っていくでしょう。
例えば、最近はガラス張りのオフィスをよく見かけますが、モニターに投影している資料の中身を見られたくないという場合がありますね。このスマートウィンドウは空中にモヤがかかっているような状態をつくり、オフィスの外側を歩いている人の視界からモニター部分だけ隠してくれるというものです。
窓には日照を取り込む役割がありますが、一方で直射日光が当たると食べ物が傷んでしまう。そこでスマートウィンドウが食べ物が置いてある部分だけ暗くするのです。この人工的な“影”は太陽の動きに合わせて動くので、一日中そこだけ暗くすることができます。
逆に、温室では植物の光合成が必要な部分だけ日照を確保し、あとは暗くして室温が高くなりすぎないように調整することも可能です。
注目していただきたいのは、IoTとはなにも機器に囲まれてやたらと情報が表示されている世界だけではない、ということ。プライバシーを守ったり生活環境をよくするといったことに情報技術が使われる世界がIoTであると、私はとらえています。
情報を「足す」のではなく「引く」
現在、バーチャルリアリティ（VR:Virtual Reality）やオーグメンテッドリアリティ（AR:Augmented Reality、拡張現実感）が話題になっていますが、私たちが取り組んでいるのはメディエーテッドリアリティ（Mediated Reality）、すなわち調停現実という世界です。
先程のスマートウィンドウのように「あえて見えなくする」のは現実から情報をマイナスすることです。これまでのように情報をどんどん足していくのではなく、逆に引いてちょうどよいところにもっていく。つまり現実を調停するという方向があり得ます。
かつてマーク・ワイザー(※3)という研究者がコンピュータが偏在する世界を予言し、ユビキタスコンピューティングという概念を提唱しました。そこからIoTなどの考え方が生まれてきたわけですが、ただコンピュータやデバイスが沢山あればいいということではありません。彼はこう言っています。
「もっとも深い技術というのは見えなくなる。日々の生活と区別がつかなくなるまで溶け込むのが、テクノロジーの最も成熟した姿である」
あるいは京都大学名誉教授の梅棹忠夫氏(※4)による『知的生産の技術』（1969年）という本には、「知的生産の技術というのは、秩序と静けさをつくるためにある」と書かれています。私は、この言葉は日本におけるユビキタスの考え方の最初ではないかと思っているのです。
窓を液晶化すれば当然「情報をどんどん出そうよ」ということになるでしょうが、それよりも私たちが生きている生活環境を整えることにテクノロジーの方向があるのではないかと考えています。
人間のさまざまな能力をテクノロジーによって強化しようという研究分野。知的能力だけでなく、身体能力や健康、心の充足感の拡張なども含まれる。
あらゆるものが通信機能を持ってインターネットに接続し、リアルタイムに情報を集約したり制御することができるシステムや状況のこと。
パロアルト研究所の技術主任であった人物。一般的にはユビキタスコンピューティングの祖として知られている。
日本の生態学者、民族学者、情報学者、未来学者。国立民族学博物館名誉教授、総合研究大学院大学名誉教授、京都大学名誉教授
IoAは、人間の能力がつながりあう世界
人間の直感力とコンピュータの検索力を組み合わせる
さて、ここからいよいよ本題、ヒューマンオーグメンテーション（人間拡張）の話です。
最近どこに行っても、AI（人工知能）という言葉を耳にしますね。こんな論文があって話題になりました。オックスフォード大学の学者が様々な仕事を分析し「今後10年で47％くらいの職業がAIによって置き換えられる」と結論づけたというのです。
例えば、レクチャラーといって講義だけ行うような大学教授や、銀行の貸付を判断する人などは高い確率でAIに取って代わられる。逆に幼稚園の先生など個々の人間としてのバリューが求められる職業は置き換えることができないそうです。
最近では、囲碁棋士のイ・セドル（Lee Sedol）がAIの「AlphaGo」に負けたことも話題になりました。あと10年くらいは「人間がAIに負けることはない」と言われていたのに、1年位であっさり負けてしまったのは衝撃でした。
こうした潮流は最近始まったことではありません。1996年にはガルリ・カスバロフ（Garry Kimovich Kasparov）という当時のチェスの世界チャンピオンがスーパーコンピュータ「DeepBlue」と対戦して負けました。この時も「人間が勝てないんだったら、チェスというゲームは成立しないのでないか」といった議論がありました。
ところが、「アドバンスドチェス」あるいは「サイボーグチェス」という競技が考案されました。これは人間対コンピュータではなく、人間とコンピュータのチームがひとつの競技者となります。今のところ、人間とコンピュータがチームを組んでチェスをやると人間だけ、あるいはコンピュータ単独よりも強いそうです。人間の直感力とコンピュータの検索力が合わさった時のパフォーマンスはかなり高い。実はこれが、私たちが考えているヒューマンオーグメンテーション＝人間拡張のあり方です。
私はヒューマンインターフェースとユーザーインターフェースを專門にしているので、これをどうつくるか、ということが非常に重要だと考えています。
人間が本来もっている能力を引き出す
1994年に私が試作した「NaviCam」は、液晶画面を通して世界を見回すと画面上に情報が出てくるというものでした。視界に対して情報がプラスされるので、今のAR技術と同じです。当時の携帯電話は電話だけでカメラもついていなかったので、液晶テレビをシリコングラフィックスというワークステーションにつなげてモバイルのつもりで実験していました。
もう1つはマルチタッチのシステムです。インターフェース研究は様々あるのですが、本質的には2つの方向しかないと考えています。1つはマウス、もう1つはマルチタッチです。数十億人単位で使っているのはその2つなんですね。マルチタッチをタブレット型にしたら今のiPadに近いものになります。
実は、私はマルチタッチの基礎的な特許に関わっています。2002年の「SmartSkin」というプロジェクトでは、テーブルの内部にセンサーを取り付けて、人間のジェスチャーを読み取ってインタラクションしようという研究を行いました。これは情報をテーブルにプロジェクションして自由に集めたりすることができるシステムです。
マウスは点1個で操作しますが、現実世界をたった1点で動かすことはスマートではありません。人間の手は実によくできていて、マルチタッチとは私たちがもともと持っていた能力なのです。にもかかわらずインターフェース側が人間の能力を引き出すことが出来ずにいました。
「NaviCam」（左）は、現在のAR技術の基本となる考え方を示した／「SmartSkin」（右）は、マルチタッチの基礎となる研究
60年代に世界で初めてマウスを設計したのはダグラス・エンゲルバート(※1)という人で、マウスを「知力を増幅するための道具」と表現しています。彼の研究所である「オーグメンテーションリサーチセンター（Augmentation Research Center ）」でもオーグメンテーションという言葉を使っているのは感慨深いものがあります。
アイヴァン・サザーランド(※2)という研究者による「ダモクレスの剣（The Sword of Damocles）」（1968年）というシステムもARの一種です。頭部搭載型のディスプレイにハーフミラーを取り付けることで現実世界と仮想世界が同時に映るようなシステムをやはり60年代に開発しています。
ジャックインとジャックアウト
私たちは今、人間の能力を拡張する研究に取り組んでいます。これは人間がドローンになりきるためのテレプレゼンスシステム「Flying Head」（2012年）。ドローンの視点で今まさに自分が歩いている姿を見ることができます。
ドローンの飛翔能力に人間の判断能力が組み合わさることによって、例えば災害時に専門家がドローンに成り代わって現地に赴き、状況を把握することができるようになります。
こうしたテレプレゼンス(※3)の研究はほかにも色々ありますが、私たちが特に注目しているのは、「ドローンと人間」など明らかに違うものをあえて組み合わせるということです。ドローンは飛べるが、人間は飛べない。その能力のギャップをどうやってつなぐか、ということがおもしろいテーマだと思っています。
ドローンに人間が入り込んでジャックする、という状況を私たちは「ジャックイン」と呼んでいます。私はSFが大好きで、研究のアイデアはほとんどSFからきているくらいなのですが、このアイデアはウィリアム・ギブソン（William Gibson）のSF小説『ニューロマンサー』（1984年）からインスピレーションを受けています。このなかで人間が電脳空間に入り込むことを「ジャックイン」、逆に離脱することを「ジャックアウト」と呼んでいたことに由来します。
トップアスリートのなかにはパフォーマンス中の自分のフォームを客観的に眺めることができる方がいるそうです。これはメンタルのジャックアウトと言えますが、ドローンを使えば工学的にその状態をつくることが可能です。ジョギングしている人の後からドローンがついてきて、自分の後ろ姿を客観的に見ることができるシステムです。この視界に、遠隔地にいるコーチがジャックインしてきて、フォームのアドバイスをしてくれるのです。
さらに私の研究室の学生はこの水泳版をつくりました。水中のフォームをチェックするのは本当に難しいです。これはスイマーの位置を認識してその下にぴったりくっつきながら進む伴泳ロボットで、泳ぎながら自分のフォームを確認できるだけでなく、水の外にいるコーチもまた画面上に書き込みなどして助言することができます。
「Flying Head」（左）／「「Flying Head」の水泳版「Swimoid」（右）
IoTからIoAへ
次に、もしも他の人の視界や感覚にジャックインしたら何ができるか考えてみましょう。私が子どもの頃好きだった『プローブ捜査指令』（1971−73年）というスパイドラマでは、主人公が小型のウェアラブルコンピュータを身につけています。これがセンターにつながっていて、何か問題が起きると専門家たちの知識が送られてきて救われるのです。
映画『ブレインストーム』（1983年）では、脳に取り付けたデバイスがその人の体験を完全に記録して、他人に転送できます。映画のなかではその人が感じた重力まで転送できるのですが、さすがに重力は無理でも映像であれば可能だということで開発したのが「JackIn Head」（2014年）です。
仕組みは、360°映像のカメラを頭につけて全周囲映像を録画し、それをほかの人がヘッドマウントディスプレイ（HMD）で見て追体験するもの。体操選手が大車輪している映像なのですが、そのまま見ると完全に酔います（笑）。そこで映像の一部を処理して、回転を止めてやるのです。リアリティや迫力は軽減されますが、こうすることで見る人が映像の中に入っていきやすくなります。
またデンゼル・ワシントン主演の映画『デジャブ』（2006年）では、“スーパーグーグルマップ”のように世界中どこでも3次元的に再現できる様子が描かれています。このように3次元的にテレポーテーション（瞬間移動）する研究も進んでいます。
さきほどの「JackIn Head」は、その人の頭につけたカメラの視点からの映像を見るだけでそこから飛び出すことはできませんでした。「JackIn Space」（2015年）は、3次元再構成技術を使って複数の空間そのものをつなぐことによって、1人目の頭から見ている映像から飛び出して、別の空間に入り込むことや、そこで自由に動き回ることもできます。
現状はまだ映像の解像度が粗いのですが、その技術が進んでくれば現実世界と再現世界がよりシームレスにつながっていくのではないかと考えています。
「JackIn Space」（2015年）
冒頭でIoTの話をしましたが、こうなってくると単なるシームレスではなく、むしろ人間の能力が接続し合う状況がつくられるということになります。このように能力と能力がつながりあう世界を、私たちは「IoA（Internet of Abilities）」と呼んでいます。
初期のコンピュータやインターネットの開発に関わるアメリカの発明家。
アメリカの計算機科学者でインターネットの先駆者の1人。コンピュータグラフィックスやバーチャルリアリティの先駆者でもある。
テレビ会議のように、遠隔地のメンバーとその場で対面しているかのような臨場感を提供する技術やシステムのこと。
次の巨大市場は「コミュニケーション」
技術の組み合わせでテレプレゼンスはよりスムーズになる
ここまでジャックインによって遠隔地に行くことを説明してきました。ところで、その時、現実の私たちの存在はどうなっているのでしょうか。
今、アメリカを中心にこんなテレプレゼンスロボットが流行しています。セグウェイ(※1)のような車輪付きの台の上にモニターがあってフェイスタイムでコミュニケーションできます。
テレビ会議だと部屋の壁に張りついたままですが、これなら自由に会場のなかを歩き回ることができますね。国際学会でもこういうかたちで参加する人が増えていて、彼らから学会の参加料を徴収するかどうかが議論されているところです（笑）。ただし、これも階段が登れないから人の助けが必要である、といった課題もあります。
タイヤとモニターを組み合わせた、さまざまなタイプのテレプレゼンスロボット
ところで、誰でも数時間だけタクシードライバーになることができる「UBER（ウーバー）」というサービスがあります。同じように、人間の能力もつなげるだけではなく、“時間貸し”ができるのではないか。そこで試しに「人間ウーバー」をつくってみました。
フェイスタイム(※2)の画面がついたヘルメット「ChameleonMask」を3時間だけ学生に被って行動してもらいました。すると背丈が同じくらいだと、中の人は別人だと知っていても画面上の人物と話をしてしまうことがわかったのです。
ただしテレビ会議など平面のテレプレゼンスの限界として、モナリザ効果(※3)が生じてしまいます。そこでその人の顔と同じかたちをした立体スクリーンをつくって顔を投影してみました。するとモナリザ効果が解消され、むしろ怖いくらいにリアリティが出てきました。
「ChameleonMask」（左）／「Live Mask」（右）
もう1つテレプレゼンスの問題は、高さです。コミュニケーションには立ち位置というものがあって、背の高さや目線の違いでなんとなく関係が変わったりするものです。そこで目線の高さが変化するロボットをつくったらどうなるか試してみました。
ユーザーがこのロボットにジャックインすると、本人の実際の身長に合わせて画面の位置が変わる仕組みです。こうした技術によって、遠隔コミュニケーションはよりスムーズになっていくと考えられます。
対話する人の目線に合わせてモニターの高さを変えるロボット
進化するVRコミュニケーションのリアリティ
VRの世界では「次の巨大な市場はコミュニケーションだ」と言われています。最近フェイスブックでは仮想空間で遠隔地の人とコミュニケーションする「ソーシャルVR」と言い出していて、スカイプも3次元版が重要だと言われている。私もそう思います。
ただ、コミュニケーションとなると顔を覆ってしまうヘッドマウントディスプレイ（HMD）が“くせ者”となります。テレビ会議では可能なフェイス・トゥ・ フェイスが3次元空間になった途端、お互いに顔を隠した者同士の会話になってしまう。重要なビジネスの会議の時にアバターを使うのではどうも信用できない ですよね（笑）。
そこで今、3D映像上でHDMを消せるかどうかを研究しています。HDMの内部に設置したカメラと鏡の仕組みをつかって顔の映像を撮影するのです。一方、3次元スキャンで人の顔をスキャンし、そのデータに撮影した顔の動画を貼り付けると目線が動いているように見えます。これでHDMを装着しているにもかかわらず、3D空間のなかでは素顔で話しているような映像をつくることができます。
この技術をソーシャルVRに適用すれば、HDMを着けた人同士でもフェイス・トゥ・フェイスのコミュニケーションが可能になります。このように様々な技術を組み合わせることで、コミュニケーションのリアリティはこれからもいっそう高まっていくと考えられます。
人を幸福にするUIは可能か
冒頭でお話したスマートウィンドウも、実は生活の快適さや幸せに関わることでした。私は、UI（ユーザーインターフェース）というのは、最終的には人間の幸福に寄与するのではないかと思っています。
人間を幸福にするUIはあり得るのか。1つのヒントとして、身体心理学という学問があります。楽しいから笑顔になるのではなく、笑顔にするから楽しくなるという考え方ですね。これを説いたウィリアム・ジェイムス(※4)によると、脳が私たちの身体を支配しているのではなく、身体が脳に影響を及ぼしているという。うつ病の人が姿勢を良くするだけで抗うつ効果があるそうです。身体が内面に与える影響は想像以上に大きいのです。
そこで人に笑顔を強要したら心理的にどう影響するかを実験してみました。被験者にボールペンをくわえてもらったところ、口の両端（口角）が上がっている人の方が、心理テストの結果ポジティブな状態であることがわかりました。
筋肉がこうなっているからポジティブだと思い込む。だとすれば、笑顔を誘引するUI「HappinessCounter」が役に立つかもしれません。笑顔を認識するソフトと、とても簡単なフィードバックの仕組みを使って、笑顔になると反応する化粧台や、にっこりしないと鳴り止まない目覚まし時計などをつくってみました。
笑顔にならないと開かない冷蔵庫は不便なだけですが、メンタルには効果がある。これは2012年のグッドデザイン賞でベスト100を受賞しています。
「HappinessCounter」
笑顔とアイデアは密接にリンクしていて、笑顔のないところでいくら議論したり考えてもイノベーティブなアイデアは出てきません。
UIとはもともと便利なものとして、効率よくでき、かつ正確であることが求められてきました。今ご紹介したものはすべて不便で非効率ですね。しかし、私たちが住んでいる世界というのは単純に利便性だけ追い求めていくと、最終的にはAIに置き換えられてしまいます。チャップリンの映画『モダンタイムス』のように、すべて自動化された世界が本当に嬉しいでしょうか。
最後にご紹介したいものがあります。これは私たちの研究ではありませんが、個人的にとても好きなプロジェクトです。アメリカのベンチャーが開発したパーキンソン病の方のためのスプーン「Liftware」(※5)です。パーキンソン病の人は手が震えるためうまく食事ができません。「食べられない」という状況は尊厳や自信を失わせてしまいます。このスプーンはスタビライゼーション機能によって安定し、多少震えても食事を継続できるのです。
オーグメンテーション（拡張）というのは、必ずしもスーパーマンをつくることではないのです。世の中には色々なテクノロジーがありますから、確かに『モダンタイムス』のようにすべてが自動化される分野があるかもしれません。
一方で、日々エクササイズをしたり、健全な精神を保つといった私たちの日々の努力をテクノロジーが支えてくれるような世界もあり得るのではないでしょうか。私たちは、その2つのテクノロジーの方向性についてこれからも考えていく必要があると思っています。
アメリカの発明家ディーン・ ケーメンを中心に開発され、Segway Inc.から発売されている電動立ち乗り二輪車。
iPhoneやiPad間で高音質な通話や、ビデオ通話ができるアプリ。
モナリザの絵の正面に立つとモナリザがこちらを見ていると感じる現象。
アメリカの哲学者、心理学者。
