ポイント

• 記録・編集済みの過去を目の前で実際に起きている現実として体験させるシステム
• 従来の実験法ではできなかったさまざまな認知心理実験が可能に
• VRや拡張現実とは異なる、新しいヒューマンインターフェースの展開に期待

要旨

理化学研究所（野依良治理事長）は、バーチャルリアリティー（VR）^※1に用いられてきた技術を応用し、予め用意された「過去」の世界を「現実」と差し替え、被験者に過去を現実と区別無く体験させる実験装置「代替現実システム（Substitutional Reality System＝SRシステム）」を開発しました。これは理研脳科学総合研究センター（利根川進センター長）適応知性研究チームの藤井直敬チームリーダーと、脇坂崇平研究員、鈴木啓介研究員（現イギリス サセックス大学研究員）の研究成果です。

私たちの脳は、目の前に広がる“現実”は確かなものであると強く信じています。つじつまの合わないことが起きると、「気のせい」や「思い違いのせい」にして、つじつまが合うように強引に解釈します。夢の中では、まったくつじつまが合っていないことでも、現実だと思い続けます。こうした自分の体験を「実際に起きていること」と信じる仕組みや、それに疑いを持つ時に生じる、メタ認知^※2と呼ばれるヒトの高次認知機能はさまざまな技術的限界のため、その詳細を理解することが困難でした。

研究チームは、被験者に気づかれずに、予め用意した過去の映像を“現実”に差し替える「代替現実（Substitutional Reality; SR）システム」を開発しました。SRシステムでは、被験者はヘッドマウントディスプレー^※3（HMD）とヘッドフォンを装着し、2種類のシーンを体験します。1つは、HMD上に取り付けられたカメラからリアルタイムで送られたライブ映像、もう1つは被験者がいる場所で予め撮影され、編集された過去映像です。これらの映像の切り替えに工夫を凝らすことで、被験者に、過去映像を、まるで目の前で起きている“現実”だと体験させることに成功しました。

SRシステムは、予め記録し編集しておいた過去の出来事を、今まさに目の前で起きている現実であると被験者に信じさせることも、それに疑いをもたせることも可能にします。本装置を用いることにより、これまで困難だったメタ認知に関わるさまざまな認知・心理実験が可能になります。また、新しいアプローチの心理療法としての応用や、VRや拡張現実（AR）^※4などとは異なる体験を提供するヒューマンインターフェースとしての展開も期待できます。

本研究成果は、ネイチャー・パブリッシング・グループのオンラインジャーナル『Scientific Reports』（6月21日号）に掲載されます。

なお、8月24～26日の間に日本科学未来館において、SRシステムを用いた”MIRAGE”というパフォーマンスアートの公演を予定しています。（詳細は7月上旬にMIRAGEのホームページ（英語）でお知らせします。）

背景

目の前に広がる風景や、周りを行き交う人々…。通常私たちは、これらが「本当は、物理的に目の前に存在していないのかもしれない」とは疑ったりしません。目の前の現実は確かなものであると強く信じています。もし、つじつまが合わない何かおかしなことが目の前で起きても、私達は現実を疑うということはせず、「気のせい」や「思い違いのせい」にします。最近の心理学実験では、明らかに現実には起きないような出来事を体験した場合でも、強引につじつまを合わせて自分を納得させるという傾向があることが明らかにされています（Johansson, et. al., 2005）。

実は、まったくつじつまが合っていなくても、現実だと思い続けるということを私達は日常的に体験しています。夢がそれに当たります。夢の中ではおかしなことが沢山起こりますが、夢を見ている最中に、そのおかしさに気がつくことはあまりありません。それと同じく、統合失調症の症状の中には、幻聴や妄想のように、まったく辻褄の合わない出来事でも、本当に起きていると信じてしまうというものがあります。

体験している出来事を実際に起きていると信じて解釈する仕組みや、「あれ？」と疑うときに働くメタ認知と呼ばれる心の働きや思考の解明は、ヒトの高次認知機能を理解するにあたって非常に重要なことです。そのためには、実際に起きている出来事をありのままに体験していると被験者に信じこませたまま、こっそりと体験内容に変更を加えるように自由に現実を操作する手法が必要となりますが、これまで技術的な限界があったため、従来の研究は限定された範囲にとどまってきました。例えば、バーチャルリアリティー（VR）技術を使えば、人工的に作った世界を高い臨場感とともに被験者に体験させることができますが、そもそも体験内容が人工的なものだということは分かってしまっているため、現実を疑う「あれ？」というメタ認知の働きは立ち上がりません。上述のJohanssonらの研究では、手品のテクニックを駆使して現実操作を実現していますが、「種」が分かってしまうとその後同じ手法は通用しない、などの問題があります。

研究チームは、予め用意しておいた過去の映像を使って、“現実”のシーンをこっそりと差し替える(substitute)ことを代替現実（Substitutional Reality; SR）と呼んでいます。SRを題材にしたフィクションとしては、「マトリックス」や「インセプション」といったSF映画が有名です。フィクションの世界でしか語られなかったSRを実現することができれば、新しい心理・認知実験手法として用いることができ、今まで踏む込むことが出来なかったメタ認知を含むヒトの複雑な高次脳機能へのアプローチが可能になることが期待できます。

研究手法と成果

本研究では、バーチャルリアリティー（VR）や拡張現実（AR）で使用されてきた技術を応用してSRシステムを開発しました。すなわち、予めビデオ撮影しておいた過去のシーンを、実際に目の前で起きていると被験者に信じこませたまま体験させることに成功しました。

SRシステムでは、被験者はヘッドマウントディスプレー（HMD）とヘッドフォンを装着します。その状態で、被験者に2種類の異なるシーンを体験させます。

1つは、現在そのものであるライブシーンです。映像はHMD上に設置したカメラからリアルタイムで入力します。この時、目の前で何かイベントが生じれば、それがそのまま映し出されるので、被験者は間違いなくその場の現実を体験し、それを疑うことはしません。つまり、この状態を予め体験することで、HMD上で体験することは現実であるという強い信念が生まれます。

もう1つは、被験者がいる場所で予め撮影し、編集した過去シーンです。SRシステムでは、シーンの撮影に360°全方位の映像を撮影するカメラ（パノラマビデオカメラ）を用います。HMDに埋め込まれた頭部方位検出センサーと連動させることで、過去シーンを体験している時でも被験者は自由な方向を見ることができます。また、音声の方向と質を変化させないように、過去シーンの音声録音再生とライブシーンの音声入力には、被験者のそばに置かれた同じマイクを用います（図1）。また、SRシステムの性能に影響を及ぼす運動視差^※6、切り替えのタイミングといった技術的な要素を心理物理実験を用いて検証し、その性能を最適化しました。

こうすると、ライブシーンと過去シーンの体験は知覚的にはほとんど同等になります。両方とも、ビデオ映像と同じマイクを用いた音声を体感し、頭を動かせばその方向が見えるという状態です。シーンの内容、切り替え時の映像の連続性などを上手く制御すれば、原理的にはライブシーンと過去シーンの切り替わりに被験者は気づくことができないはずと推測しました。

そこで、このSRシステムを用いて行動実験を行ったところ、このようなシンプルな仕組みで極めて安定的にSRが実現できることを確認しました（図2）。まず、全ての被験者（21人）にライブシーンを体験させた後、編集した過去シーンを見せました。すると、全ての被験者が、本当は目の前にいない人物をいるものと信じたままコミュニケーション（会話）を行いました（図2b）。

次に、被験者本人が登場するという、明らかにありえない状況を体験させたところ（ドッペルゲンガー^※5シーン:図2c）、すべての被験者が、現在の体験がSRであること、すなわち過去に起きたイベントを自分が見せられているということに気付きました。

さらに興味深いことに、被験者がSRに気付いた後、SRの種明かしを説明する過去シーンを提示すると、70％の被験者はその説明を現実だと信じて、SRの状態を引き続き維持することもできました。（図2d）。

その後、もう一度ライブシーンで種明かしを行うと、被験者は自分の体験が現実なのかSRなのかの区別が段々出来なくなりました（図2e）。そのような状態が続くと、ライブシーンを過去シーンと信じることも、その逆のようなことも起きます。つまり、SRシステムを用い、そのシーンの内容を操作することによって、被験者の主観的な体験を現実と信じさせたり疑わせたりすることが自由にできることを意味しています。

SRシステムでは、ライブシーンと過去シーンが主観的に「地続き」に等しく体験できるため、体験者の主観的現実を操作する全く新しい仕組みといえます。これまで、フィクションの世界だけで語られてきたアイデアをSRシステムで実現することができました。

今後の期待

今後、研究チームは、SRシステムだけで実現可能と思われる環境を用いて、そのときの脳機能、心理状態、心拍などの生理状態を調べることにより、ヒトのメタ認知の仕組みを調べていきます。デジャビュのように１度しか起きないような出来事を何度も体験させるというのも一例です。また、普通とは少し異なる物理法則に支配された世界を体験させることも可能です。例えば、過去映像の再生速度を操作すればスローモーションの世界になりますし、バスケットボールのシュートが100％決まるようなありえない状況、別の言い方をすれば「世界の確率性」を操作して、その異なる世界でヒトがどのように適応するのかといったことを調べることも可能になります。

また、SRシステムは、現実を任意に操作出来ることから、心的外傷後ストレス障害のような心的疾患に対する新しいタイプの心理療法としての展開も考えられます。また、「そもそも現実とは何か」といった、哲学上の問を探求するためのツールとしても利用可能だと期待しています。

さらに、SRシステムはそれ自体が新しいインタラクティブなメディア体験装置として利用可能です。過去を現実と思い込ませたり、あるいは現実と過去を重ね合わせ、両者が区別できない状態を体験させたりするのは、これまでにない全く新しい表現手法で、次世代ヒューマンインターフェースの到来が期待できます。

原論文情報

• Keisuke Suzuki, Sohei Wakisaka and Naotaka Fujii
  “Substitutional Reality System: A Novel Experimental Platform for Experiencing Alternative Reality”, Scientific Reports, 2012. DOI: 10.1038/srep00459

発表者

理化学研究所
脳科学総合研究センター 心と知性への挑戦コア 適応知性研究チーム
チームリーダー 藤井 直敬（ふじい なおたか）

お問い合わせ先

脳科学研究推進部 企画課
Tel: 048-467-9757 / Fax: 048-462-4914

報道担当

理化学研究所 広報室 報道担当
Tel: 048-467-9272 / Fax: 048-462-4715

補足説明

• 1.バーチャルリアリティー
  現実あるいは空想上の世界を、コンピューターにより模倣・生成して体験させる技術の総称。
• 2.メタ認知
  認知を認知するという、認知に関する上位概念。人間が自分自身の認知プロセスを認識する場合において、自分の思考や行動そのものを客観的な観察対象として把握し認識すること。
• 3.ヘッドマウントディスプレー
  頭部に装着して視界を覆うタイプのディスプレー装置。
• 4.拡張現実（AR）
  現実の環境を、コンピューターを用い情報をリアルタイムに付加・強調などして体験させる技術の総称。例えば、カメラ付きスマートフォンを持って撮影しながら町を歩くと、モニター上に店舗情報が重ね合わせて表示される技術などがある。
• 5.ドッペルゲンガー
  人物の分身のこと。本研究では被験者自身のドッペルゲンガーをSR体験中に登場させた。
• 6.運動視差
  頭を動かしたときの、奥行きのあるものの見え方の変化。