日本発、感性の秘密に迫る革新的技術
脳科学で感性を解明し、応用するプロジェクト
「NeuroAI? D-Planner」の脳活動計測を前に、fMRI（機能的MRI）内での動画視聴に備えて準備する被験者 ?NICT・CiNet
AIをはじめとするテクノロジーが目覚ましい進展を見せる中、「人間らしさ」のカギを握る要素として注目が集まる感性の領域。人間は1人ひとり異なる感性を持っており、同じ商品や表現を前にしても、その反応は人によってまったく異なります。有史以来、感性は人それぞれの内面性を表すものとして、人間社会や文化の基本的な要素と考えられてきました。
このように「人間らしさ」の聖域と考えられてきた感性のメカニズムを脳科学によって解明し、実用的なサービスとして活用するという、世界でも類を見ないプロジェクトがここ日本で進められています。プロジェクト名は「NeuroAI? D-Planner（以下「D-Planner」）」。脳情報通信融合研究センター（CiNet）
(※1)の西本伸志博士と、NTTデータ経営研究所、NTTデータの共同研究によって開発された動画解析サービスです。
第1章では、このサービスの仕組みについてCiNet 脳情報通信融合研究室 主任研究員の西本博士に語っていただきます。続く第2、3章ではNTTデータのプロジェクト担当者が、サービスの効果や写真コンテストなどへの応用の試み、今後の展望について語ります。
動画視聴中の脳活動を計測し、自然言語で抽出
CiNetのfMRIと、「NeuroAI? D-Planner」の開発チーム。左から、茨木拓也（NTTデータ経営研究所）、西本伸志博士、矢野亮（NTTデータ）
（写真提供：情報通信研究機構 脳情報通信融合研究センター ?Takashi Matsui / DIAMOND Online）
───「D-Planner」は西本先生の研究を応用した産学連携のプロジェクトとして2016年にローンチし、実用的なサービスを展開しています。これはどのような原理に基づくものなのでしょうか。
西本 私たちの脳は、外界から受ける刺激を処理して体験内容を生成しています。fMRI（機能的MRI）(※2)は、脳活動計測を介してこの処理過程を解明する強力な道具です。私たちはこのfMRIによる計測結果を元に、刺激から脳活動を予測する人工脳モデルと、脳活動から体験内容を予測する解読モデルを作成し、脳の理解や知覚内容の推定などに取り組んできました。例えば、屋外の風景写真を目にした場合であれば、脳が受け取った意味知覚情報を、「sky」「tree」「people」といった自然言語によって抽出することに成功しています。
また、これまでに蓄積してきた両モデルをつなげることによって、必ずしもfMRIによる計測を行わずとも、人が何を感じるかという傾向を予測できる、“ある種のAI技術”を実現できると考えました。
「D-Planner」における、動画視聴中の脳活動解析画面。AIの自然言語モデルを適用し、印象を形容詞で表示している
───サービスの背景として、fMRIを用いる方法と、用いない方法の2種類があるということですね。
西本 はい。fMRIを用いる場合は、依頼企業の動画広告を被験者に視聴してもらいながら、fMRIで脳活動を計測し、視聴時の印象や感覚を「楽しい」「可愛い」「難しい」といった形容詞でアウトプットしていきます。この方法によって、これまでは定量化が難しかった広告の「質」を評価することができるようになりました。一方、fMRIを用いない場合については、過去に蓄積されたデータから脳活動を予測することで、同様のアウトプットを行う仕組みを独自に開発しています。
───fMRIで解読された脳情報をマーケティングに応用する試みは世界的にも前例がないそうですが、脳科学研究にとってこのプロジェクトで得られるメリットとは何でしょうか。
西本 広告の認知率や購買行動など、通常の研究室では得られない様々なマーケティングデータを活用できることでしょうか。私たち人間はいわば、「自然動画」とも呼ぶべき膨大な視覚刺激の中で生きているとも言えます。その刺激がどのように脳に反映され、心理的な印象や行動に結び付くのか。「D-Planner」で得られるマーケティングデータを活用していくことで、学術的にも大きな進展が見込まれています。
2013年、国立研究開発法人情報通信研究機構（NICT）と大阪大学によって、大阪府吹田市に開所。脳科学と異分野の融合研究を先導すべく、大学や企業の研究者も参加する産官学連携の研究体制で、脳機能研究の進展とその工学応用に取り組んでいる。
https://cinet.jp/
MRI（磁気共鳴機能画像法）の原理を応用し、脳が機能しているときの活動部位の血流の変化（血流動態反応）などを画像化する装置。生きている脳内の生理学的な活性を測定し、視覚的に表現するニューロイメージングの最有力手段でもある。
広告の印象を脳科学×AIで解き明かす
脳の理解が導く、革新的サービスの展望
fMRIでイメージングした動画視聴中の脳活動の様子。活性化部位を赤、非活性化部位を青で表示している
「D-Planner」は、今後の進展が期待される「脳科学の産業応用」の先駆的な事例として、どのような効果を挙げているのでしょうか。西本博士、NTTデータ経営研究所とともにプロジェクトを推進する、NTTデータ 社会基盤ソリューション事業本部 ソーシャルイノベーション事業部 デジタルソリューション統括部の矢野亮（やの・りょう）部長が、「D-Planner」の実力と成果、そして将来のビジョンについて語ります。
───動画視聴者の実際の脳活動を元に動画広告の効果を予測する「D-Planner」ですが、脳科学関連の取り組み全体において、どのようなプロジェクトと位置付けられているのでしょうか。
矢野 弊社グループでは、世界に先駆けて脳科学の利用による革新的なソリューション開発を大型の産学連携体制で進めています。その中でもいち早く実用化が期待されているのが、商品やサービスと脳活動の解析にAIを活用する「NeuroAI（ニューロAI）」と呼ばれる領域です。「D-Planner」はその1つの成果ですが、脳科学（ニューロサイエンス）とAIの組み合わせをマーケティングに取り入れた点が大きなポイントでもあります。
（参考：「ニューロAI」がマーケティングを変える）
ただ、「NeuroAI」のプロジェクトにとってマーケティングは、あくまで入り口に過ぎません。脳科学に限らず、AIやIoT、VRやARといった最新の技術によって、これまでは見えなかった情報や行動などの傾向が次々に「見える化」されてきました。その点では脳科学も、fMRIという計測機器が発達しなければ見ることのできなかった脳の活動を「見える化」したと言えます。そして、その知見をマーケティングに活用することで、従来の「マス」ではなく「個」として消費者を理解し、1人ひとりに最適化された商品やサービスを展開することができるようになる。こうして広がっていくコグニティブなサービス(※1)の市場を、脳を中心とする人間計測技術の活用によってリードし、消費者理解の高度化を進めていきたいと考えています。
広告の「質」を科学的に評価する仕組み
「D-Planner」による脳活動計測の一コマ。fMRI（機能的MRI）内の被験者の様子、視聴中の動画、脳内の活動状況などがモニターに映し出されている ?NICT・CiNet
───脳を知ることは人間について知ることであるという視点から、ゆくゆくは産業や社会全体の最適化や効率化を導いていきたいということですね。その上で、「D-Planner」の画期的なポイントとは何でしょうか。
矢野 メディアが多様化し、動画広告の活用シーンはますます広がっていますが、動画には強い訴求力がある一方で、効果測定が極めて難しいという弱点があります。視聴率や再生数、アンケート調査などの指標から測ることができるのは、あくまで主観的かつ記憶などに頼った間接的な効果に過ぎないため、アンケートやインタビューで良い回答が得られたとしても、それが実際の購買行動と合致しないなどのジレンマがありました。
それに対して「D-Planner」は、脳の活動を実際に測定し、数値化することが可能です。「視聴者が広告を見てどう行動したか」という結果ではなく、これまでは科学的な評価が不可能だった「クリエイティブの質」を定量化できるようになったということは、非常に大きな進歩だと思います。
なお、脳科学をマーケティングに活用する「ニューロマーケティング」という言葉自体は目新しいものではありませんが、計測・解析・結果の解釈の科学的妥当性や再現性など、様々な問題点が指摘されてきました。その中で我々の技術は情報分解度が高く、科学的な視点から正確な解析が行われている点でも、既存のものとは一線を画しています。
動画視聴中の脳活動を解析し、指標として設定したキーワード「デジタル化」「伝統」「挑戦」「未来」が広告の制作意図どおりに伝わっているかどうかをグラフ化して表示したもの
───「D-Planner」は2016年から実用的なサービスとして展開されていますが、現時点での導入事例や効果について、具体的に教えて下さい。
矢野 大きなメリットとしては、企業のブランドイメージやメッセージが動画広告によって消費者へどのように伝わっているか、これまで経験と勘に頼っていた世界に脳情報データによる裏付けを与えられることです。例えばアウディジャパンとの事例では、テレビCMの各シーンが意図した通りの印象をもたらしているかどうかについて効果測定を行ったほか、制作段階のCMの候補案についても比較検討をしていただきました。ほかにも飲料メーカー、消費財メーカーなど、現時点で20社以上の企業に導入いただいています。
さらに、この秋からはクラウドサービスとしての展開も予定しています。使い方としては、Webに動画をアップロードしていただき、「格好いい」「優しい」「親しみやすい」など、指標にしたい言葉を検索窓口に記入すると、動画の場面ごとにその指標がグラフ化されて表示されます。これまではコンサルティングサービスとしての提供だったため、ご依頼を受けてからレポート提出まで日数が必要でしたが、CMなどコンテンツ制作の意思決定支援をほぼリアルタイムで行えるようになる予定です。fMRIを使わず、AIの脳活動予測技術による解析手法を確立できたことで、より低コストで迅速な提供が可能になるというわけです。
脳科学やAIなどを活用した深い消費者理解の下に設計され、自律性を持ちながら1人ひとりに最適化されたソリューションを提供し、人間の行動や意思決定を支援する、進化したサービスのあり方。
写真コンテストで「NeuroAI審査」を実施
「D-Planner」による脳活動計測の一コマ。fMRI（機能的MRI）が捉えた脳内の活動状況が、リアルタイムでモニターに映し出されている ?NICT・CiNet
───必ずしもfMRIを使うことなく、即座に動画の印象が解析されるサービスが既に実用化されていることに驚きました。さらにこのサービスをフォトコンテストの選考にも応用するなど、新たな展開にも着手されているそうですね。
矢野 「D-Planner」の評価モデルを応用して、ゲッティ イメージズ ジャパンが年末に開催するフォトコンテストに参加しています。ゲッティ イメージズは報道や広告向けに写真や動画を提供する世界最大級のデジタルコンテンツカンパニーであり、世界中で撮影された報道写真からその年を象徴する写真を公開する「Year in Focus」を開催していますが、選考委員を務めるクリエイターたちと並んで「AIが選ぶ今年の1枚」を選出しました。
ゲッティ イメージズ ジャパン「Year in Focus 2017」で選定された「AIが選ぶ今年の1枚」。イタリアの沖合で転覆した難民船の救助風景をとらえた「MOAS（漂着難民救護所）の捜索と救助がピークを迎える」（Photo: Chris McGrath / Getty Images）
矢野 最初の参加となった2016年にはfMRIを用いた選考を行いましたが、17年はAIによる評価モデルを導入することで、より短時間で大量の写真を審査できるようになりました。その年を象徴する写真ということで、「優しい」「強い」「温かい」などのポジティブワードと、「恐ろしい」「悲しい」「苦しい」などのネガティブワードを設定し、両方の印象を併せ持つ1枚として、地中海における難民船の救助活動を捉えた作品が選ばれました。
同じく16年からは、全世界の弊社グループ社員を対象とした「NTT DATA N1 Photo GrandPrix」でも同様に、「D-Planner」を活用した「NeuroAI審査」を実施しています。これは世界共通のコミュニケーションツールである写真を題材に、異なる言語や文化など多様性あふれる社員たちの結束を高めるための企画です。例えば17年のテーマは「NTT DATA : ASCEND」。成長や上昇といったポジティブなイメージにつながる5作品を選定し、発表しました。
（「NTT DATA N1 Photo GrandPrix 2017」公式サイト）
科学×ビジネスで目指す、人間理解の新時代
![「NTT DATA N1 Photo GrandPrix 2017」の「ニューロAI賞」受賞作品より （Photo: Mario Legaspi [itelligence Outsourcing MSC Sdn Bhd]）](/jp/ja/-/media/nttdatajapan/images/data-insight/2018/082101/2018inforium10_selected_photo05b.jpg?la=ja-jp&hash=2705FA19C5F8A817ABF36CDA2E2094A968985D93)
「NTT DATA N1 Photo GrandPrix 2017」の「ニューロAI賞」受賞作品より
（Photo: Mario Legaspi [itelligence Outsourcing MSC Sdn Bhd]）
───設定する言葉や印象を変更することで、様々な角度から感性的な評価が可能になるわけですね。一方で人間の場合、どうしても見る順番や疲労感などによって印象が左右されてしまいますが、「NeuroAI」の技術を活用することで、より正確かつ公平な審査ができるということでしょうか。
矢野 確かに、そういった側面はあると思います。逆に、1人ひとりの脳活動の傾向をAIに学習させることで、人間の個人差を浮かび上がらせることも可能です。つまり、特定の人に焦点を当てて擬似的に脳活動を予測すれば、その人が選ぶであろう1枚を選定することができるはず。将来的にはもしかすると、世界的な偉人やクリエイターの脳の活動傾向を擬似的に再現できるかもしれません。その前に「D-Planner」のサービスとしても、現時点のように動画を評価するだけに留まらず、制作現場の意思決定をより効果的な方向へとアシストできるようなステージを目指したいと考えています。
───脳科学とAIの融合によって人間の心理や行動などの特性が科学的に解明されれば、映画や広告業界をはじめ、感性という言葉に委ねられてきた人間の表現文化自体が、新たなステージに突入する可能性もありますね。
矢野 それはあくまで将来的な可能性の話ですが、弊社でも具体的な取り組みが既に始まっています。17年秋には、脳情報解読技術を中心として、より積極的な事業応用を目指すべく「脳情報通信ビジネスラボ」を設立し、CiNetの先生方と様々な共同研究を進めています。そのテーマの1つが、脳の個人差に着目し、脳活動のペルソナ(※1)をつくること。こうした活動は脳だけでなく消費者、つまり人間について理解を深めることにほかなりません。
（プレスリリース：NTTデータグループによる脳情報通信技術分野の産学共創プロジェクト「脳情報通信ビジネスラボ」を始動）
そしてそれは、社会的な課題をITで解決していくという弊社の企業理念にもつながります。個性のデジタルアーカイブ化や、人間らしい個性を持ったAIの開発など、将来の可能性は尽きませんが、より深く統合的に人間を理解し、それを事業として社会に実装していくことで、1人ひとりの多様な個性に即した産業や社会のあり方が見えてくるはず。その一念で、これからも力を尽くしていきたいと思っています。
※本取材内容は、『INFORIUM』9号「脳科学から人間の感性を解き明かす」の取材内容をもとに、加筆・再構成したものです。
※タイトルバナーの脳の図像は「3D Brain」から描き起こしました。「3D Brain」は、コールド・スプリング・ハーバー研究所のDNA学習センターが製作・提供する脳の立体構造・機能学習スマートフォンアプリで、iOS、Android、Windowsに対応しています。日本語訳はNTTデータ経営研究所が提供しました。
Copyright 2005-2009, Cold Spring Harbor Laboratory. All rights reserved.
マーケティングにおいて、企業や商品の典型的なターゲットとなるユーザー像、人間像のこと。古典劇における「仮面」を語源として、ユング心理学で人格や自己の外的側面を表す言葉となり、マーケティング用語として広く使われるようになった。
