映像と音声の分析による対面コミュニケーションの見える化を実現 ～サービス化に向けて保険業界を中心にトライアルサービスを提供中～

株式会社NTTデータ（以下：NTTデータ）は、対面コミュニケーションにおける映像と音声を基に表情・感情、身振り、音声をデジタルパラメーター化し、掛け合わせた印象値を算出するプロトタイプを開発しました。

2017年度に三井住友海上あいおい生命保険株式会社（以下：三井住友海上あいおい生命）と実証実験を行い、初期の分析エンジンを構築しました。2018年4月より富国生命保険相互会社（以下：富国生命）、三井住友海上あいおい生命（五十音順）、他2社にトライアルサービスを提供しています。

NTTデータは今後、2018年度のサービス化に向けて、トライアルサービスを通じ分析エンジンの精度向上を進め、対面営業やセミナーにおけるリアルタイム分析を目指していきます。

さまざまな業界において、非対面チャネルを通じた行動は分析されている一方、優れた営業担当者の対応プロセスを他者に展開するなど、対面チャネルを通じた行動を効率的に分析することは困難とされています。NTTデータはあらゆる対面コミュニケーションをデジタルデータとして蓄え、分析・評価するクラウドサービスを構想し、プロトタイプを開発しました。

本サービスでは各分野で実績のある技術を活用し、対面コミュニケーション時の動画と音声を基に表情・感情、身振り、音声をデジタルパラメーター化します。表情・感情のパラメーター化には米Affectiva社のAffdex^注1、身振りのパラメーター化には株式会社アジラの行動認識技術、音声のパラメーター化には株式会社アニモの音声分析技術を用いました。NTTデータは上記の各データと人間による印象の評価を基に機械学習により印象値（親しみ、説得力、熱意、対応力等）を算出してモデルを作成しています（特許出願中）。さらに印象値の算出の他、模範層や過去の自分との比較グラフを含めたレポートの提供も可能です。

本サービスはさまざまな活用シーンを想定しており、トライアルサービスでは、営業担当者のロールプレイ研修を対象にしています。ロールプレイ研修で営業担当者を撮影し、コミュニケーション要素や印象値を数値化することによって、客観的なフィードバックを提供することができます。2017年度に三井住友海上あいおい生命と実証実験を行い、初期の分析エンジンを構築しました。2018年4月より富国生命、三井住友海上あいおい生命（五十音順）、他2社にトライアルサービスを提供し、引き続き分析エンジンの精度向上を行っています。

営業研修以外にも、インターンシップ応募者から提供された動画からの分析モデル構築も検証中です。このモデルの活用により、就職活動生の面接練習や人事担当者が学生をより深く理解する材料にするなどの活用が考えられます。このように、本サービスはシーンや対象者によらず、モデルの構築が可能であり、印象値もさまざまな数値を導出できるような汎用性の高いサービスを目指しています。

NTTデータでは今後、引き続きトライアルサービスを通じて分析エンジンの精度向上を進めます。また、2018年度のサービス化に向けて、スマートフォンアプリを通じてスマートフォン上で動画の撮影、デジタルパラメーター化を行い、クラウド上で印象値の算出とデータ蓄積を行えるよう開発を進めます。さらに、将来は対面営業やセミナーにおいてお客さまの反応を即時にフィードバックできるリアルタイム分析を目指していきます。