信頼できるAI活用に向けたAI品質アセスメントサービスのトライアル提供開始
2020年10月14日
株式会社NTTデータ
株式会社NTTデータ（本社：東京都江東区、代表取締役社長：本間 洋、以下：NTTデータ）は、全社における300以上のユースケースにおけるAI開発固有のリスク抽出とその原因分析を通じて、NTTデータのノウハウをまとめたAI開発のための品質アセスメントツールを開発し、2020年10月14日よりトライアルでのサービス提供を開始します。
本サービスは、従来のソフトウエア品質管理手法では十分に対応できなかったAIを構成するデータとモデルの品質管理の向上を目的としています。NTTデータは本サービスのトライアル提供を通して、社内外のプロジェクトを対象にさらなる検証を行い、AIの品質アセスメントや各種リスクに対する改善策を提示する機能を追加した本格サービスを2021年4月以降に提供開始することを目指します。
NTTデータは、これからも安心・安全なAI開発に必要なサービスを開発し、お客さま業務へのAI活用をサポートしていきます。
背景
近年、AI関連技術の発展は目覚ましく、運転や診察、審査といった高い信頼性が求められる領域にもその活用領域は広がる一方、自動運転車による事故や、差別的な判断をする等のさまざまな問題が明らかになりました。
AIは、従来のソフトウエアと異なり、その実装だけでなく学習に用いたデータの影響を受けて振る舞いが変わるという性質を持ちます。ルールでの記述が現実的でないほど複雑な入出力関係を柔軟に模倣することができる一方で、獲得した入出力関係を完全に制御することができず、開発に試行錯誤を伴うことから、テストやレビューなどの従来のソフトウエア品質管理手法だけではAIを含むシステムの品質を十分に保証することができません。
図1：AI固有の性質とリスクの例
NTTデータでは、これらの課題に対応するために、AIに期待される品質、およびAI活用時固有のリスクを抽出・分析し、AI開発のための品質アセスメントツールを開発し、2020年10月14日よりトライアルでの提供を開始します。本ツールを用いてレビューやテスト、品質改善活動を推進することにより、安心・安全なAI開発に必要なチェック項目の洗い出しと確認・合意タイミングの設定が可能になり、早期のリスク発見が可能になります。
また、2021年4月以降、本ツールを用いて、AI活用における品質面の取り組みをアセスメントするサービス開始を予定しています。
AI開発のための品質アセスメントツールについて
AI開発のための品質アセスメントツールの特長は以下の通りです。
- プロジェクト特性に応じて、AIの精度だけでなく、活用によって発生しうる人的リスク、経済的リスク、および公平性、解釈性等について必要なリスクレベルを設定し、網羅的な検討を支援
- 要求レベルに合わせてAI開発プロセスのどのタイミングでどのようなチェック項目を確認すべきか提案
- チェック活動の観点の例
| データ品質 | 要件に対するデータの収集状況、データの偏り、利用の適切性など |
|---|---|
| モデル品質 | モデルの精度、公平性、解釈性、頑健性など |
- 提案されたチェック項目をプロジェクト特性に応じてテーラーリングして適用することで、リスクにつながる確認漏れを防止するのに加えて、ステークホルダー間の合意形成を支援
加えて、本ツールを改善するために、AI活用に関するリスクを継続的に監視し、AI開発のための品質管理プロセスを見直す体制を用意することを予定します。
図2：AI開発のための品質管理プロセスの使い方と期待する適用効果
AI品質アセスメントサービスについて
NTTデータは、AIアセスメントツールを用いてAI活用の取り組み状況を評価し、潜在的なリスク低減のための活動を提案するサービスを2021年から提供予定です。
本トライアルサービスは、これから実施する、または実施している、すでに実施したAI活用プロジェクトを対象にしており、現在公開されている各種ガイドラインに記載の項目にNTTデータが独自に抽出した項目を加えた、多数の品質特性について、検討すべきリスクの一覧を提供します。また、リスクへの対策として実施すべき活動を提案し、実施中または実施済みのプロジェクトについては取り組み状況を評価の上、具体的な改善策を提案します。
トライアルサービスの概要は以下の通りです。
- プロジェクト固有のリスクレベル確認のために、対象プロジェクトに関する資料の共有をお願いします。※機微な情報が多く、資料での提供が難しい場合はヒアリングにて実施
- プロジェクトの実施状況を確認するために、共有いただいた内容を基に、アセスメントに必要な情報を収集し、不足があればヒアリングを実施します。
プロジェクト固有のリスクに対してどのような活動が検討または実施されているかを、AI品質アセスメントツールで作成したチェックリストに沿って確認します - 提供された情報を基に、リスク対策の十分性を確認し、残存リスクの抽出を行います。
- 抽出した残存リスクおよびリスク低減のための提案を実施します。
AI開発の外部品質（人的リスク、経済リスク、公平性、解釈性等）および内部品質（データ品質、モデル品質、システム品質等）の各項目について、プロジェクトの実施状況を評価し、残存リスクがある場合はリスク低減のために実施可能な対策を提案します。
図3：AIシステム品質アセスメント トライアルサービスの概要
今後について
NTTデータは、AI CoE（Center of Excellence）注1を通じて本ツールを展開し、2021年度以降のAI案件への適用し、安心安全なAI活用を目指します。また、AI・データ活用によるビジネス変革を、戦略・人財／組織・データ・IT横断的に支援するサービスである「デジタルサクセス™プログラム」注2を通して、概念検証（PoC）やシステム化、運用とさまざまなフェーズのAI案件に本ツールを適用し、お客さまのAIシステムを信頼性高く効率的に開発することを目指します。
加えて、2021年4月以降、既存AIシステムおよびこれから開発するAIシステムの品質改善を支援するため、AI品質アセスメントサービスを本格提供します。
注釈
- 注1CoE（Center of Excellence）活動とはグローバル横断で最先端技術の知見を蓄積する拠点をもとに活動することです。
2019年5月21日ニュースリリース：AI技術のグローバル集約拠点、AI CoEを新たに設立。
https://www.nttdata.com/jp/ja/news/release/2019/052100/ - 注2グローバル500社以上でのAI・データ活用によるビジネス変革、AI・データの民主化支援実績を基にした実践的なビジネス変革プログラムです。NTTデータグループの1,000名を超えるAI・データ活用に関わるスペシャリストが、AI・データ活用のビジネス、IT基盤、データ整備、人材・組織の各要素について、構想の策定から施策の実行、運用・成果創出まで一貫して支援します。また、本プログラムでは、NTTデータのAI・データ活用、DX領域のパートナー企業である、DataRobot、インフォマティカ、ThoughtSpot、Tableau、Salesforceなどのテクノロジー横断での活用支援、成果創出と、これらを融合したトータルソリューションを提供します。
- 「デジタルサクセス」は日本国内における株式会社NTTデータの商標です。
- その他の商品名、会社名、団体名は、各社の商標または登録商標です。
本件に関するお問い合わせ先
製品・サービスに関するお問い合わせ先
株式会社NTTデータ
技術革新統括本部
技術開発本部
武田、山中、堀内
TEL：050-5546-9741