国を選択する グローバル - 日本語
お問い合わせ

Robust IntelligenceとAIシステム開発の品質向上に関する実証実験を完了 ～AIテスティングによる高品質なAI開発の実現～

サービスインフォメーション
SHARE

2021年8月6日

株式会社NTTデータ

株式会社NTTデータ（以下、NTTデータ）は、Robust Intelligence, Inc.（以下、Robust Intelligence）と2021年3月から2021年6月までAIシステム開発における品質向上に関する実証実験を行いました。

本実証実験では、当社が策定した「AI開発方法論」注1とRobust IntelligenceのAIセキュリティソリューションがAIシステムに混入する脆弱（ぜいじゃく）性の検知および除去に有効かを検証しました。その結果、これらの手法を使うことで、AIシステムの頑健性を高められることを確認しました。

NTTデータはAI開発方法論の活用と改良を進め、AIシステムの品質管理をはじめとした、AI活用における技術課題の解決に取り組んでいきます。

背景

深層学習などの技術の発展によりAIの性能が格段に向上したことで、より広い業種においてAIが活用されています。一方、AIシステムの開発は従来のシステム開発と比較して、品質管理に以下のような違いがあり、それゆえ、開発コストが増大したり、開発段階でテストが十分に行えず、AIシステムに脆弱性が残存したりするリスクが懸念されています。

品質管理の課題

従来のシステム開発AIシステム開発
品質管理工程要件定義・設計・製造等の各工程で段階的に実施可能製造工程以降まで実施が困難
テスト方法単体テスト・結合テスト・システムテストのようにスコープを制限可能高頻度、広範囲となることが多い（CACE性注2による）
テストケース作成設計内容から作成可能内部構造がブラックボックスであり、効率的なテストケースの作成が困難

これらの課題解決のために、NTTデータでは、過去のAI開発プロジェクトから共通的な工程を体系化した開発フレームワーク「AI開発方法論」を策定し、効率的な品質管理の実現に取り組んでいます。このたび、AIの品質向上に強みをもつRobust Intelligenceと協働で、具体的なプロジェクトを対象に品質向上手法の実現に向けた検証を行いました。

実証実験の概要

AI開発方法論ではAIシステムの開発工程を「AI開発プロセス」として定義しています。今回、AI開発プロセスにおけるシステムテスト工程のテスト項目がRobust Intelligence Model Engine（以下、RIME）で実施可能か検証しました。

図1：実証実験の適用範囲

図1：実証実験の適用範囲

RIMEは「AIモデルの運用時のリスクを排除するために作成されたソリューション」で、以下の2要素で構成されています。

  1. 1. AI Stress Test：
    AIモデルに対し何百ものユニットテストとシミュレーションを実行し、効率的にモデルの脆弱性を特定します。
  2. 2. AI Firewall：
    AI Stress Testで検知した脆弱性を突くデータを検知、破棄することで、モデルを変更することなく、運用中のAIモデルを保護します。

本検証では、NTTデータが構築したAIによる類似画像検索システムに対し、AI Stress TestツールおよびAI Firewallツールを適用し、以下を検証しました。

  • AI Stress Testツールにより、類似画像を検索できない、システムの脆弱性を突く画像パターンを検出可能か注3
  • 脆弱性を突く画像をAI Firewallツールで処理することで、画像検索精度の維持が可能か

図2：検証概要

図2：検証概要

結果

本検証により、AI開発方法論で定義したシステムテスト工程の実現性を確認し、AIシステムの品質向上が可能であることを確認しました。
AI Stress Testにより、特定のノイズを含む画像や変形処理された画像の検索精度が下がる脆弱性を検知しました。この脆弱性をカバーするようにAI Firewallを設置することで、前述の画像に対しても検索精度が最大で約70％向上し、モデルの頑健性を向上できることを確認しました。

今後について

NTTデータは、本検証の結果をもとにAIの品質向上に資する技術を検討し、「AI開発方法論」への反映を推進します。また、「AI開発方法論」に基づく高信頼なAIシステム開発により、お客さまに安心できるAI技術を提供していきます。

注釈

本件に関するお問い合わせ先

株式会社NTTデータ
技術革新統括本部
技術開発本部
E-mail：rdhkouhou@kits.nttdata.co.jp

- ＮＴＴデータは、「これから」を描き、その実現に向け進み続けます -