技術の発展に伴いAIの性能が格段に向上し、これまでよりも広い分野で活用が見込まれています。しかし、学習時に与えていないデータに対してAIがどのように動作するかを確実に予測する方法はなく、想定外の動作により、システム全体としてセキュリティリスクが高くなる可能性があります。近年では、悪意あるユーザがAIの挙動から弱点を探り出し、意図的に誤動作を引き起こす攻撃も報告されています。そのため、脆弱性に繋がりうる弱点（図1）を開発段階で把握し、攻撃への防御策を講じる必要があります。

図1：AIの弱点の例

しかし、AIの弱点を全て洗い出すことは簡単ではありません。未知のデータは無数に存在し、その全てに対して動作を確認することはできないためです。現状では、業務に精通した有識者やデータサイエンティストなどの高スキル人材が、AIモデル一つひとつに対して多角的な検証を行い、できるだけ多くの弱点を洗い出しています。ただし、このアプローチは作業者のスキルに依存する上、検証に多大なコストを要します。そのような課題の解決に取り組んでいるスタートアップが、Robust Intelligenceです。

Robust Intelligence（以下、RI社）は、ハーバード大学の研究室が元となり設立された、AIセキュリティに強みを持つアメリカのスタートアップです。GoogleやFacebookなどでAIモデルを構築していたエンジニアが在籍しており、アメリカの金融機関や国家機関との取引実績もあります。
RI社ではこれまでの開発経験に基づき、AIシステム運用時のリスクを開発段階で特定し、対処するためのソリューションとして、Robust Intelligence Model Engine（以下、RIME）を開発しました。
RIMEの鍵となるのは、AIシステムの挙動を自動でテストする技術です。独自のアルゴリズムに基づき自動生成されたテストにより、AIモデルの誤動作を引き起こす入力データや、開発者が暗黙のうちに仮定してしまっている制約など、AIシステムに生じがちなさまざまな弱点を運用前に特定することが可能になります。日々変化するAIシステムに対する要請に応えるべく、テスト内容は常にアップデートされています。
また、どのようなAIモデルやデータに対してもテストを適用できるため、ルールベース（※1）であろうと最先端のディープラーニングであろうと同様にテストが可能です。さらに、適用するデータの分布や傾向を自動で分析し、その情報をもとにテストを行うため、商品取引、不正検知、保険審査、在庫管理などいかなる領域においても最適なテストを実現します。

RI社とは2020年度から、弊社が進めるAIを安全に活用するための取り組みの一環として、RI社のソリューションを活用したAIセキュリティについて技術検証を行っています。
この技術検証では、弊社がディープラーニングを用いて構築した「類似商標調査における類似画像検索モデル（以下、類似画像検索モデル）」を対象に、RIMEによる脆弱性の検知とその対処を目的とした取り組みを実施しました。その結果を紹介します。
類似画像検索モデルは、過去に登録された50万枚以上の商標画像の中から、入力された画像に類似した商標画像を検索するものです。このモデルを使用して、考案したロゴ画像が既存の商標と類似していないか機械的にチェックすることで、業務効率化を目指します。

図2：類似画像検索モデルの概要

このAIモデルを活用して、商標の出願前に事前に類似するものがないかを調査することで、不要な出願を減らすことが期待されます。一方で、このAIモデルを用いて過去の出願者の権益に影響を与えないか確認する場合、予期せぬ形式のデータ入力や悪意ある攻撃の可能性を考えなければなりません。例えば、不慣れなユーザがシステム要件に合致しないデータを入力したり、悪意のある攻撃者が意図的に誤動作を引き起こす攻撃をしたりすることで、検索結果の信頼性低下が懸念されます。このような脆弱性の有無を確かめるために、様々な画像に対する本モデルの挙動を調査しました。

図3：検証イメージ

本検証ではRIMEのAI Stress Testing機能を用いてモデルに対するさまざまなテストを行い、その結果からモデルの頑健性を測定しました。具体的には、RIMEは登録済み商標画像に対してノイズ付与、幾何学的な変換、色の変換の3つの加工を行い、画像を生成します。その画像をAIモデルへ入力し、その予測結果をもとに再度画像加工が行われ、よりモデルが誤動作を引き起こしやすい画像が作られます。

図4：RIMEにより生成された画像の例

本検証により、類似画像検索モデルは色の変化に対しては頑健なものの、特殊なノイズを付与した場合や、画像を回転させた場合では検索性能が低下することがわかりました。これらの脆弱性については、AIモデルに入力する前段階でノイズ除去等を行い、システム全体で対策しました。

図5：誤動作リスクが高い画像

今後は、悪意ある入力画像をフィルタリングするRIMEのAI Firewall機能により、さらなるセキュリティ向上を目指します。

図6：システム全体でのセキュリティ向上

本誌に登場するキャラクター「もにた」は、NTTデータ先端技術株式会社が開発/提供し、ITシステムの統合運用管理を実現するソフトウェア「Hinemos」の公認キャラクターです。

https://www.hinemos.info/

Robust Intelligenceとの技術検証で、AIモデルの脆弱性を検知できることを確認しました。今後も、RIMEを用いたセキュリティ向上について共同での取り組みを進めます。また、表形式データや自然言語を入力とするAIに対しても当該技術の活用を進め、より幅広いAIソリューションのセキュリティ向上に努めます。
NTTデータでは先進的な技術を積極的に導入し、安全にAIを使える仕組みを整備することで、AIを業種の壁を超えて広く流通させ、新たな機会・価値創出を目指していきます。