AIアドバイザリーボードについて
NTTデータでは、2021年4月に社会デザイン・ソフトウェア工学／法務・倫理／リスクマネジメント・SDGsなどさまざまな分野の社外有識者からなる「AIアドバイザリーボード」を設立しました。本ボードはAI利活用に関する技術動向、法令・規制、市民社会の認識について、有識者と幹部マネジメント層及びAIプロジェクトに関わる現場最前線のメンバーが議論をし、その結果をAIガバナンスの具体的な手段に取り入れていくことを目的としています。FY2022も4月の総会に続いて4回の勉強会を予定し、今回が第1回の勉強会開催となりました。
図1：AIアドバイザリーボードFY2022体制
人間から信頼されるAIを目指して：筑波大学 佐久間教授講演
FY2022第1回勉強会では、外部有識者としてお招きした筑波大学の佐久間教授より、AIセキュリティについて講演いただきました。信頼されるAIに必要な代表的な条件として、「エキスパートレベルの品質」「環境変化・攻撃に対する安定性」「説明可能性」などを挙げられ、特に安定性と説明可能性の2つの観点を中心に解説されました。
図2：佐久間教授講演、信頼されるAIに必要な条件
（1）安定性
パンダの画像にノイズを加えるとAIはテナガザルと認識するなど、人為的にAIを錯覚させる敵対的サンプル攻撃の手法を紹介し、多角的に試しながら防ぐ方法を見つけ出していくoffensive securityの考え方を述べられました。自動運転向けには、「STOP」の標識に蝶のイメージを加えるとAIが「速度制限」の標識と認識してしまう例もあり、使われるシーンや影響の大きさや人の介在有無に合わせて、どのレベルまで安全対策が必要になるか、落としどころのバランスを探っている状況について話されました。質疑応答では、攻撃者側のモチベーションに関する議論があり、今は直接的に金銭が得られる場面が少ないため活発化していないが、思想や世論の誘導など金銭以外の動機で攻撃が発生することもある、という認識を示されました。社会インフラの情報システムを支えているNTTデータに対しては、ぜひ先見的な視点を持ち頑健な仕組みを用意していって欲しい、との期待感を述べられました。
（2）説明可能性
マルウェアの機能解析において、AIが判断根拠とした部分をハイライトする技術を応用した事例を紹介し、この場合、プログラムのどこを見てマルウェアだと判断したのかがわかるため、効率的な解析が可能になる点が有用である、と述べられました。また、説明可能性の本質的な問題のひとつは「人間が行う判断」の仕様を明確に定義できないことであるとし、質疑応答でもこの観点が議論になりました。最後に、今後のステップとして、医療分野にAIを適用するにあたり、医師が判断している中で明確に条件を決められるものを絞り込み、曖昧さの残る部分をAIが具体化し説明できるようにする取り組みにチャレンジしていることを紹介されました。
AI品質アセスメントサービスの紹介
多数のAIシステム開発プロジェクトに調査・ヒアリングして得られたノウハウや課題を基に、AIガバナンスチームにてアセスメントの仕組みを整備し、社内向けに提供している活動を紹介しました。アセスメントでは、どういった業務を対象に、どういったデータを使っているのか、どう評価しているのか、など基本的なことから、データの重要度に応じた重み付けや、AIモデルのバージョン管理、求められる精度の妥当性など、応用面までカバーしたアセスメントレポートを第三者視点で返すサービスになっている旨、ならびに当勉強会の場で実際のレポートサンプルを表示し、細かい項目まで確認しながら、妥当性や改善点について議論を行いました。
図3：AI品質アセスメントサービス
活発な議論の一部をご紹介
石川先生からは、「すばらしい取り組み」とした上で、プロジェクトの終了後だけでなく開始前や開始中にも迅速にフィードバックを返せることが望ましい、とのご意見をいただきました。議論では、ミニマム化や半自動化など工夫の案が挙がりました。また、AIはドメイン依存性が高く途中手順を見る必要があることから、一般的に第三者検証が難しい背景を踏まえて、社内で実施できるのは筋が良い、との見解を示されました。
奈良先生からは、アセスメント結果がプロジェクト側に受け入れられるか、という観点や、アセスメントを依頼する側のインセンティブについてコメントをいただきました。議論では、プロジェクト側も相談相手を求めている現状であり、受け入れてもらいやすい状況にあることを説明しました。
成原先生からは、アセスメントの対象範囲がどこまでなのか確認があり、AIによって出力されたデータが業務で活用される場面など、AIシステムが実際に使われる場面を想定してスコープ設定が必要、とのご意見をいただきました。これについては、データから処理を獲得する性質のある案件はすべて対象に含め、その用途が適切かどうか評価する必要性を意識している点を述べました。また、0/1での判定が難しい領域であり、プロジェクト側の見解を聞いた上で社会受容の観点からも判断していくことが求められるため、品質アセスメントとは別枠で扱うことも視野に入れる、との議論がありました。
森川先生からは、成原先生と同様の観点で、価値のアセスメントとビジネスのアセスメントという発想を提示されました。PoCとして捉え、原因を掘り下げて次につなげるような、ポジティブなフィードバックをするのが良い、とのご意見をいただきました。
佐久間教授からは、AIは全体として問題無いように見えても、特定のコンテキストではAIによる判断が不適切と捉えられるケースがあるため注意を払う必要があり、「AIで本当に解くべき問題なのか」をセルフチェックできる仕組みがあると良い、とのご意見をいただきました。議論では、わかりやすい分岐になっている簡単なチェックシートを用意し、本人が自身で問題に気付けるような仕組みを用意したい、といった案が挙がりました。また、チェックリストをアジャイル開発における2週間に1度のお客様確認サイクルに取り入れれば、開発メンバー自身がリスクを認識できるのではないか、といった意見も得られ、AIガバナンスチームが継続的な改善活動の意思を示しました。
最後に
今回の勉強会では、AIシステムを安全に提供するための条件やAI品質アセスメントを題材に、筑波大学の佐久間教授をお招きし、学術研究と実際のプロジェクト現場の両面から、工夫や改善点について活発な議論がありました。なお、観点のひとつである「AIのリスク」については、現在整備中のガイドラインを次回勉強会にて紹介する予定です。NTTデータは、AIアドバイザリーボードでの議論結果を取り入れつつ、AI関連プロジェクトにおける問題発生を抑制するとともに、提供するAIソリューションの品質／信頼性を向上し、安心・安全なAIを利活用できる環境を整備していきます。
