NTT DATA

DATA INSIGHT

NTT DATAの「知見」と「先見」を社会へ届けるメディア

キーワードで探す
カテゴリで探す
サービスで探す
業種で探す
トピックで探す
キーワードで探す
カテゴリで探す
サービスで探す
業種で探す
トピックで探す
2024.12.16技術トレンド/展望

超上流ドキュメントの生成AIによる自動チェック事例

お客さまが求めるシステムを構築するには、超上流と呼ばれる工程において、お客さまと開発者間で認識を合わせる事が重要である。認識が合わないまま開発を始めると、仕様変更や作り直しなど、あらゆる面で問題が発生する。すなわち超上流工程での取り組みが品質確保の第一歩と言える。
超上流工程においてお客さまの要望を把握するには、開発者はRFP(Request for Proposal:提案依頼書)を正しく理解することが重要となるが、専門知識やRFPのあるべき姿を理解している必要があり、誰もができるものではない。NTT DATA品質保証部では、長年RFPの診断を実施しノウハウを蓄積してきた。本記事では、蓄積したノウハウと生成AIを組み合わせ、誰もがRFP診断を実施できる仕組みを構築した事例を紹介する。
目次

超上流での生成AIの活用

システム開発において、開発が始まる前の工程を超上流工程と呼びます。一般的な入札案件では、超上流工程において、発注者が構築したいシステムの要求をRFP(Request For Proposal:提案依頼書)として整理し、受注を希望する会社がRFPを元に提案を行います。
提案では、RFPから発注者が求めるシステムを正しく理解し、最適なシステム構成を考える必要がありますが、RFPは自然言語で記載されたドキュメントが多く、曖昧性や不確実性を含んでいるため、正しく理解するためには専門知識と経験が必要です。
NTT DATA品質保証部では以前から、提案前のプロジェクト審査の一環として、RFPをはじめとするお客さま資料や提案資料などに対する第三者チェックを行っています。中でも、非機能要件(※)に関するRFPのチェックである「非機能RFP診断」では、提案前にRFPを分析し、非機能要件の記載状況や内容を確認しています。「非機能RFP診断」は非機能に関する知識や経験に依存する部分が多いため、生成AIの活用により確実かつ効率的な確認ができるようになることで、提案の品質を高めることが期待できます。
IT業界におけるAIの活用は多岐に渡り、これまでは開発工程以降に作成されたドキュメントに対する取り組みが中心になっていますが、NTT DATAでは開発前からの適用についても取り組みを進めています。

(※)非機能要件
システムの要件のうち、機能面以外の要件を指す。可用性、性能、セキュリティなど、システムの品質に関わる要件が該当する。

図1:第三者チェックサービスとは

RFP診断の意義と生成AIとの親和性

RFPには、システムを導入することで解決したいことは何か、どのようにシステムを使いたいか、システムの特性(想定する利用者数、故障した場合の対応方針など)をどう考えるか、といった内容が記載されます。発注者は受注予定者に対して、その内容を確実に伝える必要があり、発注者と受注予定者の間で認識を合わせることが重要となります。
ただし、RFPは自然言語で書かれているため、前後の文脈や、他の記載箇所を参照した上でなければ把握できないこともあり、単純なキーワード検索では、把握したい要件の記載箇所の特定や、内容の理解が難しい場合があります。その他にも、システムに関する専門知識やRFPとして記載されるべき内容など、複数の要素から総合的な判断が求められます。そのため、従来は一定の知識を持った有識者による対応が必要でしたが、近年では生成AI技術が発達し、自然言語の理解や与えた知識から回答を得る能力などが向上していることから、「非機能RFP診断」のような作業と生成AIの親和性は高くなっていると言えます。

図2:生成AI導入前と導入後の状態

RFP診断への生成AI適用

ここでご紹介するのは、RFPドキュメント内の非機能に関わる要件への診断で生成AIを適用した事例です。非機能要件の記載状況と内容の確認は、今までは有識者が行っており、その判断基準のベースには、NTT DATAの品質保証部が20年来のチェック実績にて蓄積した知見・ノウハウがありました。生成AIによる「非機能RFP診断」を実現するためにもこの知見を利用しており、単なる生成AIの利用に留まらない、長年の取り組みにより得られた知見に基づく仕組みを構築しています。
この仕組みを構築するための技術検証においては、国内でデータサイエンス・AIの教育研究を牽引してきた国立大学法人 滋賀大学が保有する課題解決プロセスに関する豊富な知見を活用しています。また、NTT DATAの生成AI活用コンセプト「SmartAgent」に基づいた品質保証AIエージェントとして、有識者ノウハウを盛り込んだチェックを実現しました。

    生成AIを活用したRFP診断では、チェック実施者が生成AIのスキルを持っていなくても、無理なくシンプルなUIとフローで利用できます。

  • (1)非機能要件が記載されたRFPドキュメント(診断対象)をインプットとして、「非機能RFP診断」機能に読み込ませます。
  • (2)「非機能RFP診断」機能は、読み込んだドキュメント内に非機能要件が記載されているか、記載されている場合は内容が妥当であるかを、生成AIに問い合わせます。
  • (3)「非機能RFP診断」機能は、生成AIから問い合わせた結果を受け取り、人間が確認を行える形に整形して出力します。

図3:生成AIによる非機能RFP診断実行概要

チェック実績で蓄積した知見・ノウハウは、「非機能RFP診断」機能におけるチェック項目を評価する際のプロンプトとして活用しています。各チェック項目では、特定の非機能要件に関する要素の抽出や、複数の要素の抽出と組み合わせた評価を実施しており、プロンプトの役割が非常に重要となります。
プロンプトは、人がチェックする際に使用していた20年来の実績から蓄積してきた各チェック項目の確認箇所の判定や内容の判断基準をベースに作成しており、膨大なノウハウが詰まった内容です。例えば、バックアップ・リカバリに関する要件のチェックでは、バックアップ対象だけでなく、保管期間や業務影響についても明記されていることをプロンプトで表現し、確認しています。
また、新たなチェック結果も随時評価観点としてプロンプトに取り入れ、アップデートすることで生成AIからの回答精度を向上させています。
評価結果はレーダーチャートとして、総合的に各非機能項目に対するスコアリングを行い、項目ごとに詳細な評価根拠を記載したレポートとして出力します。

図4:生成AIによる非機能RFP診断実行結果例

導入効果

RFP診断に生成AIを活用することで、RFPのチェックの品質を維持・向上させながら、対応に係る期間を約6割短縮させる導入効果が得られました。従来は人間がドキュメントを読み込み、理解し、診断を行っていましたが、生成AIを活用することで、人間は診断結果の確認を行うのみとなるためです。また、人の目で見た場合に見逃してしまう可能性がある箇所を、抽出できるようにもなります。人間だけでなく、生成AIを含めた複数の視点で確認を行うことができるため、新たな気付きを得られることもあり、品質向上につなげることが期待できます。

    その他にRFPのチェックに生成AIを適用することで以下の導入効果が期待されます。

  • 提案品質の向上:20年間続けてきたチェックノウハウを生成AIに蓄積し学習させ、活用することで、常にブラッシュアップされたチェック観点でのRFPのチェックが実施可能となり、お客さまへの提案品質向上に寄与します。
  • 属人化の解消:生成AIに有識者の知識やノウハウを取り込み継承することで、特定の有識者に依存せず、提案品質を高めるためのチェックが実施できます。
  • 大量チェックの実現:手動で行っていたチェック作業を生成AIが代替することで、AIによるチェック結果の確認に注力でき、チェックにかける期間を短縮します。それにより、NTT DATA内で常時1,000以上動いているシステム開発プロジェクトに対して、より多くのチェックを実施できるようになります。

おわりに

本記事では、超上流工程で生成AIを活用する取り組みとして、「非機能RFP診断」への適用について紹介しました。今後は、診断精度をより高めることで人の介在をできるだけなくすこと、および、NTT DATA内であれば自由に利用できる環境を構築し、幅広い案件で活用できるよう、取り組んでまいります。
さらにRFPだけでなく、提案書や要件定義・設計資料や開発ドキュメントなど、チェック対象のドキュメント範囲を拡大し、生成AIをさらに幅広く適用できるよう取り組んでいきます。

NTTデータ 品質保証部 第三者チェックサービスのご紹介動画(1:19)

お問い合わせ