2025.3.3業界トレンド／展望

生成AI活用におけるRAG導入のポイント～RAG構築の民主化に向けて～

現在、様々な業界・業種で生成AIを業務やビジネスに活用しようとする動きが活発になっている。それと同時に課題も見えてきており、生成AIを業務やビジネスでどのように活用するとよいか、なにから始めればよいかを多くの企業が模索している。生成AIを導入しやすいバックオフィス業務において、その会社固有の情報を活用するための仕組みがRAG（検索拡張生成、Retrieval Augmented Generation）だ。本稿では、RAGの構築におけるポイントや社内での活用を促進するための勘所について解説する。

目次

生成AIの活用領域
RAGとは？RAG構築の進め方
RAG構築の民主化を実現するために必要なもの
NTT DATAの提供サービス
おわりに

生成AIの活用領域

ChatGPT等の大規模言語モデル（以下、LLM）の登場以降、生成AIの進化はめざましいものがあります。人間と同じように自然な対話を行うことができ、さらにさまざまなタスクを実行できる汎用性を持っているため、幅広い領域で生成AIを活用しようとする取り組みが急速に広がっています。

ガートナーでは生成AIの活用領域を下図の4象限で分類しています。「新製品・サービス価値向上」や「コアケイパビリティ業務改革」などの「Game-Changing」の領域での取り組みも進んできていますが、最初に取り組みやすい領域としては、「Everyday」の領域です。これはコールセンタ業務の支援（対話の要約、回答生成等）や提案支援（提案資料・図の生成、提案文の生成等）、社内規定の検索、議事録・レポート作成などのユースケースにあたります。

とりわけレポート作成、社内規定の検索などの「Back Office」は以下の点で取り組みやすく、効果を創出しやすい領域です。

定型化されている業務が多く、データも蓄積されている
関係者が社内に閉じるため合意形成がとりやすく業務を変えやすい
生成AIが誤った回答をした場合の影響が少ない
個人情報などの機密情報を扱わない業務が多い

図1：Gartner®、AIと共に研ぎ澄ます未来：ビジネス成功への準備のために知るべきこと、為すべきこと、2024年9月、https://www.gartner.co.jp/ja/topics/ai-readiness
Commercial reuse requires approval from Gartner and must comply with the Gartner Content Compliance Policy on www.gartner.com.
GARTNERは、Gartner Inc.または関連会社の米国およびその他の国における登録商標およびサービスマークであり、同社の許可に基づいて使用しています。All rights reserved.

しかし「Back Office」の領域では、個社ごとの社内規定・制度等の情報を基に回答を生成する必要があります。通常のLLMは、世の中の幅広いテキスト情報を学習していますが、特定企業の社内規定や制度などの情報は学習していません。したがって一般的なLLMだけでは「Back Office」の領域に対応ができないケースが多くあります。

そこで、LLMに特定企業の各種ドキュメント（社内規定や制度、マニュアルなど）の情報を与える方法の一つとしてRetrieval Augmented Generation（以下、RAG）という手法が考えられます。

RAGとは？RAG構築の進め方

RAGとは、検索拡張生成とも言われ、自社に蓄積された業務文書・規定などの社内情報を検索して情報を抽出し、それに基づいてLLMに回答させる仕組みのことを指します。外部知識として社内データを与えることで、LLMが学習していない情報にも対応することができます。検索結果を基に回答生成を行うため、ハルシネーションを低減することが可能です。

図2：RAG（検索拡張生成）の仕組み

では、このようなRAGの仕組みはどのような単位・粒度で構築することが望ましいのでしょうか。

一般的には、参照するデータを絞ってRAGを構築することで回答精度が高まります。NTT DATAのプロジェクトでは、10万行以上のファイルのデータストアを全て参照する1つのRAGを構築するよりも、業務領域(5~8領域程度)ごとに分割し、数千から1万程度に参照ファイルを限定した方が、回答精度が高くなりました。

また、単語や文脈の解釈、回答の前提は業務領域ごとに変化します。同じ用語でも文脈、立場によってその意味が変わってくる用語もあるでしょう。部署ごとに意味合いが変わる可能性があるため、部署ごとにRAGを構築することが望ましいと言えます。そのため、全社で共通的に利用する大規模なRAGを構築するよりも、各部署のユースケースごとにそれぞれに特化したRAGを構築する方が、効果が出やすいのです。

そうした場合、数多くのRAGを構築・運用・改善していく必要が出てきます。多くのRAGの構築と運用・改善は、だれが担うべきでしょうか。また、DX/IT組織とはどのような役割分担で進めるのがよいのでしょうか。

RAGを構築する際は、生成された回答に対して人間がその回答を確認・評価し、改善していく必要があります。その際に回答の妥当性を判断できるだけのドメイン知識がある現場有識者でないと回答の妥当性を評価することは難しいでしょう。

また、RAG の回答精度を改善する際には、元データ・ドキュメントに検索精度を向上させる情報を付与することが多いため、その情報を付与するためには、現場業務を理解しておかなければなりません。さらに部署内で参照するデータ・ドキュメントは日常的に増えていきますが、それに追従するために都度IT系部署等にベクターDB（以下、VDB）の更新依頼をするのも効率的とは言えません。

そのため、NTT DATAでは、RAGの構築とその運用・改善をDX・IT組織に一任するのではなく、各部署でRAG構築ができる体制や環境整備をしていく方がよいと考えます。生成AIをどのようなビジネス・業務・ユースケースで活用するのかを考える際、それらに詳しい各部署自身がアイデアを創出し具現化していくのです。生成AIモデルを活用していく部署自身がRAGを構築できる状態になることで機動的・自律的に生成AIの活用を浸透・拡大していくことができます。そのように特定の部署だけでなく、各部署がRAG構築をできる状態になることをRAG構築の民主化と呼びます。

図3：RAG構築の民主化

RAG構築の民主化を実現するために必要なもの

RAG構築の民主化を進めるためには、どのような取り組み・準備が求められるのでしょうか。

「①自律的にRAGを構築するための環境整備」「②生成AIの普及促進に向けた活用支援」「③RAG構築・活用に対するガバナンス」の二つの観点で検討が必要です。

図4：RAG構築の民主化に必要な要素

まず、「①自律的にRAGを構築するための環境整備」ためには、以下のような理由からノーコード/ローコードでRAGを構築できる環境の整備が必要です。

コーディングできるメンバが各部署に配置されていることが少ない
各種データやドキュメントからVDBを構築し、チューニングしていく上での効率化ができる
構築したRAGを社内システムへ連携させる際のインターフェースを容易に構築できる
回答精度を高めるために改善すべき箇所の切り分けを視覚的に実施できる

また、RAGシステムが参照するデータを蓄積・加工できる環境を整備することも重要です。データレイクを構築しRAGが参照する業務データやドキュメントの流通性を高めることや、ドキュメント間の表現のゆらぎ修正やメタ情報の付与などを行い、データ品質の維持・向上を図れる環境の整備が求められます。

そして、環境整備だけではなく、生成AIに対するリテラシーを身に着けるための教育も重要な要素です。生成AIではハルシネーションや情報漏えいなどいくつか注意すべきポイントがあるため、そのようなリスク・課題を認識した上で適切に運用していくための教育を行っていきます。

このような取り組みを継続して定着させていくためには、業務での活用の幅を広げ、社内に普及させていくための「②生成AIの普及促進に向けた活用支援」も必要になってきます。

「③RAG構築・活用に対するガバナンス」については、まずは適切な活用方法をガイドラインとして定義し、それに基づいて活用されているかモニタリングします。主なモニタリング項目としては、コストや品質（正答率・ヒット率等）、正確性、安全性などがあります。これらを計測し、評価できるようにしていくとよいでしょう。

また、セキュリティ面の考慮も欠かせません。データベースを分けて構築する、自社内に閉じたセキュアなLLMを構築するなどの対応が必要となります。

NTT DATAの提供サービス

NTT DATAは、前述のようなRAG構築の民主化に向けたAIプラットフォームの導入やそれを活用するためのさまざまな支援サービスの拡充を進めています。

図5：NTT DATAのRAG構築民主化支援サービス

上図のようにAIリテラシー向上に向けた勉強会や、ROI創出・実現性の高いテーマを創出する支援など、データサイエンティストがお客さまのプロジェクトに伴走して支援しています。

その他にもデータ蓄積・加工基盤に関するシステムインテグレーションやデータマネジメントに関する組織構築・運用・ガバナンスのコンサルティングなども提供しています。

そのような支援サービスに加えてRAG構築やガバナンス運用に資するAIプラットフォームとしてDataRobotの導入・活用の支援もサービスの一つです。本稿では、DataRobotが提供する機能のうち、生成AI活用に資する機能の一部をご紹介します。

DataRobotは、10年以上にわたりエンタープライズAIプラットフォームのリーダーとして、企業のAI活用をアイデアから効果創出まで支援している企業です。DataRobotが提供するエンドツーエンドのAIプラットフォームでは、機械学習モデルを迅速に構築し、安全に運用・管理するための機能に加えて、生成AIの活用を支援する機能も提供・拡充されています。

生成AI関連含めて非常に多くの機能が搭載されていますが、その中からRAG構築やガバナンスの運用に資する機能をいくつかご紹介します。

DataRobotではGUIベースで簡単にVDBを構築・チューニングでき、さまざまなLLMやVDB等の生成AIコンポーネントを組み合わせて構築することができます。さまざまな組み合わせの回答/精度を比較しながら構築できるプレイグラウンド環境の中で、本番環境で使用するLLMやパラメーター設定を決定していくことが可能です。

図6：Datarobotのプレイグラウンド環境

プレイグラウンドの概要：https://docs.datarobot.com/ja/docs/gen-ai/playground-tools/playground-overview.html

上記の機能により、生成AIの環境を簡単に構築することができます。

さらにガバナンスを効かせるためのモニタリング機能として、ガードレール機能があります。ガードレール機能では、ハルシネーションを防止する機能や、プロンプトインジェクションを防止する機能、個人情報を検知しPIIリーケージを阻止する機能など、多層的かつリアルタイムに防御する機能を搭載しています。

また、DataRobotでは、「APPテンプレート」（生成AIを実際の業務で活用する際のアプリケーションのテンプレート）が提供されています。APPテンプレートを利用すれば、少ないコーディングでアプリケーション構築まで完了するので、業務への適用もスムーズに行うことが可能です。

AIアプリ概要：https://www.datarobot.com/jp/product/ai-apps/

このような機能を活用することによって「各部署でRAG構築ができるようにすること」と「各部署に対してガバナンスを効かせること」を実現しやすくなると考えます。

おわりに

今回はRAGという仕組みを用いて生成AIを業務やビジネスで活用する方法や必要な取り組みを解説しました。

汎用（はんよう）的なLLMの学習範囲のみで生成AIを活用しようとすると、その活用範囲は非常に限定的です。しかし、RAGという仕組みを用いることでLLMが学習していない社内データを検索して回答させることができ、社内業務やビジネスでより一層生成AIを活用することができるようになります。

NTT DATAでは生成AIについて、RAGを用いた特定業務での活用にとどまらず、将来的には利用者の指示に応じて、AIエージェントが自律的に対象業務のタスクを抽出・整理・実行し、ビジネスフロー全体を担うようになっていくと考えています。この生成AI活用コンセプト「SmartAgent™」に基づき、新たな生成AIサービスの提供も開始しています。