2．今回の検証事例

検証の概要

今回紹介する事例では、お客さまが扱う保険ドメインの知識を獲得したtsuzumiの構築に挑戦しました。

検証では、RAGシステムとの組み合せを想定した参照文書を照会し質問へ応答するタスク、営業職員と顧客間の会話・チャット履歴から営業情報を抽出するタスク、社内知識を含む質問へのQA回答タスク、の3つを対象としました。

特化モデル構築のアプローチとして、まず継続事前学習により業務・社内知識を獲得させ、「保険ドメイン特化モデル」を作成しました。その後タスク特化学習を行い、各タスクに特化した三つのモデルを構築しました。その後、各タスク特化モデルを対象に評価を実施しました。

今回は継続事前学習の効果を見るためタスク特化学習のみを実施したモデルも作成し、比較対象としました。

実験設定

Azure上にクローズドな環境を作成し、学習を実施してモデルを構築します。構築したモデルに対して推論を実行し評価を行います。

学習用に使用するデータセットの概要は以下の通りです。

継続事前学習用の学習・評価データは、お客さまドメインのデータをベースとし、さまざまな言い換え表現を作成してデータ拡張を行っています。また、タスク特化学習用の学習・評価データは、お客さまにタスクに合わせた想定入出力を作成してもらいました。

評価結果

評価の結果、構築したタスク特化モデルは高い性能を発揮することが分かりました。一方、継続事前学習による知識獲得の効果は限定的で、合計約20M tokenの小規模データでは十分な精度向上が得られないことが分かりました。

照会応答タスク

RAGを想定した参照文書を照会し質問応答を行うタスクでは、RAGAS（※3）という評価手法を用いました。今回はその中でもモデルの回答が参照情報に忠実であるかどうかを表すFaithfulness、モデルの回答が正解（Ground Truth）とどの程度一致しているかを表すAnswer Correctnessの二つに着目しています。

以下に、回答生成タスクの評価結果を示します。表中の±は標準誤差（※4）を示します。

表のとおり、タスク特化学習によって大幅なスコアの向上が見られています。ただし、継続事前学習によるスコアの上昇幅は小さく、タスク特化学習が支配的な影響を与えたと考えられます。また、継続事前学習によって獲得した語彙がモデルの回答に含まれるケースも確認できました。よって、継続事前学習による知識の獲得は一部成功していると結論付けました。

営業情報抽出タスク

営業職員と顧客間の会話・チャット履歴からの営業情報抽出タスクでは、複数ある抽出項目それぞれについて正しく抽出できているかを集計し、正解率を求めています。

以下に、営業情報抽出タスクの評価結果を示します。

タスク特化学習のみでも正解率は大きく上昇していることが分かります。特に「面談日時」「面談方法」「訪問先」は顕著な精度向上が見られました。この結果から、お客さま独自の運用ルールや保険商品に関連する知識・語彙は獲得できていると考えられます。一方で、継続事前学習によるスコアの上昇幅は小さく、回答生成タスクと同様にタスク特化学習が支配的な影響を与えたと考えられます。

QAタスク

継続事前学習の効果については、QAタスクのスコアとperplexityを用いて評価を実施しました。QAスコアはLLMの出力が正解に対して正しいかどうかを人手で判定して集計したものです。perplexityは、モデルが次の単語を予測する際の不確実性の程度を測定する指標です。値が低いほど、あるドメインにおけるモデルの単語予測性能が高いことを示します。

以下に、QAタスクの評価結果を示します。

継続事前学習によってperplexityが低下したことと、お客さまと私たちのチームによる定性的な評価結果を考慮し、継続事前学習による知識の獲得に一部成功していると結論付けました。一方で、ドメイン知識を問うQAタスクの精度は向上しませんでした。QAタスクの精度向上に寄与するようになるには、さらに大きなデータセットを用いた継続事前学習が必要と考えられます。

3．まとめと今後の取り組み

今回はお客さまの持つ保険ドメインデータを用いて、継続事前学習とタスク特化学習により、tsuzumiをベースとする特化モデルを構築しました。タスク特化学習では、照会応答タスク、営業情報抽出タスクの二点で高い性能を発揮しました。この結果から、入力された情報をもとに質問に答えるタスクや、非構造化データから構造化データを抽出するタスク全般でも高い性能が期待されます。tsuzumiのようなSLMをファインチューニングすることで実現可能だと考えられるタスクについて、以下に具体例を示します。

また、継続事前学習による知識獲得の効果は一部見られたものの、タスクの精度向上に寄与するには至りませんでした。これは学習用データの規模が約20M tokenと小規模であったことが要因と考えられます。知識獲得によるタスクの精度向上を達成するため、今後はより大規模なデータによる検証や、データ拡張手法の開発に取り組んでいきます。

NTTDATAでは今回得られた特化モデル構築のノウハウを活かし、他業種・他業務にタスク特化モデルを展開し、お客さまの特化モデル構築ニーズに応えていきます。