目次

• 1．MISPの運用を続けて発生した課題
• 2．情報源評価指標の作成プロセス
  • 2-1．スコープの設定
  • 2-2．ニーズの調査
  • 2-3．評価指標の仮設定と測定可否の検証
  • 2-4．評価指標の確定
• 3．評価指標の確定と活用
• 4．まとめ

1．MISPの運用を続けて発生した課題

NTTDATA-CERTでは、セキュリティインシデントの未然防止と早期検知のために、IoC（Indicator of Compromise：侵害の指標）と呼ばれている情報を収集しています。IoCの中でもIPアドレスやドメインはFirewallやSIEMなどのセキュリティ機器の検知ルールに適用することで、不正通信の遮断や検知をでき、サイバー攻撃対応力アップが期待できます。
2022年1月公開のINSIGHT記事「MISPでサイバー攻撃対応力アップ！」（※1）では、MISP（Malware Information Sharing Platform：マルウェア情報共有プラットフォーム）を導入し、IoC活用の効率化および省力化を行うとともに、グループ会社間でのIoCの送受について解説しました。その後もMISPの運用を続けていると、新しい脅威から組織を守るために新たな情報源を運用対象に加えたり、逆に必要でなくなった情報源を運用対象から外したくなったりする状況が訪れました。しかし、運用する情報源の変更を担当者の裁量で行うと、その担当者の感覚やスキルに依存する“属人化”に陥り、担当者が変わった際には運用する情報源が新しい担当者の好みによって変わるリスクにもつながります。今回はこの課題を解決するために作成した「情報源の評価指標」について取り上げます。

2．情報源評価指標の作成プロセス

情報源の評価指標とは、自組織が使用したい情報源の特徴を明文化したものです。その特徴は組織毎に異なり、NTTDATA-CERTが作った評価指標が他の組織でも使えるとは限りません。そこで、読者の皆様も同様のプロセスを踏むことで評価指標を作成できるようになることを目指して、ここでは評価指標の作成プロセスおよび実際に作成する中で難しかった点とその解決策も紹介します。作成プロセス全体の流れを図1に示します。

図1：作成プロセスの全体像

2-1．スコープの設定

まず、評価指標を作成する情報源の対象を絞り込みます。大別すると、情報源には無料公開されているものと、インテリジェンス専門ベンダーが有料サービスとしてIoCを配信しているものがあります。今回のNTTDATA-CERTの取り組みでは、簡潔な評価指標としての確立を目指して、無料かつIoCの配信のみを行っている情報源をスコープとしました。有料サービスをスコープに含めない理由は、IoC配信以外の機能についても確認し価格とのバランスを考えることが必要になり、考慮事項が増えて評価指標が定まりにくくなるからです。

2-2．ニーズの調査

続いて、組織におけるセキュリティの運用から情報源に対してどのようなニーズがあるかを調査します。洗い出したニーズのすべてを評価指標に組み込むと、実際は算出が困難なニーズや、他の指標とトレードオフになり両立できないニーズが入ってしまい、実際の運用が困難になります。そのため、ニーズを評価指標に組み込んでいく際には運用を見越して判断していくことが重要です。
NTTDATA-CERTが取り組んだ中でも、多くのニーズがありました。「運用上、日々の配信数はX個以下であること」といったニーズは、定量的なしきい値が含まれることから情報源ごとの充足状況を確認しやすいものです。一方で、「トレンドの脅威のIoCを配信していること」や「誤遮断を引き起こすIoCが少ないこと」といったニーズは評価指標に組み込んだ際に、どのように測定するのか考慮する必要があります。

2-3．評価指標の仮設定と測定可否の検証

洗い出したニーズは評価指標に仮設定し、既に活用している情報源や、日々の運用の中で見つけていたものの未活用となっている情報源に当てはめてみて、評価指標の中に測定不能なものが含まれることにならないかを確認します。そして、測定不能な評価指標があった場合は内容を具体化したり修正したりすることで、測定できるようにします。
例えば、2-2で述べた「誤遮断を引き起こすIoCが少ないこと」というニーズには、業務で利用するサイトをIoCとして受け取り、セキュリティ機器が遮断することがないようにしたいという意図があります。このニーズを満たしているか測定するには情報源が配信しているIoCを、業務でよく使用するサイトのリストや正規サイトのリストなど（以下まとめて、「正規サイトリスト」）とマッチングさせ、マッチした割合を算出すれば良いので一見簡単に見えます。しかし、世の中には非常に多くの正規サイトがあるため、自組織でそれらをすべて把握し正規サイトリストを更新し続けることは非常に困難です。また、クラウドストレージやホスティングサービスの普及により、これらのサービス自体が悪性ではない場合でも、格納されているコンテンツが悪性の場合はあります。そのため、IoCが正規サイトリストにマッチしたことだけでそのIoCが誤遮断を引き起こすと断定することは、見逃しにつながるリスクがあります。
そこで、NTTDATA-CERTではmisp-warninglists（※2）と呼ばれる正規サイトリストの集合体を使用し、IoCをURLレベルで確認するようにしました。misp-warninglistsには、以下の魅力があります。

• 複数の組織がそれぞれ作成しているアクセスランキングのほか、各種クラウドサービスが保有しているIPアドレスのレンジをまとめたリストを無料で使用できます。
• 各リストの更新頻度は異なりますが、更新頻度が高いものであれば2ヶ月に1回程度更新されており、自組織でのメンテナンスは必要ありません。
• GitHubにアップロードされているファイルをPythonなどで処理させて使用するほか、図2のようにMISPに入っているIoCがマッチした場合に注意を促す機能も実装されており、直感的に使うことも可能です。

図2：MISPのEvent画面に表示されるmisp-warninglistsマッチの警告

実際にmisp-warninglistsを使用する際には更新が全くされていない正規サイトリストを確認して省きました。そして、マッチしたIoCは本当に誤遮断を引き起こすのか、図3のようにIoCをURLレベルで確認するようにしました。

図3：misp-warninglistsにマッチしたIoCの注意点

この確認を行ってから、評価対象とした情報源が配信するIoCのうち、誤遮断を引き起こすIoCの割合を算出することで、本来であれば採用すべき情報源が不採用になるリスクを低減しています。

2-4．評価指標の確定

評価指標の仮設定と測定可否の検証を終え、すべての評価指標を測定可能であると確認した後は、各評価指標において情報源の「採用／不採用」を判断する合格ラインを設定すれば評価指標は完成となります。次章で実際に完成させた評価指標を紹介します。

3．評価指標の確定と活用

完成させた評価指標は図4のようになりました。

図4：完成させた情報源評価指標

（1）～（6）の観点は、その内のどれか一つでも条件を満たさなければ、その情報源は採用しないという厳しいルールにしました。一方で（7）～（10）の観点に関しては、多少問題があっても即座にその情報源を採用しないというルールにはせずチーム内で議論する余地を残しています。これにより、別の観点が優れていればその情報源を採用できるようにしています。ただし、この場合は問題のあった観点をどのように受け入れるかを別途考える必要があるので注意してください。
実際に作成した評価指標を用いて未活用の情報源を評価したところ図5のようになり、新たにCとDの情報源の採用を決定しました。

図5：情報源の評価結果

本来であれば、誤遮断の可能性があるIoCを多く含む情報源Dの積極的な採用は控えます。しかし、「コンセプトの観点」での確認にて、この情報源では他の情報源と比べて特に自組織のセキュリティを向上させるIoCの配信が確認でき、積極的に活用すべき情報源であると分かりました。「誤遮断の観点」から把握した懸念は、misp-warninglistsによって不適切なIoCを除外する処理を挟んで運用することで、自組織にとって必要なIoCだけを残しセキュリティの向上に役立てることができました。
評価指標と言うと合否のラインが明確に決まっている印象があるかもしれませんが、遊びの部分を残すことで組織の実態やニーズにあったアクションを取ることができるようにしています。

4．まとめ

本稿では、情報源評価指標の作成プロセスを紹介しました。数多くあるIoC情報源の中から運用する情報源を決める必要があるものの、どれを採用すべきか判断が難しいと感じている読者の皆様はぜひ本稿を参考に評価指標を作成し、組織のニーズに合った情報源を採用してサイバー攻撃対応力をアップさせてみてください。