目次

• 効果検証の重要性
• 傾向スコアによる効果検証
• 終わりに

1．効果検証の重要性

ビジネスにおいて施策として何らかのアクションを実行した際、その効果を検証するニーズが生じます。効果検証により施策の効果や結果に結びついた要因を明らかにし、ビジネス成果が得られていれば施策を継続し、得られていなければ別の施策を検討するといった判断をするためです。
近年、データ活用の進展に伴い、効果検証を行うことは一般的になりました。例えば、WEBサイトでクーポン配布した際にクーポンがどの程度売り上げ増に寄与したのか確認したい、といった場面ではクーポンをランダム配布してABテスト（※1）を行うことで効果を確認します。
一方で、効果検証が困難なケースも存在します。例えば製薬業界において自社が開発・販売した薬に副作用が生じていないか確認したい、といったケースです。倫理的な問題からABテストを行うことはできず、投薬の対象者・非対象者の属性を均質にできないため、効果検証を行うことが困難です（※2）。
本稿では、このようなABテストの実施が難しいケースにおいて、どのように効果検証を行うのかをご紹介します。

2．傾向スコアによる効果検証

ABテストが困難な場合には推定により効果検証を行うことになります。観察研究で用いられる統計解析の手法である傾向スコア分析を活用することで、データ補正によりABテストのような効果検証が実施できるようになります。例に挙げた製薬業界におけるケース以外にも、自社サービス顧客への有料追加サービスの効果測定、マス広告の接触効果測定など、ビジネスのさまざまな場面で傾向スコアを用いた効果検証を実施することが可能です。
ここからは、具体的な傾向スコア分析の定義や分析の実施手順について説明します。

（1）傾向スコア分析の実行における前提条件

分析したい結果指標（1章の薬の副作用の例では、患者ごとの副作用有無が該当）をy、アクションの実施有無（1章の薬の副作用の例では、患者ごとの投薬有無が該当）をa、結果指標とアクション実施有無の両方に影響を与える変数（1章の薬の副作用の例において、年齢によって副作用の発生割合が異なり、かつ若年層が投薬を希望する割合が多い状況であれば年齢が該当）をxとします。専門的な用語となりますがxは交絡因子と呼ばれます。上記を踏まえて実施したい分析内容を再整理すると「aがyに与える効果を検証したい。その際、単純に集計を行うとxがノイズとなってしまうのでxの影響を除外したい」ということになります。

図1：傾向スコアに用いる変数とその関係

（2）傾向スコア分析の実行手順

1．傾向スコアの算出

交絡因子からアクションの実施確率を予測する分析モデル（1章の例では、患者ごとの年齢から投薬確率を予測する分析モデル）を構築します。この分析モデルの出力である“アクション実施対象となる確率”（1章の例では、患者が投薬対象となる確率）を傾向スコアと呼びます。利用する分析モデルの種類に制約はありませんが、ロジスティック回帰を用いることが一般的です。この際、以下の注意点があります。

• （ア）交絡因子の洗い出し
  業務知見やデータをもとに、結果指標とアクション実施有無の双方に影響を与える変数を洗い出し、これを交絡因子とします。この工程は非常に重要（※3）なため、精緻な検討を行うとともに、データ収集開始前に検討着手し、分析時に必要な交絡因子がデータ収集できていない事態を避けるようにします。
• （イ）精度の確認
  分析モデルに一定の精度があることを確認します。厳密な基準はありません（※4）が、例えばc統計量が0.7より大きいといった目安が提唱されています。なお、精度が高いほど効果検証の妥当性が高くなるという訳ではないため、精度改善に固執する必要はありません。
• （ウ）傾向スコアの分布確認
  アクションの対象群、非対象群の傾向スコアの分布を比較します。両者の分布の重なりが大きい場合は問題ないのですが、両者の分布の重なりが小さい場合は性質の異なる群を無理やり比較することになるため分析継続可否を含めて検討・判断が必要です。

図2：傾向スコアの分布確認

2．傾向スコアを用いたデータ補正

傾向スコアを用いてデータの補正を行い、アクションの実施有無が結果指標に与える影響を捕捉できるようにします。具体的なデータ補正方法には複数の選択肢があり、代表的なものとしてマッチング、逆確率重み付けと呼ばれる手法があります。
マッチングはアクションの対象群と非対象群から傾向スコアが近いサンプルをピックアップしてペアを作り、当該ペアを集めたデータを効果検証対象のデータとして利用する（※5）手法であり、逆確率重み付けは傾向スコア（アクション対象群に所属する確率）を用いてアクション対象群／非対象群に過剰／過小に含まれるサンプルの重み（効果検証時に当該サンプルをどの程度重視するか）を調整し、重み付けされたサンプルを効果検証データとして利用する手法です。この際、以下の注意点があります。

• （ア）データ補正手法の選択
  データ補正手法を選択します。この際、分析対象としたい集団を意識して手法選択することをおすすめします。マッチングでは傾向スコアが近いものをペアにする手法である関係上、傾向スコアが近いサンプルがなくペアが作れないデータが破棄されることがあり、結果として効果検証対象として作成されたペアデータ内のサンプル集団が、元データのサンプル集団とは異質なものになる可能性があります。逆確率重み付けは元データ全体が評価対象となります。
• （イ）データ補正後のアクション対象群、非対象群の交絡因子の均質性確認
  データ補正後のアクション対象群、非対象群の交絡因子が均質になっているか確認します。絶対的な確認手順、基準値は存在しませんが、アクション対象群と非対象群の交絡因子の標準化平均差を算出し、これが-0.1から0.1の範囲に収まることを確認するケースが多いです。

図3：マッチング処理のイメージ

3．アクション効果の推定

2．のデータ補正実施後に、補正後のデータのアクション対象群と非対象群の結果指標の差を確認することでアクションの効果を推定します。1章の薬の副作用の例で言えば、自社が開発・販売した薬の投薬有無により特定の症状（副作用）が生じる割合は変化しない、といった示唆を得ることができます。

3．終わりに

ビジネス施策の実行時に効果検証が重要であること、効果検証を行う際にABテストが実施できない状況であっても傾向スコア分析を活用することで効果検証が可能となることをご紹介しました。
デザイン＆テクノロジーコンサルティング事業本部では、お客さまにビジネス成果を創出頂くため、AIモデル構築に留まらない幅広い分析サービスを提供しています。ビジネス施策の効果検証や傾向スコアの活用に興味がある方は、ぜひご相談ください。