理論編#04|因果推論とは何か——EBPMで「本当に効いた政策」を見抜く方法

出演:EBPM新聞記者・ヴェレ、EBPM新聞記者・シン

風邪薬で熱が下がった——それは薬のおかげなのか

シン　風邪をひいて、薬を飲んで寝たら、翌朝に熱が下がっていた。こういうとき、私たちは自然に「薬が効いた」と思いますよね。

ヴェレ　ええ。でも、本当にそうでしょうか。薬を飲まなくても、ただよく眠っただけで自然に治っていたかもしれません。

シン　確かに、それは確かめようがないですね。同じ夜を「薬を飲んだ自分」と「飲まなかった自分」で二回過ごすことはできませんから。

ヴェレ　そうなんです。そして政策評価でも、まったく同じ問題が起きます。今回のテーマは、EBPMの中核にある「因果推論」。ある政策のあとに数字が良くなったとき、それが本当に政策によって起きた変化なのかを見抜くための考え方です。

シン　政策を実施したあとに就職率が上がった、成績が上がった、犯罪が減った——それだけでは「政策が効いた」とは言えないわけですね。

ヴェレ　ええ。景気が良くなっただけかもしれない。もともと意欲の高い人が参加していただけかもしれない。別の制度や地域要因が影響していたかもしれない。この「かもしれない」を一つずつ切り分けていくのが、因果推論の仕事です。

因果推論の根本問題——反事実仮想

シン　では、どうやって切り分けるのですか。

ヴェレ　出発点になるのが、「因果推論の根本問題」と呼ばれるものです。政策の効果を厳密に知りたければ、「その政策があった世界」と「なかった世界」を並べて比べるのが一番です。でも、現実にはこの二つの世界を同時に観察することは絶対にできません。

シン　さっきの風邪薬と同じですね。同じ人の「政策あり」と「政策なし」は、同時には存在しない。

ヴェレ　そうです。だからこそEBPMでは、「もしその政策がなかったらどうなっていたか」——反事実仮想を考えます。現実には見えないもう一つの世界を、統計的な工夫でできるだけ近く再現する。因果推論とは、その再現の技術なのです。

ATE・ATT・LATE——「誰への効果」かを問う

シン　効果と一口に言っても、資料には「ATE」「ATT」「LATE」という言葉が出てきますね。

ヴェレ　ここは大事なポイントです。ATEは「平均処置効果」——社会の全員にその政策を適用した場合の平均的な効果。ATTは「処置群における平均処置効果」——実際に政策を受けた人たちにとっての効果。そしてLATEは「局所的平均処置効果」——制度の境目にいた人など、特定の条件の人たちに限った効果です。

シン　つまり「効いたか」だけでなく、「誰に対する効果の話をしているのか」を常に問えということですね。

ヴェレ　その通りです。全国民平均ではほとんど効果がなくても、実際に参加した困窮世帯には大きく効いている、ということは十分ありえます。どの効果を測っているのかを曖昧にしたまま「効果あり・なし」を議論すると、話がすれ違ってしまうのです。

ロジックモデルと因果推論の関係

シン　以前の回で扱ったロジックモデルとは、どういう関係になるのですか。

ヴェレ　ロジックモデルは、「予算を投入し、活動を行えば、この成果につながるはずだ」という仮説の設計図でした。因果推論は、その矢印が現実に成り立っているかを検証する道具です。設計図と検査、両方揃って初めて政策は学習可能になります。きれいな矢印を描いただけでは、まだ何も証明されていません。

RCT——くじ引きでパラレルワールドを作る

シン　では、その検証の王道から教えてください。やはりRCT——ランダム化比較試験ですか。

ヴェレ　ええ。対象者をくじ引きのように無作為に、政策を受けるグループと受けないグループに分けます。無作為に分ければ、年齢、意欲、家庭環境、地域差といった偏りが両グループで平均的に揃うので、あとから結果に差が出れば、それは政策の効果だと考えやすくなる。観察できないはずの「政策がなかった世界」を、集団レベルで近似する方法です。

シン　パラレルワールドを人工的に作るわけですね。

ヴェレ　まさにそうです。ただ、医療、福祉、教育、社会保障では、支援をくじ引きで配ることが倫理的に難しい場合が多くあります。命や生活に関わる支援を、検証のために一部の人から取り上げることはできませんから。

DIDとRDD——くじ引きができないとき

シン　くじ引きができないときの代替手段が、準実験ですね。

ヴェレ　はい。代表が二つあります。一つ目が「差分の差分法」——DIDです。例えば、A市だけが警察官を増やし、環境のよく似たB市は増やさなかったとします。このとき、A市の導入前後の変化幅から、B市の変化幅を引き算する。B市を「A市が政策を行わなかった場合」の近似として使うのです。全国的な景気変動のような共通の影響を、差し引きで取り除けます。

シン　もう一つは?

ヴェレ　「回帰不連続デザイン」——RDDです。制度には、たいてい機械的な境界線があります。例えば、テストで60点未満の生徒だけが補習を受けられる制度があるとしましょう。このとき、59点で補習を受けた生徒と、61点で受けられなかった生徒は、実力的にはほとんど同じですよね。

シン　1点、2点の差は、ほぼ運ですからね。

ヴェレ　ええ。その境界線ぎりぎりの生徒同士を比べれば、くじ引きに近い状況が自然に生まれている。制度の線引きそのものを、実験装置として使う発想です。

偽の反事実——前後比較と単純比較の落とし穴

シン　因果推論は、政策評価の探偵道具のようなものですね。ただ、探偵道具を持っていても、偽物の証拠に騙されることはありませんか。

ヴェレ　鋭いですね。実務で最も多い失敗が、まさにその「偽の反事実」です。典型が二つあります。一つは、政策の前後だけを比べる「前後比較」。もう一つは、参加した人と参加しなかった人を単純に比べる「単純比較」です。

シン　ダイエットサプリの広告と同じですね。「飲む前」と「飲んだ後」の写真だけを見せられても、その間に運動していたかもしれないし、食事を変えたかもしれない。本当にサプリの効果かは分からない。

ヴェレ　まさにその構図です。前後比較では、政策以外に同時に起きた変化——交絡を取り除けません。単純比較では、そもそも参加する人はもともと意欲が高いという選択バイアスを取り除けません。政策評価の資料で前後比較のグラフだけが示されていたら、まず疑ってかかるべきです。

事例で見る——少人数学級・検診車・オレゴン・MTO

シン　実際の政策では、因果推論はどんな発見をしてきたのですか。

ヴェレ　いくつか紹介しましょう。まず教育分野では、少人数学級の効果検証が有名です。学級の人数を減らせば成績が上がるのか——直感的には当然に思えますが、RCTや準実験で検証すると、効果の大きさや、どの学年・どの層に効くのかは、思ったほど単純ではないことが分かってきました。

シン　身近な例もありますね。職場に乳がん検診車を導入したら受診率が上がった、というような。

ヴェレ　ええ。検診を「わざわざ行く」ものから「そこにあるから受ける」ものに変えることで受診率が向上する。これも、どんな人の受診が増えたのかまで見ることで、次の政策設計に活かせます。そして有名なのが、アメリカの「オレゴン・メディケイド実験」です。低所得者向け医療保険の枠が限られていたため、抽選で保険に入れる人と入れない人が分かれました。偶然が作った、大規模な自然実験です。

シン　結果はどうだったのですか。

ヴェレ　興味深いことに、血圧などの身体的な健康指標には、短期的な大きな改善は見られませんでした。一方で、医療費による経済的な不安や、うつ症状には、はっきりとした改善が確認されたのです。

シン　「健康保険は身体を健康にする」という素朴な期待とは違う結果ですが、経済的な安心や心の健康という別のアウトカムでは、確かに効いていた。

ヴェレ　そうなんです。何をアウトカムとして見るかによって、政策の意味は大きく変わる。もう一つが「Moving to Opportunity」——MTOと呼ばれる実験です。貧困地域に住む家族に、より環境の良い地域への引っ越しを支援するプログラムで、これも抽選で対象が決まりました。

シン　これはどうなりました?

ヴェレ　親世代の所得への効果は限定的でした。この結果だけを見れば「失敗」です。ところが、その後の長期追跡で、幼少期に移住した子どもたちの将来所得や進学率に、大きなプラスの効果が見つかったのです。

シン　短期では効かなかったが、長期では効いた。しかも親ではなく、子どもに。

効果の異質性と外的妥当性

ヴェレ　ここに、因果推論の本当の面白さがあります。単に「効いた・効かなかった」を判定することが目的ではないのです。誰に効いたのか。どの条件で効いたのか。短期と長期でどう違うのか。平均では見えない特定層への効果——「効果の異質性」まで掘り下げることで、政策を作り直すヒントが見えてきます。

シン　一方で、限界もありますよね。

ヴェレ　ええ。一つが「外的妥当性」の問題です。ある地域で効果が出た政策が、別の国や自治体で同じように機能するとは限りません。文化、制度、行政能力、現場の信頼関係が違えば、結果も変わります。政策は、そのまま移植できる家電製品ではないのです。

因果推論だけでは決められない——価値判断の領域

シン　そして最後に、もう一つの限界ですね。

ヴェレ　はい。因果推論は「何が起きたか」は教えてくれますが、「何を重視すべきか」は決めてくれません。例えば、平均効果がまったく同じ二つの政策があったとします。ただし一方は低所得層に強く効き、もう一方は高所得層に強く効く。このとき、どちらを選ぶべきか——それは数式だけでは決まりません。

シン　公平性をどう考えるか、限られた予算を誰に振り向けるか。そこは民主的なプロセスと、人間の価値判断の領域だと。

ヴェレ　その通りです。因果推論は、政策判断を自動化する道具ではありません。政策判断を、より誠実にするための道具です。「効いたはず」「効いた気がする」という言い訳の余地を減らし、事実を見えやすくする。その上で、何を選ぶかは私たちに委ねられているのです。

まとめ——「本当に効いたのか」と問う習慣

シン　今回の内容をまとめましょう。政策のあとに数字が良くなっても、それだけでは効いたとは言えない。「もし政策がなかったら」という反事実仮想を考え、RCT、DID、RDDといった道具で、できるだけ公平な比較対象を作る。そして前後比較やサプリ広告式の単純比較——偽の反事実に騙されない。

ヴェレ　さらに、平均の裏にある「誰に、どの条件で、どのアウトカムに効いたのか」まで掘り下げる。オレゴンやMTOが示したように、そこにこそ政策を改善する手がかりが眠っています。

シン　次にニュースで「この政策で〇〇が改善しました」という発表を見たときは、ぜひ一度立ち止まって考えてみてください。比較対象は何か。それは本当に、その政策がなかった世界の姿なのか、と。

ヴェレ　その小さな問いの習慣が、EBPMの出発点です。それでは、また次回の深掘りでお会いしましょう。

関連エピソード

• 理論編#03|アウトカムとは何か

• 理論編#06|RCTとは何か

• 実装編#01|ロジックモデルとは何か