理論編#03|アウトカムとは何か——EBPMで「やったこと」より「変わったこと」を測る

出演:EBPM新聞記者・ヴェレ、EBPM新聞記者・シン

巨大プロジェクトが「間違ったもの」を測っていたら

シン　何十億円もの予算と、何十年もの時間を費やした巨大な社会プロジェクトがついに終わった。でも、いざ蓋を開けてみたら、実はまったく間違ったものを測っていたことに気づく——ちょっと、そんな恐ろしい状況を想像してみてください。

ヴェレ　本当に恐ろしい話ですが、これ、現実の世界では想像以上に頻繁に起きていることなんですよ。

シン　今日は、なぜ政府や大企業が「成功を測ること」に執着しながら、これほど危険な間違いを犯してしまうのかを深掘りしていきます。

ヴェレ　私たちはつい、自分たちが何をしたかという目先の「行動記録」に夢中になって、一番重要な「で、結局何が良くなったの?」という問いを忘れてしまうんですよね。

シン　そうなんです。今回のテーマは、EBPM(証拠に基づく政策立案)の核心にある「アウトカム」の本当の意味。アルファベットの略語が並ぶからといって身構えないでください。お堅い官僚の話ではなく、あなたの毎日の仕事や、個人の目標設定そのものを根底から揺るがす、すごく実践的なテーマですから。

ヴェレ　この概念は、単なる業績評価やKPIの話ではありません。私たちが起こした「アクション」と、それがもたらす「変化」——つまり因果関係を正確に捉えるための、壮大で強力な「思考のレンズ」を手に入れる探求だと言えます。

インプット・アウトプット・アウトカム——結果連鎖の基本

シン　そこでまず疑問なのですが、今回読み込んだ政府のガイドブックやOECDのような国際機関の資料では、わざわざ「言葉の定義」からやり直しているんですよね。「そもそも何を変えたいのかを定義しないと、どんなに精密なデータ分析も、精密に的確に的を外してしまう」と。でも、目標を決めるなんて、みんな当たり前にやっていることではないですか。

ヴェレ　それが——その「当たり前」がまったくできていないからこそ、これまで巨額の資金が浪費されてきたという歴史があるんです。OECDがわざわざ用語を再定義したのは、多くの組織が「インプット」と「アウトカム」を完全に混同していたからなんですよ。政策やプロジェクトを評価するときは、「結果連鎖」——ロジックモデルと呼ばれるプロセスを明確にする必要があります。

シン　そのプロセスには段階があるんですよね。インプット、アクティビティ、アウトプット、アウトカム、そしてインパクト。

ヴェレ　はい。まず「インプット」は予算や人員——何を投じたか。次の「アクティビティ」は活動そのもの。そして「アウトプット」は、実施した件数や配布した資料の数のような、「何を出したか」という直接的な産物です。問題は、ここで満足してしまう組織が多すぎるということなんです。

「10時間勉強した」達成感という罠

シン　身近な例で考えてみますね。資格の試験勉強をするとして、高い参考書を買うのが「インプット」。毎日机に向かって10時間勉強したのが「アウトプット」。でも、本当に欲しい結果は「テストの点数が上がる」という「アウトカム」のはずじゃないですか。なのに、私たちはつい「今日は10時間も机に向かったぞ!」というアウトプットだけで、強烈な達成感を感じてしまう。

ヴェレ　その達成感こそが罠なんですよ。アウトプットはコントロールしやすくて、測定も簡単ですからね。でも、本当に見るべきアウトカムとは、その介入によって「受益者の行動や状態がどう変わったのか」なんです。そして最終的な「インパクト」は、社会としてどう良くなったか、という部分です。

代理指標に「ロジックが乗っ取られる」

ヴェレ　資料の中でも、内閣官房のガイドブックがこの罠について、「データ取得しやすい代理指標にロジックが乗っ取られる」と表現して警鐘を鳴らしています。

シン　ロジックが乗っ取られる。具体的にはどういうことですか。

ヴェレ　例えば、ある若者支援策があったとしましょう。本当の目的——目指すべきアウトカムは、「若者が経済的に安定した生活を送ること」です。でも、個人の経済的な安定度を長期にわたって追跡し、正確に測るのは、ものすごく手間がかかりますよね。

シン　確かに。就職したかどうかも追わないといけないし、転職や収入の変動もある。

ヴェレ　そうなんです。そこで、比較的データを取りやすい「高校の卒業率」などを、代替の指標として設定してしまう。もちろん高校卒業は重要なステップですが、それだけでその後の経済的な安定を完全に保証できるわけではありません。なのに、いつの間にか「卒業率を上げること」自体が目的にすり替わってしまうんです。

シン　測りやすい数字に逃げてしまうわけですね。でもそれって、結局「会議で報告するためだけの数字」になってしまいませんか。

ヴェレ　おっしゃる通りです。資料には、「指標は予算説明のための化粧鏡ではなく、現実を映す鏡であるべきだ」という非常に鋭い指摘がありました。自分たちを良く見せるための都合のいいアウトプットを「アウトカムだ」と強弁してしまうと、本来の目的を見失って、ただその事業を来年も続けるための言い訳になってしまうのです。

反事実仮想とRCT——「王様」の限界

シン　耳が痛い話です。でも、仮に「変化」を正しく定義できたとしても、次に立ち塞がるのが「その変化は本当に自分の介入のおかげなのか?」という問いですよね。ここからが本当に面白いところですが、この「因果効果」を測るための考え方が、SF映画のコンセプトみたいなんです。「反事実仮想」——パラレルワールドを想定するんですよね。

ヴェレ　はい。1970年代に研究者たちが定式化した概念です。シンプルに言えば、現実の「介入があった世界」と、「もしその介入がなかったらどうなっていたか」という並行世界——この2つの世界の差を測る、という考え方です。

シン　理屈は分かります。でも、私たちにはタイムマシンもパラレルワールドへ行く扉もありません。起きなかったことをどうやって測るのですか。結局、今の自分と過去の自分を比べるしかないのでは。

ヴェレ　実は、その「過去との比較」が一番やりがちなミスなんですよ。時間が経てば景気も変わるし、他の要因もいろいろと影響してくるからです。そこで、並行世界との差を最も素直に測る手法として生み出されたのが、「RCT」——ランダム化比較試験です。

シン　くじ引きで「介入するグループ」と「しないグループ」を完全にランダムに分ける手法ですね。それなら純粋な効果が測れますし、資料でも因果関係を証明する上での「王様」だと言われていました。でも、ちょっと待ってください。マーケティングや薬の治験ならともかく、現実の社会保障や教育の現場で「あなたはくじ引きで外れたので支援しません」なんて、倫理的に許されるのですか。

ヴェレ　非常に重要な問いです。資料でもまさにそのジレンマが指摘されていて、RCTは「常に君臨できる王様とは限らない」と表現されています。現実の政策やビジネスでは、常にくじ引きで決められるわけではありませんから。

準実験と回帰不連続——59点と61点の「双子」

シン　では、くじ引きができないなら、もうお手上げなのですか。例えば、成績の悪い子を対象にした無料の補習プログラムがあったとして、「補習を受けたい」と自分から申し出てきた子だけを対象にしたら、そもそもその子たちはモチベーションが高いわけですよね。補習のおかげで成績が上がったのか、本人のやる気のおかげなのか、区別がつかないじゃないですか。

ヴェレ　まさにそこがポイントです。対象者の「やる気」のような見えない要因が混ざってしまう。そこで、行政やビジネスの現場で強力な武器になるのが、「準実験」と呼ばれるアプローチです。既存の制度やルールの「境界線」をうまく使って、疑似的にパラレルワールドを作り出す手法です。例えば「回帰不連続デザイン」。今の補習プログラムに、「テストの点数が60点未満の生徒だけが対象」という厳格なルールがあったとしますよね。このとき、59点を取って補習を受けた生徒と、61点を取って補習を受けられなかった生徒を想像してみてください。この2人の間に、本質的な学力やモチベーションの大きな差はあると思いますか。

シン　なるほど!59点と61点は、たまたまその日の体調とか、ケアレスミス1つくらいの差ですよね。実質的にはほとんど同じ能力を持った「双子」のようなものだ。

ヴェレ　その通りです。60点という境界線のギリギリ前後にいる人たちを比較すれば、モチベーションや地頭の良さといった見えない要因を、ほぼ揃えることができるんです。

シン　くじ引きをしなくても、制度のルールを利用して介入効果を測れる。RCTじゃないからダメだと諦める必要はないんですね。

ヴェレ　ええ。「RCTではないから二流だ」と切り捨てるのは間違いです。大切なのは、手法の序列を競うことではなく、「どの仮定の下で推定しているか」「どこからどこまでの効果を測ろうとしているのか」を明示すること。それこそが、健全なEBPMなんですよ。

NFP——20年の追跡が示した「0.0%」

シン　理論としては納得しました。では、これが現実の泥臭い世界で本当に機能したのか。資料にあった実例を見ていきましょう。

ヴェレ　世界的な成功例として有名なのが、アメリカの「ナース・ファミリー・パートナーシップ」——通称NFPというプログラムです。低所得の妊産婦の家庭に看護師が定期的に訪問して、健康や自立を支援するものですが、なんと20年にもわたって長期追跡とRCTを行ったんです。

シン　20年。気が遠くなりますね。でも、その結果が衝撃的だったんですよね。予防可能な原因による子どもの死亡率が、支援がなかった対照群では1.6%だったのに対して、介入群ではなんと0.0%だった。

ヴェレ　驚異的です。本当に素晴らしい成果です。

シン　0.0%ですよ。これを知って強く思ったのですが、短期的な数字やすぐに出る結果がないからといって、その活動が無意味なわけでは絶対にない。長期的なアウトカムを粘り強く追うからこそ、本当の価値が見えてくるんですね。

就職率60%の読み方——KPIと因果効果指標

シン　逆に、日本の「求職者支援訓練」の事例は考えさせられました。

ヴェレ　職業訓練を受けた後の就職率が約60%という高い数字を出している事例ですね。一見すると、大成功に見えます。

シン　60%の人が就職できたなら、訓練プログラムは機能している——あ、ちょっと待てよ。もしその時期に、たまたま景気が急激に回復して、世の中に求人が溢れかえっていたとしたら?就職できたのが「訓練のおかげ」なのか、ただの「好景気のおかげ」なのか、60%という数字だけではまったく切り分けられないじゃないですか。

ヴェレ　素晴らしい視点です。そこがまさに、資料が強く警告している点なんです。就職率60%という数字は、日々のオペレーションが滞りなく進んでいるかを確認するための管理指標——KPIとしては非常に優れています。しかし、これを「因果効果指標」——自分たちの政策のおかげで増えた数字だと混同してはいけないんですよ。

シン　野球で例えるなら、シーズンの最終順位が「インパクト」ですよね。それだけを見て、選手の打率や出塁率といった「KPI」を見ない監督会議は、単なる精神論になってしまう。でも逆に、打率が上がったからといって、それが監督の指導のおかげなのか、選手が勝手にフォームを変えたからなのかは、ちゃんと比較しないと分からない。

ヴェレ　その通りです。だからこそ、最終的な成績である「長期インパクト」と、途中経過のプレー指標である「短期・中期アウトカム」を並置する、「多段階アウトカム設計」の重要性が語られているんです。

現場の壁——サイロ化・時間軸のズレ・無難なKPI

シン　理想的な姿は見えてきました。でも、現実の現場はそんなに美しく回らないですよね。資料の後半には、泥臭い苦労や倫理的な課題が山のように書かれていて、思わずため息が出ましたよ。

ヴェレ　課題は山積みです。例えば、効果を測りたくても、医療データ、税金のデータ、就労データが全部別のシステムにあってつながらない——いわゆる「データのサイロ化」の問題。

シン　個人的に一番きついと思ったのが、「時間軸のズレ」のジレンマです。「今期の会議で、将来の効果を説明せよ」ゲームになってしまう行政評価のつらさ。これは行政の方だけでなく、四半期決算に追われる企業の方も深く頷いているはずです。3年後のインパクトなんて、今の会議は待ってくれません。

ヴェレ　だからこそ、短期指標と長期インパクトをつなぐ「中間指標」が必要なんです。ただ、評価指標を決める会議にさまざまな部署のステークホルダーを呼ぶと、みんな無難な数字に落ち着こうとしてしまう。

シン　「全会一致で無難なKPIになる」と。でもそれだと、誰も本気でその数字を信じていないから、結局誰もそこから学ばないんですよね。

ヴェレ　ええ。さらに重要なのが倫理面です。個人情報を単なる証拠の「原料」としてしか見ないような評価は、制度そのものへの信頼を削ってしまいます。

「監査の恐怖」ではなく、改善のインフラを

シン　証拠の原料として人間を見てはいけない。では、こうした課題に対して、私たちはどうすればいいのでしょうか。

ヴェレ　大きな視点で言えば、EBPMやデータ分析の究極の目的は、「監査の恐怖」を生み出すことではありません。「現場が改善していくためのインフラ」を作ることなんです。推奨事項として、分厚いパワーポイントを何十枚も作るより、対象者や比較群、観測頻度などをExcel 1枚で確認できる「評価可能性の事前診断」を行うことが重要だとされています。

シン　「How(手法)」の前に、まず「What(アウトカム)」を1枚のシートで徹底的に話し合う。それがすべての土台なんですね。

ヴェレ　はい。手法がどれほど高度になっても、目指すべき変化の定義が間違っていれば意味がありません。EBPMとは結局のところ、「誰に、何が、どれだけ良くなったのか」を誠実に確かめる営みなんですよ。

最後の問い——あなたが増やしているその数字は、アウトカムか

シン　「やった感」に浸るのではなく、「変わった事実」を直視する。深いメッセージでした。今回の核心を振り返ると、「都合の良い指標で妥協しないこと」、そして「短期と長期を分けて追うこと」が重要だということですね。最後に、一つの挑発的な問いを投げさせてください。今日学んだ「アウトプット」と「アウトカム」の違いを、あなた自身の人生や毎日の仕事に当てはめてみてください。あなたが毎日一生懸命計測し、増やそうと努力しているその数字——こなしたタスクの量や、SNSのフォロワー数。それは本当に達成したい変化、つまり「アウトカム」ですか。それとも、ただ測りやすいだけの行動記録、「アウトプット」にすぎませんか。次に目標を立てるときは、ぜひ「自分にとっての本当のアウトカムは何か」を問い直してみてください。そうすれば、見慣れた景色がまったく違って見えるはずです。

関連エピソード

• 理論編#04|因果推論とは何か

• 理論編#05|エビデンスとは何か

• 実装編#01|ロジックモデルとは何か