EBPM

理論編#05|エビデンスとは何か——EBPMで証拠を正しく使うための考え方

このエピソードの概要

数字があること。統計表があること。成功事例があること。有名な研究が引用されていること——それだけで、本当に「証拠」と呼べるのでしょうか。理論編第5回のテーマは、EBPMの土台である「エビデンス」という言葉そのものです。

出発点は「データとエビデンスの違い」。データは素材にすぎず、エビデンスとは「特定の問いに答えるために、方法を明示して整理された情報」です。そしてエビデンスは一つの決定的な研究——「点」ではなく、問いを立て、証拠を作り、吟味し、政策判断につなぎ、実施後に検証するという循環——「証拠のエコシステム」として捉える必要があります。

番組では、政策現場で必要になるエビデンスを4つに整理します。現状を正確に描く「記述的エビデンス」、政策と変化の因果を示す「因果エビデンス」、現場でどう機能するかを見る「実装エビデンス」、費用と便益・分配を見る「経済・分配エビデンス」。日本の行政が陥りがちな「やった感」の演出や事後合理化は、この使い分けの欠如から生まれます。

さらに、医療のEBMからコクラン・キャンベル共同計画、英国What Works Networkに至る「証拠を翻訳する仕組み」の系譜、反事実仮想とRCT・準実験の基本、そして「エビデンスレベル」の誤解——ピラミッドの上位手法が常に正しいわけではなく、重要なのは手法の魔法ではなく「どんな仮定の上に立っているか」を明示する誠実さだと解説します。

エビデンスは政策決定を代行する自動販売機ではなく、意思決定の質を高める共通言語。「その数字は、どんな問いに、どんな方法で答えたものか」と問う習慣を提案して締めくくる、シリーズの土台となる回です。

文字起こし

出演:EBPM新聞記者・ヴェレ、EBPM新聞記者・シン

数字があれば「証拠」なのか

シン 会議で誰かが「データはあるのか」と言い、資料に数字と統計表とグラフが並ぶ。有名な研究の名前が引用として添えられている。それを見て私たちは、「ああ、これはエビデンスに基づいた提案だ」と安心してしまいます。

ヴェレ ええ。でも、数字があること、統計表があること、成功事例があること、有名な研究が引用されていること——それだけで本当に「証拠」と呼べるのか。今回はそこを掘り下げます。

シン EBPMという言葉の一番最初にある「E」、エビデンスそのものの回ですね。これまでの回でアウトカムや因果推論を扱ってきましたが、考えてみれば「そもそもエビデンスとは何か」を正面からやっていませんでした。

ヴェレ はい。ここが曖昧なままだと、どれほど高度な分析手法を学んでも、土台が崩れてしまいます。今回は、単なるデータや成功事例ではなく、政策判断を支える「証拠のエコシステム」としてのエビデンスを解説していきます。

データとエビデンスの違い

シン まず基本から確認させてください。データとエビデンスは、何が違うのですか。日常ではほぼ同じ意味で使ってしまっていますが。

ヴェレ そこが最初の分かれ道です。データは、いわば素材です。アンケートの回答、行政の記録、センサーの数値——それ自体は、まだ何も語っていません。エビデンスとは、「特定の問いに答えるために、方法を明示して整理された情報」です。

シン 問いと方法がセットになって、初めてエビデンスになる。

ヴェレ ええ。例えば「この研修の参加者は1,000人でした」という数字は、データとしては正しくても、「研修は効果があったのか」という問いに対するエビデンスにはなっていません。何の問いに、どんな方法で答えた情報なのか。それが明示されていない数字は、どれだけ大量にあっても、証拠としては機能しないのです。

シン 料理に例えるなら、冷蔵庫に食材が詰まっている状態がデータで、レシピに沿って調理された料理がエビデンス、という感じですね。食材の量を自慢しても、料理が出てこなければ意味がない。

点ではなくエコシステム——証拠の循環

ヴェレ その通りです。そしてもう一つ重要なのが、エビデンスを「点」で捉えないことです。多くの人は、どこかに一つの決定的な研究——伝家の宝刀のような論文があって、それさえ引用すれば議論が終わる、というイメージを持っています。

シン 「ハーバードの研究によると」で全部が正当化される、あの感じですね。

ヴェレ ええ。でも実際のエビデンスは、循環するエコシステムとして機能します。まず問いを立てる。証拠を作る。作られた証拠を吟味・統合する。それを政策判断につなぐ。そして実施した後に検証して、次の問いに戻る。この循環全体が健全に回っていることが、「エビデンスに基づいている」ということの本当の意味なんです。

シン 一つの研究を引用して終わりではなく、作って、疑って、使って、確かめる流れ全体がエビデンスなんですね。

「やった感」とアウトプットの混同

シン 日本の行政の現場では、このエビデンスがどう扱われているのですか。

ヴェレ 前回のアウトカムの回とつながる話ですが、最も多いのが、アウトプットの数字をエビデンスと呼んでしまうパターンです。「セミナーを50回開催しました」「パンフレットを10万部配布しました」——これらは活動の記録であって、政策が効いた証拠ではありません。

シン でも、報告書ではそれが「成果」の欄に堂々と載っているわけですよね。

ヴェレ ええ。そこに「やった感」の演出が生まれます。さらに厄介なのが、事後合理化です。政策を先に決めてしまってから、それを正当化してくれる都合のよいデータや研究を後から探してくる。順番が逆なんです。問いから始まってエビデンスに至るのではなく、結論から始まってエビデンスの化粧を施す。

シン それはもう、エビデンス・ベースドではなく、エビデンスをまとった政策——ポリシー・ベースド・エビデンスですね。

ヴェレ まさにその皮肉がよく言われます。エコシステムの循環が逆流している状態です。

政策に必要な4つのエビデンス

シン では、政策の現場で本当に必要なエビデンスとは、どういうものなのですか。

ヴェレ 資料では、大きく4つの類型に整理されています。第1が「記述的エビデンス」。そもそも今、社会で何が起きているのかを正確に描く証拠です。困窮世帯はどこに、どれだけいるのか。問題の地図がなければ、政策の狙いも定まりません。

シン 現状把握ですね。第2は?

ヴェレ 「因果エビデンス」です。前回詳しく扱った、政策とアウトカムの因果関係を示す証拠。この政策をやったから、この変化が起きたと言えるのか。第3が「実装エビデンス」。仕組みとして効果があると分かっていても、現場で実際に運用できるのか、どんな条件なら機能するのかという証拠です。

シン 理論上は最強の政策でも、現場の人手が足りなければ絵に描いた餅ですからね。

ヴェレ ええ。そして第4が「経済・分配エビデンス」。費用に見合う便益があるのか、そしてその便益と負担が、誰にどう分配されるのかという証拠です。この4つは、どれか一つが偉いわけではありません。政策のフェーズによって、必要なエビデンスが変わるのです。

シン 病気の治療と同じですね。まず診断(記述)、次に治療法の効果(因果)、その治療がこの病院で実施できるか(実装)、そして費用と副作用(経済・分配)。どれが欠けても、良い医療にはならない。

ヴェレ 素晴らしい整理です。ロジックモデルの本来の役割も、ここにあります。あの図は、4つのエビデンスをどこに配置すべきかを示す「証拠の設計図」として使うときに、初めて意味を持つのです。

EBMからコクラン、What Worksへ——証拠を翻訳する系譜

シン こうしたエビデンスの考え方は、どこから来たのですか。

ヴェレ 系譜をたどると、やはり1990年代の医療——EBMに行き着きます。そこで重要な役割を果たしたのが、「コクラン共同計画」です。世界中の臨床研究を集めて、質を吟味し、統合する国際ネットワークですね。個々の研究は間違うことがあっても、体系的に集めて統合すれば、より信頼できる全体像が見えてくる。

シン 一つの研究を信じるのではなく、研究の集合を吟味する仕組みを作ったんですね。

ヴェレ ええ。そしてこの発想を社会政策に持ち込んだのが「キャンベル共同計画」です。教育や犯罪予防、福祉の分野で、同じように系統的レビューを行っています。さらに英国のWhat Works Networkは、そうして統合された証拠を、現場の教師や自治体職員が使える形に「翻訳」する機関として機能しています。

シン 事例編でも繰り返し出てきた、証拠の翻訳者ですね。エコシステムで言えば、「吟味・統合」と「判断につなぐ」の間を埋める存在だと。

エビデンスレベルの誤解——ピラミッドは序列表ではない

シン ここで、よく聞く「エビデンスレベル」の話を整理したいのです。RCTやメタアナリシスが頂点にあって、専門家の意見が底辺にある、あのピラミッドの図。あれを見ると、「RCTでなければ価値がない」と思ってしまいませんか。

ヴェレ そこが、今回一番強調したい誤解です。あのピラミッドは、「因果関係の確からしさ」という一つの物差しに限った目安であって、あらゆる場面での証拠の序列表ではありません。例えば「現場で何が起きているか」を知りたいとき——記述的エビデンスや実装エビデンスが必要なときに、RCTは必ずしも最適な道具ではないのです。

シン 問いの種類によって、最強の手法は変わる。

ヴェレ ええ。そして、もっと本質的なことを言えば、どんな手法にも前提となる「仮定」があります。RCTなら、くじ引きが正しく行われ、途中離脱が偏っていないこと。差分の差分法なら、比較する2つの集団が政策がなければ同じように動いたはずだという仮定。回帰不連続なら、境界線の前後で人々が操作をしていないこと。

シン つまり、手法の名前は魔法の呪文ではなく、その裏の仮定が満たされているかを泥臭く確認する労働こそが、エビデンスの質を決めるんですね。

ヴェレ その通りです。「RCTだから信頼できる」ではなく、「この研究はどんな仮定の上に立っていて、それは今回の状況で満たされているか」と問う。それが、証拠を正しく使うということです。

エビデンスは自動販売機ではない——価値判断との関係

シン ここまでの話を聞くと、完璧なエビデンスが揃えば政策は自動的に決まる、と思いたくなりますが——このシリーズの結論は、いつもそうではないですよね。

ヴェレ ええ。エビデンスは、政策決定を代行する自動販売機ではありません。証拠が教えてくれるのは「何をすれば、何が、どれくらい起きそうか」まで。その結果を社会としてどう評価するか、限られた資源を誰に振り向けるかは、価値判断と民主的なプロセスの領域です。

シン 事例編で見た英国の「Evidence First, not Evidence Only」——証拠を第一に、しかし証拠のみにあらず、ですね。

ヴェレ はい。むしろエビデンスの役割は、価値判断を消すことではなく、価値判断を「見える場所」に引きずり出すことなんです。証拠が整理されていれば、「私たちはコストを承知の上で、公平性を優先してこちらを選ぶ」という判断の構造が、誰の目にも見えるようになる。曖昧な数字の霧の中でこっそり決めることが、できなくなるのです。

まとめ——「その数字は、どんな問いに答えたのか」

シン 今回の核心をまとめましょう。データとエビデンスは違う。エビデンスとは、特定の問いに、明示された方法で答えた情報であり、作って、吟味して、使って、検証する循環——エコシステムとして機能する。

ヴェレ そして政策には、記述・因果・実装・経済分配という4種類のエビデンスが、フェーズに応じて必要になる。エビデンスレベルのピラミッドは万能の序列表ではなく、大切なのは手法の名前ではなく、その裏にある仮定を誠実に確認することです。

シン 次に会議やニュースで「データによると」「エビデンスがあります」という言葉を聞いたら、ぜひ心の中でこう問い返してみてください。その数字は、どんな問いに、どんな方法で答えたものですか。そして、その方法はどんな仮定の上に立っていますか、と。

ヴェレ その一言を問える人が組織に一人いるだけで、意思決定の質は大きく変わります。エビデンスとは、特別な専門家の道具ではなく、良い議論のための共通言語なのです。

シン それでは、今回の深掘りはここまでです。次回もお楽しみに。

関連エピソード

Spotifyで聴く

Apple Podcastsで聴く

この活動を、一緒に続けませんか

EBPM新聞のPodcast・記事・文字起こしは、すべて無料で公開しています。広告も、有料会員制度もありません。「証拠に基づいて考える文化」を広めるこの活動は、EBPM・統計・メタ分析をモチーフにした公式グッズの収益で支えられています。

1枚のTシャツやステッカーが、次のエピソードの制作費になり、あなたの持ち物がEBPMの会話を始めるきっかけになります。

公式グッズで応援する

EBPM.jp

Evidence-Based Policy Makingを、読む・聞く・考えるための入口。外部ストア、note、Podcast配信先へのリンクを整理するメディアハブです。

Evidence-Based Policy Makingを、読む・聞く・考えるための入口。外部ストア、note、Podcast配信先へのリンクを整理するメディアハブです。

No login. No membership. No comments. No personal information collection in this draft.