EBPM.jpの調査・検証方法

EBPM.jpは、政策上の主張を「根拠がある／ない」だけで判定しません。

その主張が、どの資料・研究・データから生まれ、どのような推論を経て政策上の表現になったのか。

可能な限り一次資料まで遡り、研究デザイン、対象集団、因果推論上の制約、外的妥当性、不確実性、資金提供や利益相反を確認します。

AIは資料探索や引用追跡を補助しますが、研究内容や政策上の意味についての最終判断は人間が行います。

EBPM.jpが重視するのは、特定の政策を「正しい」「間違い」と決めることではなく、第三者が根拠と推論過程を再確認できる状態をつくることです。

1. 政策上の主張から、一次資料まで遡る

政策資料に論文や統計が引用されていても、その引用だけで政策上の主張が十分に裏づけられているとは限りません。

EBPM.jpでは、可能な範囲で次の経路を追跡します。

政策上の主張 → 政府・研究機関等の報告書 → レビュー・二次資料 → 原著研究 → 一次データ・研究対象

その過程で、何が維持され、何が省略され、どのような解釈が追加されたのかを確認します。

特に確認するのは、研究デザイン、対象集団と比較対象、効果量、不確実性、因果推論上の制約、外的妥当性、資金提供・利益相反、そして原著と政策文書の表現の違いです。

2. Evidence Source Graphとは

EBPM.jpでは、政策上の主張と、その根拠となった資料との関係を追跡可能にする Evidence Source Graph の開発を進めています。

これは、単なる参考文献一覧ではありません。

ある政策上の主張について、どの報告書が使われたか。その報告書はどの研究を引用したか。原著では実際に何が示されていたか。対象集団や条件は政策対象と一致するか。引用の途中で意味が強くなったり、条件が落ちたりしていないか。を、一続きの情報として確認できる構造を目指します。

Evidence Source Graphは「政策の正解を自動判定するシステム」ではありません。

根拠の来歴（provenance）と変換過程を、人間が確認しやすくするための仕組みです。

3. AIは「判断」ではなく「探索と追跡」に使う

生成AIは、大量の資料から関連文献を探したり、引用候補を抽出したり、複数資料の関係を整理したりする作業を高速化できます。

一方で、AIは存在しない文献を生成したり、二次資料の解釈を原著の結論のように扱ったり、重要な条件を省略したままもっともらしい説明を生成したりすることがあります。

そのためEBPM.jpでは、AIを主に、資料探索、引用候補の抽出、関連資料の整理、比較作業の補助に使用します。

原著の意味、根拠と主張の対応関係、因果推論上の妥当性、政策上の解釈については、人間による確認を前提とします。

AIに結論を委ねるのではなく、AIによって人間の検証可能性を高める。

これがEBPM.jpの基本方針です。

4. 「研究で分かったこと」と「政策判断」を分ける

エビデンスだけで政策の答えが自動的に決まるわけではありません。

研究によって、「どの程度の効果が観察されたか」「どの条件で効果が確認されたか」「どの程度不確実なのか」を検討することはできます。

しかし最終的な政策判断には、費用、実行可能性、公平性、権利、倫理、政治的優先順位など、エビデンスだけでは決められない価値判断が含まれます。

EBPM.jpでは、どこまでがエビデンスから言えることなのか。どこからが政策判断・価値判断なのか。を可能な限り分けて示します。

5. 外的妥当性を確認する

「研究で効果があった」ことと、「別の場所でも同じ効果が出る」ことは同じではありません。

国、地域、年齢、所得、制度、文化、実施主体、時期などが変われば、結果も変わる可能性があります。

特に海外の成功事例を日本へ導入する場合、EBPM.jpでは「その制度が成功した」という結果だけでなく、なぜその環境では機能したのか。その条件は日本にも存在するのか。移植できる部分と、移植できない部分は何か。を確認します。

国際比較は「海外の成功例を輸入するため」ではなく、条件の違いを発見するためにも使います。

6. 段階的・モジュール型で公開する

EBPM.jpは、調査・検証・公開を一つの巨大な最終成果物に依存させません。

ケーススタディ、Evidence Source Graph、方法論レビュー、日英発信を、それぞれ独立した価値を持つモジュールとして段階的に制作・公開します。

一つのケーススタディが完成すれば、その時点から公開・検証できます。

Evidence Source Graphの一部が完成すれば、そこから利用・改善できます。

方法論レビューで問題が見つかれば、その時点で修正できます。

つまり、最後に一つの成果物が完成するまで何も残らない方式ではなく、事業の途中でも検証可能・再利用可能な公共知識が積み上がる設計です。

この方式によって、事業全体を一つの最終成果物の成否に依存させず、途中の成果や修正過程そのものも公開知識として残します。

7. 方法論レビューと訂正

EBPM.jpの分析は、公開した時点で永久に確定するものではありません。

新しい研究、データ、制度変更、専門家からの指摘によって、判断を更新する場合があります。

重要なケースについては、必要に応じて研究者や分野専門家による方法論的なレビューを取り入れます。

誤りや重要な不足が確認された場合は修正し、必要に応じて訂正履歴を残します。

訂正できることを弱さではなく、検証可能性の一部として扱います。

8. 資金提供と利益相反

資金提供の有無は、エビデンスそのものの正誤を自動的に決めるものではありません。

一方で、研究、調査、政策提言、メディア活動における資金提供や利益相反は、読者が判断するために重要な情報です。

EBPM.jpでは、組織から外部資金を受領する場合、可能な範囲で資金提供主体、金額、期間、目的を公開します。

また、資金提供者、協力機関その他の関係者を、必要な場合に検証対象から除外しないことを基本方針とします。

資金提供によって、調査テーマ、資料選択、研究方法、分析、結論、公開、訂正の方向を決めさせないことを重視します。

9. 日英で知識を往復させる

EBPM.jpの国際比較は、海外の制度を日本へ紹介するだけではありません。

米国をはじめとする海外の政策評価・エビデンス利用の経験を日本語で紹介すると同時に、日本の制度、行政実務、実装上の制約や知見を英語でも発信します。

目指すのは、海外 → 日本という一方向の知識移転ではなく、日本 ⇄ 海外という双方向の検証と学習です。

10. EBPM.jpが目指すもの

EBPM.jpがつくりたいのは、「正しい政策を教えるサイト」ではありません。

政策上の主張について、根拠がどこから来たのかを辿り、何が分かり、何が分からず、どこからが判断なのかを第三者が確認できる公共知識基盤です。

より良い政策判断には、より多くの情報だけでなく、情報を検証できる構造が必要だと考えています。

よくある質問

EBPM.jpは政策の正しさを判定するサイトですか？

いいえ。特定の政策を自動的に「正しい」「間違い」と判定することを目的としていません。政策上の主張がどの根拠から生まれ、どのような推論を経ているかを確認できる状態にすることを重視しています。

Evidence Source Graphとは何ですか？

政策上の主張、政府報告書、二次資料、原著研究、一次データなどの関係を追跡可能にするための構造です。単なる参考文献一覧ではなく、引用や要約の途中で意味や条件がどう変化したかも確認できる仕組みを目指しています。

EBPM.jpはAIを使っていますか？

はい。資料探索、引用候補の抽出、整理などにAIを利用します。ただし、研究内容、根拠との対応、因果推論上の妥当性、政策上の意味についての最終確認は人間が行います。

なぜ一次資料まで遡るのですか？

二次資料や政策文書では、原著にあった対象条件、不確実性、限界などが省略される場合があるためです。原著まで確認することで、その主張が元の研究によってどこまで支持されているかを検討できます。

外的妥当性とは何ですか？

ある研究結果が、別の集団、地域、制度、時期などにも当てはまるかという問題です。海外で成功した政策が日本でも同じように機能するとは限らないため、EBPMでは重要な確認項目になります。

なぜ成果物を段階的に公開するのですか？

調査全体が最後の一つの成果物に依存するのを避けるためです。ケーススタディや検証方法を完成したものから公開することで、途中段階から利用・検証・改善できる公共知識を残します。

資金提供者はEBPM.jpの結論に影響できますか？

資金提供者が調査テーマ、研究方法、分析、結論、公開、訂正を決定することを認めない方針です。また、必要な場合には資金提供者自身も通常と同じ基準で検証対象とします。

誤りが見つかった場合はどうしますか？

確認された誤りや重要な不足は修正します。必要に応じて訂正内容や更新履歴を残し、分析を更新可能なものとして扱います。