AI編#01|生成AIは政策秘書になれるのか——EBPMを速くする道具と任せてはいけない判断

出演:EBPM新聞記者・ヴェレ、EBPM新聞記者・シン

「たまに嘘をつく、自信満々のアドバイザー」に任せられるか

ヴェレ　普段、私たちがコンピューターやソフトウェアを使うときは、基本的に「計算機としての完璧な正確さ」を期待していますよね。

シン　ええ。Excelなら、誰がやっても同じ答えが出ますから。

ヴェレ　そう、非常にクリアです。でも、もしこの「たまに平気で嘘をつく」「やたらと自信満々なアドバイザー」のような生成AIに、国家の政策立案や、あなたが明日会社でプレゼンするための重要なリサーチを、完全に任せきりにしたらどうなるか——考えたことはありますか。実は最新の学術データで、AIに単独でリサーチを任せると、関連する重要な研究の、なんと最大96%を見落とすという衝撃的な事実が判明しているんです。

シン　96%ですか。有益な情報の大部分をスルーしてしまうわけですから、ツールとしては致命的とも言える数字ですね。

ヴェレ　本当に恐ろしい数字です。そこで今回は、世界中の政府の最新ガイドライン、膨大な学術エビデンス、そして現場の生々しい導入事例をベースに、「生成AIは政策秘書になれるのか」というテーマを深掘りします。日々大量の情報を処理している私たちが、この曖昧なテクノロジーをどこまで信頼して、どこで線を引くべきか。各国政府が今まさにこのルール作りに奔走していますが、資料を読み解いていくと、極めて一致した結論が浮かび上がってきましたよね。

結論——「書記官」にはなれるが、「裁判官」にはなれない

シン　ええ。数多くの政府文書や実証研究が最終的に示している全体像(ビッグピクチャー)を、最初にお伝えしてしまいましょう。AIは、膨大な事務手続きを高速で処理する「書記官」にはなれる。けれども、最終的な価値判断を下す「裁判官」——つまり判断権者には、現時点では絶対になれない、ということです。

ヴェレ　書記官にはなれるが、裁判官にはなれない。非常に示唆に富んだ切り分けですね。

各国のルール——米OMB・EU AI法・英プレイブック・日本

ヴェレ　まずマクロな視点から見ていきましょう。各国の動きを見ると、アプローチの違いがかなり浮き彫りになっていて面白い。例えば、アメリカとEUのコントラストはすごく象徴的じゃないですか。

シン　まさにそこが最初のポイントです。各国の最新の一次資料を比較すると、一見バラバラに見えますが、根底にある課題感は共通しています。例えばアメリカは、2025年にOMB——行政管理予算局が新しいメモ、M-25-21と22を出しました。これは非常に実用主義的で、イノベーションを止めずに、政府としてどう安全にAIを調達して利用するかという、調達ルールの整備にフォーカスしています。

ヴェレ　一方でEUは、AI法(AIアクト)という包括的な法律で、リスクのレベルに応じて法的な網をかけています。さらに欧州委員会の内部では、「GPT@EC」という閉ざされた安全な環境を用意している。アメリカが「どううまく使いこなすか」に重きを置いているのに対して、EUは「どう権利侵害を防ぐか」に非常に敏感になっている印象です。

シン　おっしゃる通りです。英国は「AIプレイブック」で調達時の透明性や政府横断的な実装を重視し、日本もガイドラインの第2.0版を出して利用台帳の整備を求めたり、オーストラリアは影響評価ツールを導入したりしています。ここで重要なのは、どの国も「AIは危険だから一切使うな」とは言っていない、ということです。

ヴェレ　つまり、AIという未知のテクノロジーそのものを規制しようという初期のフェーズからはもう抜けていて、特定の業務プロセスで使うなら、導入前から監視まで「こういう統制を敷きなさい」という、極めて実務的なライフサイクル管理へ移行しているということですね。

シン　その通りです。AIは常にアップデートされ、出力も予測不能ですから、「ソフトウェア」というより新しい労働力に近い。だからこそ、どの国も「用途を限定する」ことに血眼になっているのです。

96%の見落とし——なぜAIはスクリーニングでつまずくのか

ヴェレ　政府が「用途を限定して使え」と口を酸っぱくして言う理由を裏付けるのが、冒頭で触れた「AIが96%を見落とす」という学術エビデンスですよね。2025年のクラークらによるシステマティック・レビューのデータですが、もう少し詳しく掘り下げていいですか。関連研究の68%から96%を見落とし、さらに除外すべきでない情報を誤って弾いてしまうエラーの中央値が28%に達する。これでは、事実に基づいた政策立案——EBPMが、AIのミスに基づいた「エラーベースド・ポリシーメイキング」になってしまいませんか。

シン　まったくその懸念の通りです。レビューでも、「人間の関与や監督なしでは使用できない」と明確に結論づけられています。

ヴェレ　でも、なぜそんなにつまずくのでしょう。AIは膨大なテキストを読んで瞬時に検索するのは得意中の得意のはずですよね。なぜ学術論文のスクリーニングになると、9割も有益な情報を取りこぼしてしまうのですか。

シン　それは、生成AIの基盤となっている大規模言語モデル(LLM)の構造的な仕組みに理由があります。LLMは、本質的に言葉の意味を深く理解しているわけではありません。文脈から、次にくる確率が最も高い単語を予測して出力しているに過ぎないのです。ですから、システマティック・レビューのような極めて厳密な除外基準や、微細な文脈の違いを正確にジャッジする作業において、AIは単なるキーワードの類似性だけで判断してしまうことが多いのです。

ヴェレ　なるほど。人間なら「この論文はキーワードこそ合致していないけれど、前提となっている理論が同じだから重要だぞ」と意味論で拾い上げられるところを、AIは表面的なパターンマッチングで切り捨ててしまうのですね。

シン　その通りです。逆に、文脈を勝手にそれっぽく補完してしまう現象——いわゆるハルシネーションが起きるから、情報の選別を28%も誤ってしまうわけです。

ヒューマン・イン・ザ・ループ——時間44%短縮、精度23%向上

ヴェレ　AIに判断を完全に委任することが、いかに危険かというメカニズムそのものですね。

シン　ええ。でも、ここからが非常に興味深いのですが、データはAIを全面的に否定しているわけではないのです。別の実証研究、ワンらによる2025年の臨床エビデンス統合のデータを見てみましょう。ここではAI単独ではなく、人間とAIの協働——ヒューマン・イン・ザ・ループを取り入れました。

ヴェレ　人間が間に入ることで、結果はどう変わったのですか。

シン　スクリーニングにかかる時間を44.2%短縮して、データの抽出精度をなんと23.5%向上させたのです。リュウとスゥによる質的データ分析でも、大きなテーマ分類においては、人間とAIで96%の一致を見せたというデータもあります。

ヴェレ　つまり、AIを「原因と結果を弾き出す因果推論の魔法の箱」として扱うと大事故を起こす。でも、「高機能な虫眼鏡」として扱えば、最強のツールになるということですね。

シン　素晴らしい比喩です。見たいものを探すスピードは劇的に上がるけれど、その虫眼鏡を通して何に焦点を当て、どう評価するかは、虫眼鏡を握っている人間にしかできない。AIは観測や整理の加速装置としては超一流ですが、最終的な意味付けは人間が行う。人間がエラーを受け止める設計——ヒューマン・イン・ザ・ループのプロセスが組み込まれて初めて、真価を発揮するのです。

英国運輸省の実装——「極上のたたき台」でコスト半減

ヴェレ　学術的に人間とAIの協働が有効だと分かったところで、実際の現場ではどうなのか。ここからが本当に面白いところです。資料にある英国運輸省(DfT)の事例はかなり目を引きました。「コンサルテーション・アナリシス・ツール」というシステムで、大量のパブリックコメントの分析にAIを導入して、時間とコストを50%から70%も削減した、と。数字だけ聞くと夢のような話で、つい「うちの部署でも明日から全部AIにやらせよう」と言いたくなります。でも、本当にそんなにうまくいくのでしょうか。導入時に隠れた苦労や、特別な仕掛けがあったはずです。

シン　鋭い指摘です。彼らは決して、AIに全部丸投げしたわけではありません。成功の最大の要因は、AIに自由記述のテーマ分けをさせた後、そこに「人間の審査」を明示的なプロセスとしてがっちり組み込んだ点にあります。AIが出力した分類結果を、専門の担当者が必ずレビューして修正する。この確認プロセスを設計に含めた上でライブ運用を行い、結果的にテーマ分類の精度90%という高い水準を保ちながら、コストを半減させることに成功したのです。

ヴェレ　AIが自動でやってくれるから人がいらなくなるのではなく、人間が最終確認するための「極上のたたき台」をAIが超高速で作ってくれるから、コストが下がるのですね。

デジタル庁「Gennai」——課長級の半数が利用ゼロという壁

シン　その通りです。一方で、日本のデジタル庁が開発した行政実務用の生成AIアプリ「Gennai(ゲンナイ)」の事例も、非常に考えさせられる結果が出ています。Gennaiは政府統一基準のセキュアな環境で構築され、わずか3か月で約1,200人の職員のうち約950人が利用し、延べ6.5万回も使われました。システムとしての立ち上げは、大成功と言えます。

ヴェレ　すごい利用率ですね。

シン　ただ、組織実装という観点では、リアルな壁が浮き彫りになりました。若手や民間出身者はバリバリ使いこなしているのに、課長級の半数は利用実績がゼロだったのです。

ヴェレ　これは、聞いている皆さんの職場でも「あるある」とうなずいてしまう現象ではないでしょうか。ツールとして優秀でも、組織全体に定着するかはまったく別の次元の問題だと。なぜマネジメント層はAIを使わなかったのでしょう。単なるITリテラシーの問題ですか。

シン　いえ、リテラシーの問題だけではありません。課長級というのは、まさに組織において判断を下し、責任を負うポジションです。先ほどの学術データが示した通り、AIはもっともらしい嘘をつくことがある——ハルシネーションですね。責任を負う立場からすれば、裏付けのない情報を出力するかもしれないツールに業務を依存することへの本能的な恐怖、あるいは「どの業務ならAIに任せても安全か」という明確なユースケースが見えていなかったことが、大きな要因だと考えられます。

ヴェレ　非常に納得がいきます。自分がハンコを押す書類のベースが、AIのでっち上げかもしれないと考えたら、恐ろしくて使えませんよ。だからこそ、EUやアメリカのGSA(連邦一般調達庁)は、市販の商用ツールをそのまま使わせるのではなく、内部情報を安全に処理できる閉域環境の構築に多額の投資をしているわけですね。

シン　ええ。安全な箱の中でのみ、マネジメント層も安心して用途を限定できますから。成功している組織に共通しているのは、AIを万能な意思決定のパートナーとしてではなく、情報の探索や要約を行う「限定用途の業務部品」として扱っている点なのです。

実務プロトコル——任せてよいこと、絶対に任せてはいけないこと

ヴェレ　ここまでの話で、なぜ国がアプローチを「技術の規制」から「プロセスの管理」へシフトさせたのか、なぜ現場で人間による確認のループが必須なのかが、綺麗につながりました。では、この知見を、日々情報を扱って仕事をしている私たちの日常にどう落とし込むか。実践編に入りましょう。資料の中に、最強の「実務プロトコル」とも呼べるワークフローの提案がありましたよね。

シン　はい。最も重要な大前提は、「任せて良いこと」と「絶対に任せてはいけないこと」の明確な切り分けです。

ヴェレ　任せて良いのは、膨大な資料からの情報探索、長文の要約、比較表の作成、専門用語の平易な言い換えなど、いわゆる「作業」の部分ですよね。

シン　ええ。一方で、絶対に任せてはいけないのが、未検証の事実認定、法的な価値判断、誰かの権利に関わる個別判断、そして何より「説明責任」です。これを踏まえた上で、資料では6段階のワークフローを推奨しています。

6段階ワークフローと「事実と解釈の分離」

シン　もちろんです。まず第1ステップは「問いの分解」。漠然と「Aについてまとめて」と投げるのではなく、事実確認をしたいのか、比較案を出したいのか、用途を明確に分けます。第2ステップは「使用データの限定」。AIがネット上の不確かな情報を拾わないように、公式データや特定のPDFだけに縛りをかけます。

ヴェレ　第3が「AIにやらせる工程の限定」、そして第4が「出典の義務化」ですね。出力の最後に必ず参照元のページ数やリンクを付けさせることで、ハルシネーションによるでっち上げを防ぐ仕組みです。

シン　ええ。そして最も重要と言えるのが、第5ステップの「人間によるレビュー」です。ここでプロンプトのテクニックとして非常に有効なのが、AIに「事実」と「解釈」を完全に分離して出力させることなのです。

ヴェレ　事実と解釈の分離。なぜそれが重要なのですか。

シン　先ほど申し上げたように、LLMは確率で言葉をつなぎ合わせていく仕組みです。もしプロンプトで「事実を要約して、それに対するあなたの見解を教えて」と一緒に指示してしまうと、AIの中で「情報源にある事実」と「AIが生成したもっともらしい解釈」の確率計算が混ざり合ってしまい、結果として事実が歪曲されたり、存在しないデータが作り出されたりするリスクが跳ね上がるのです。

ヴェレ　そういうメカニズムだったんですね。だからこそ、プロンプトで「資料にある客観的な事実」「AIによる推論」「一次資料で追加確認すべき未確認事項」というように、はっきりと出力の枠を分けて書かせる必要があると。

シン　その通りです。AIの思考回路の中で、計算の箱を物理的に分けてあげるイメージです。推論には、明確に「これは推論です」とラベルを貼らせる。そして最後の第6ステップとして、このAIを誰が使い、どういうプロンプトで出力させ、誰が承認したのかという「使用履歴の記録」を残す。これが一連のワークフローです。

まとめ——AIの品質管理は、自分のプロセス管理

ヴェレ　聞いていてすごく腑に落ちたのですが、結局のところAIのリスク管理とは、AIという外部ツールの品質管理をしているつもりが、実は自分自身の作業プロセスそのものの管理をしているのですね。

シン　本質を突いていますね。多くの人が陥る罠は、「時間を短縮すること」だけをKPI——目的にしてしまうことです。「AIを使えば一瞬で終わる」と速度ばかりを追い求めると、確認プロセスがおろそかになって、先ほどの学術データのような「96%の見落とし」という致命的なコストを、後から払わされることになります。スピードを手に入れる代わりに、自分の業務プロセスの中に、あえて「確認の摩擦」を意識的に組み込まなければならないのです。

ヴェレ　今回の議論を総括すると——AIは、情報を読み、並べ、言い換える能力においては、すでに超一流の「書記官」です。人間と適切に協働すれば、とてつもない成果を上げる。しかし、最終的に何を重視して、誰にどう影響を与えるかを決める判断の境界線——つまり「裁判官」の役割を、AIに明け渡しては絶対にいけない、ということですね。

シン　はい。AIを正しく使うということは、単に情報の速さを手に入れることではなく、人間としての正確さと責任を、組織や個人のワークフローの中に「制度」として設計し直すことにかかっている、ということです。明日仕事でAIを使うときには、ぜひ「お前は極上のたたき台を作る有能な書記官だ。でも、最後に責任を持って決断するのは私だ」と心に留めておいてください。

最後の問い——摩擦がゼロになったとき、最後に残るボトルネック

シン　さて、最後にもう一つ、今回の資料には直接書かれていなかった、少し刺激的な問いを投げかけてみたいと思います。もしこの先テクノロジーがさらに進化して、AIのおかげで、膨大な情報を収集し、整理し、比較検討する摩擦——フリクションが完全にゼロになる世界が来たとしたら。すべてが可視化されて、極上のたたき台が1秒で目の前に提示される世界です。そのとき、私たちの意思決定や社会の進歩を最後に妨げるボトルネックとして残るのは、もう情報不足でも、分析能力の欠如でもありません。それは、リスクをとって決断を下す人間の「勇気」や、その決断の根底にある「倫理観」だけになるのではないでしょうか。AIが完璧な書記官になったとき、私たちは果たして、立派な裁判官になれるのでしょうか。

ヴェレ　本当に考えさせられますね。

シン　皆さんも、ぜひ考えてみてください。それでは、次回の深掘りでまたお会いしましょう。

関連エピソード

• AI編#03|AIに政策メモを書かせると何が危ないのか

• 理論編#05|エビデンスとは何か

• 事例編#05|シンガポールCSFとは何か