AI編#03|AIに政策メモを書かせると何が危ないのか——偽脚注、薄い因果、責任の霧

出演:EBPM新聞記者・ヴェレ、EBPM新聞記者・シン

美しくフォーマットされた文章を、なぜ信じてしまうのか

シン　美しくフォーマットされた文章って、無意識に信用してしまいませんか。

ヴェレ　わかります。余白が完璧で、箇条書きが論理的に整理されていて。

シン　そうなんです。そして、もっともらしい脚注がずらりと並んでいる。それだけで「これはちゃんとした公式な文章だ」と、私たちは視覚的に安心してしまうんですよね。

ヴェレ　本当にそうですね。私たちは無意識のうちに、「形式の整え方」と「内容の正確さ」を混同してしまっているんです。

シン　きれいなパッケージに入っていれば、中身も当然正しいはずだと思い込んでしまう。でも、もしその完璧な見た目の文章が、実は精巧に作られた蜃気楼だとしたらどうでしょう。今、私の目の前には「AI編#03 AIに政策メモを書かせると何が危ないのか」というレポート資料の束があります。仕事でAIを使って文章を書いたり、リサーチをまとめたりすることがある方は、ぜひ聞いてください。今回のディープダイブのミッションは、AIを公的機関や企業の文章作成に使う際、単なる誤字脱字や計算ミスではない、もっと根深く恐ろしいリスクが存在しているのはなぜかを解明することです。

ヴェレ　この問題は、単なるテクノロジーの精度の話ではありません。社会や組織の意思決定と責任の所在を根本から揺るがす、とても根源的なテーマなんです。

最大の危険——「論証の骨格」を推測で埋めるAI

シン　AIのミスというと、普通は「変な日本語になっている」とか、少し前によくあった「とんちんかんな歴史の事実を語り出す」といったものを想像しますよね。

ヴェレ　初期の頃は、そういう笑えるミスが多かったですね。でも資料を読んでいくと、もっと構造的で厄介なメカニズムが働いていることがわかります。レポートのエグゼクティブサマリーが指摘しているのですが、AIの最大の危険は、文章を整えることではなく、もっともらしい「論証の骨格」まで先回りして、推測で埋めてしまうことなんです。

シン　推測で埋める、ですか。

ヴェレ　はい、コンファビュレーション——つまり「虚話」ですね。ここで非常に興味深いのは、なぜAIがそれをしてしまうのかという構造的な理由です。ネイチャーの2026年の研究が引き合いに出されています。AIには、「わからない」と保留するより「当てにいく推測」を選ぶという性質があります。これは、次の単語を予測する仕組みと、精度偏重の評価が関係しているんです。

シン　それはつまり、AIは「自信満々に嘘をつく、知ったかぶりのパーティー参加者」のようなものですね。

ヴェレ　まさにその通りです。AIの開発プロセスでは、「わかりません」と答えるより、もっともらしく答えたほうが「有益だ」と評価されやすい。だから、知ったかぶりをしてしまうのです。

偽の脚注——GPT-3.5で55%、GPT-4でも18%が架空

シン　でも、ちょっと待ってください。「AIが嘘をつくかもしれない」ことは、みんなもうなんとなくわかっていますよね。だったら、AIが嘘をついても、人間が後で脚注や出典をチェックすればいいだけではないですか。

ヴェレ　それが、人間が最も陥りやすい罠なんですよ。「脚注があるから安全だろう」という過信です。サイエンティフィック・レポートの2023年の検証データがあるのですが、かなり衝撃的ですよ。ChatGPTが作成した参考文献を調べたところ、GPT-3.5で55%、より高度なGPT-4でも18%の文献が、まったくの架空だったんです。

シン　55%ですか。半分以上が「存在しない論文」をでっち上げているということですか。

ヴェレ　そうなんです。しかも、問題は架空の論文だけではありません。実在する文献を引用していた場合でも、実質的な引用エラーが相当数残っていることが明らかになっています。

シン　実質的なエラーというと、具体的には。

ヴェレ　AIが主張している内容とはまったく違う、ひどいときには真逆の結論が書かれていたりするんです。

シン　それは悪質ですね。脚注のリンクがあって本物のサイトに飛べたら、まさか中身が逆だとは疑わずに、「しっかり裏付けが取れている」と信じ込んでしまいます。

ヴェレ　ええ。CHI 2025の研究でも、この人間の「過度依存」が示されています。AIを使うと作業時間は半減するのですが、モデルが誤った情報を出した場合、人はわざわざ原典を確認しなくなってしまうんです。

シン　確かに、速くてきれいな文章が出てくると、チェックをサボりたくなりますよね。

相関を因果にすり替える——流暢さが隠す論理の飛躍

シン　でも、この偽の出典は、さらに深い危険を引き起こすんですよね。

ヴェレ　ええ。ここからが第二のポイントです。単なる嘘から、より高度な「論理の飛躍」へとつながっていきます。政策メモにおける最大の危険は、相関関係を因果関係にすり替えることなんです。「Aが起きた、だからBをやるべきだ」という因果の飛躍が、流暢な文章によって見事に隠蔽されてしまう。

シン　文章がスムーズだから、論理も正しいと錯覚してしまうんですね。

ヴェレ　その通りです。コーザルベンチ2024のデータでも、最先端のモデルでさえ、テキストの因果推論は非常に脆いことが指摘されています。

快適さが思考を狭める——「論点欠落」のメカニズム

シン　ここからが本当に面白いところですが、少し考えてみてください。もしAIが完璧な論点の「型」——テンプレートを数秒で出してきたら、あなたはその型から外れた「例外的な意見」を探そうとしますか。

ヴェレ　おそらく、ほとんどの人は探さないでしょうね。

シン　ですよね。「もうこれで十分網羅されているじゃないか」と思ってしまいます。

ヴェレ　ええ。ネイチャー・ヒューマン・ビヘイビア2024のメタ分析でも、AIの「快適さ」が人間の思考を狭めてしまうことが示されています。意思決定タスクにおいて、AIがもっともらしい枠組みを与えてしまうと、人間はそれ以外の可能性を考えなくなり、結果的にパフォーマンスを落とす——「論点欠落のメカニズム」が働くんです。

シン　快適すぎて、クリティカルシンキングが停止してしまうんですね。

現実の失敗——MyCity・Robodebt・オランダの教訓

シン　では、これが現実世界で起きるとどうなるのか。具体的な事例を見ていきましょう。ニューヨーク市の「MyCityチャットボット」の失敗がレポートにありますね。政府サービスに関する質問に対して、70件中50件が否定的なフィードバックだったとか。

ヴェレ　70件中50件ですから、ほとんど機能していないと言っていいレベルです。

シン　これ、公的な場に置かれたAIは、それだけで「公文書的な権威」を帯びてしまうのが怖いですよね。市民は、ニューヨーク市の公式見解だと思って受け取ってしまうわけですから。

ヴェレ　これをさらに大きな視点と結びつけると、もっと恐ろしい構図が見えてきます。オーストラリアの「Robodebt(ロボデット)」事例や、オランダの「自動手当スキャンダル」や「SyRI判決」ですね。

シン　ありましたね。システムが自動で不正を判定して、多くの人に間違った借金の取り立てをしてしまった事件。

ヴェレ　ええ。これらは生成AIそのものの事例ではありませんが、行政がアルゴリズムの合理性に依存した結果生じた、典型的な悲劇です。

シン　これは、グループワークで「誰か頭のいい人が計算のチェックをしているだろう」と全員が思い込み、結局誰も確認していなかったという状況の、「国家規模」の惨事ですよね。

「責任の霧」——誰の判断か、分からなくなる

ヴェレ　まさにその通りです。レポートでは、これを「責任の霧」と呼んでいます。AIが書いたのではなく、AIが自動で「正当化」したことで、後から誰の判断だったのかが分からなくなるんです。

シン　責任の霧、ですか。現場の担当者は「AIが書いたから正しい」と思い、上司は「担当者が出したから正しい」と思って承認する。結局、誰も中身の責任を取らないわけですね。

ヴェレ　ええ。この「自動正当化」のプロセスが、意思決定のコアな部分を、ブラックボックスの中に隠してしまうのです。

答えは「禁止」ではない——各国のガードレール

シン　これだけ危険で、しかも責任の所在まで曖昧になるなら、政策メモや重要な意思決定でAIを使うのは、もう「完全禁止」にすべきではないですか。

ヴェレ　その疑問はもっともです。しかし、このレポートの結論は「禁止ではない」んです。実は最も危険なのは、「AIがたたき台を書き、人がそれを軽く直して終わり」という運用なんです。

シン　一番やりがちなパターンですね。8割AIに書かせて、人間が「てにをは」を直して提出する、みたいな。

ヴェレ　ええ、それが一番危ないのです。だから各国は、禁止ではなく「防衛線」——つまりガードレールを構築する方向に向かっています。日本のデジタル庁は「検証可能性」を求めていますし、米国のOMB(行政管理予算局)は、AI利用の「インベントリ」——台帳を作ることを求めています。

シン　台帳を作るということは、どこでどう使ったかを記録に残すということですね。

ヴェレ　ええ。さらに英国の「AIプレイブック」は「人間が最終責任を負う」という原則を掲げていますし、オーストラリアも「生成AIに政府助言の最終判断をさせない」としています。

シン　EUのAI法(AI Act)でも、透明性が義務付けられていますよね。

ヴェレ　はい。哲学は違えど、実務上の要求は見事に1点に収斂しているんです。「使って良い。ただし、証拠、監督、責任者、そして記録なしで使ってはならない」ということです。

実践——クレーム・エビデンス・アーキテクチャと証拠拘束型プロンプト

シン　つまりこれは、全体として何を意味しているのか。明日、職場でリサーチやメモ作成をするとき、どう自分を守ればいいのでしょうか。

ヴェレ　ここからが実践的なアドバイスになります。レポートのガバナンス提言に基づけば、「クレーム・エビデンス・アーキテクチャ」という考え方を取り入れるべきです。簡単に言うと、AIにいきなり完成品を書かせるのではなく、「主張」と「証拠」を分けて管理するという、建築の骨組みのような考え方です。

シン　なるほど。そして、プロンプト設計にも実務ルールがあるんですよね。

ヴェレ　ええ。AIに「うまく書かせる」のではなく、「危険を露出させる」ためのプロンプトが重要です。これを「証拠拘束型プロンプト」と呼びます。まず、「結論を先に書くな」と指示します。次に、「確認済みの事実と仮説を分けろ」。さらに、「出典が不明確なら『未確認』と明記しろ」と指示するんです。

シン　先回りして、それらしい文章を作らせないための縛りですね。

ヴェレ　その通りです。そして一番大事なのが、「代替仮説を一つ書け」と指示することです。

シン　代替仮説——別の視点や、反対の可能性を無理やり出させるわけですね。

ヴェレ　はい。ここで一つの重要な問いが浮かび上がります。なぜ各国の政府やNISTが、因果推論や検証可能性を求めているのか。それは、「厚い因果」——前提を疑い、別の可能性を検証するという行為こそが、人間の意思決定の核心だからです。

シン　AIは流暢な文章を作るのは得意だけれど、その「厚い因果」を自動で提供してはくれない。だから、人間がプロンプトで強制的に引き出さないといけないんですね。

まとめ——脚注は「要検証候補」である

シン　本日のディープダイブ、本当に考えさせられました。AIは文章生成においては極めて優秀ですが、意思決定の質を保証してくれるわけではない。そして、あの美しく並んだ脚注は、決して根拠として鵜呑みにするものではなく、私たちが検証すべき「要検証候補」として扱うべきだということですね。ぜひ、この点を記憶に刻み込んでください。

最後の問い——AI対AIの「文章合戦」と、人間の責任

ヴェレ　ええ。そして最後に、このレポートには直接書かれていない、次の一歩の思考を投げかけたいと思います。もし近い将来、行政や企業側がAIを使って、流暢な政策メモや正当化理由を大量生産するようになったとします。そうなると、市民側や消費者側もまたAIを使って、それらしい反対意見や異議申し立てを自動生成して送りつけるようになるかもしれません。

シン　AI対AIの「文章合戦」ですか。

ヴェレ　ええ。AIの官僚主義と、AIの市民運動がぶつかり合ったとき、何百万という「もっともらしい文章」が飛び交うことになります。そのとき、最終的に残された人間の意思決定の責任は、果たして機能するのでしょうか。

シン　それは、深い「責任の霧」の中に完全に埋もれてしまいそうで怖いです。

ヴェレ　そうならないためにも、私たちがツールの使い方と責任の意味を、今この段階で問い直す必要があるんです。

シン　確かに。次にAIツールを使って完璧な文章を作ったときは、ぜひ今日の問いと教訓を思い出してみてください。その美しい文章は、本当にあなたの責任ある意思決定を反映していますか。

ヴェレ　ええ、ぜひ立ち止まって考えてみていただきたいですね。

シン　それでは、今回のディープダイブはここまでです。次回もまた、知的好奇心を刺激するテーマでお会いしましょう。

関連エピソード

• AI編#01|生成AIは政策秘書になれるのか

• 事例編#02|2026年版オランダEBPM

• 実装編#02|EBPMと司法審査