AI編#03|AIに政策メモを書かせると何が危ないのか——偽脚注、薄い因果、責任の霧
この回の要点
整った見出し、論理的に見える箇条書き、もっともらしい脚注——それだけで、私たちは内容まで正しいように感じてしまいます。AI編第3回は、生成AIに政策メモを書かせるときに潜む、誤字脱字よりはるかに根深いリスクを解き明かします。
AIの最大の危険は、文章を整えることではなく、もっともらしい「論証の骨格」まで先回りして推測で埋めてしまうこと(コンファビュレーション)です。AIには「わからない」と保留するより「当てにいく推測」を選ぶ性質があり、その帰結が偽の脚注。検証データでは、ChatGPTが作成した参考文献のうちGPT-3.5で55%、GPT-4でも18%がまったくの架空でした。しかも実在する文献の引用でも、主張と真逆の結論が書かれているケースが相当数残ります。AIを使うと作業時間は半減する一方、人は原典を確認しなくなる——「過度依存」の研究も紹介します。
さらに深刻なのは、相関関係を因果関係にすり替える「論理の飛躍」が流暢な文章に隠蔽されること、そしてAIの快適な枠組みが人間の思考を狭める「論点欠落」。ニューヨーク市MyCityチャットボットの失敗、豪州Robodebt、オランダの自動手当スキャンダルといった現実の事例から、誰の判断だったのか分からなくなる「責任の霧」の構図を描きます。
それでも、結論は「禁止」ではありません。最も危険なのは「AIが書き、人が軽く直して終わり」という運用。各国が向かうのはガードレールの構築——「使って良いが、証拠・監督・責任者・記録なしで使ってはならない」です。実践編では、主張と証拠を分けて管理する「クレーム・エビデンス・アーキテクチャ」と、結論を先に書かせない「証拠拘束型プロンプト」を紹介。AI対AIの文章合戦の時代に、人間の責任は機能するのかという問いで締めくくります。
文字起こし
出演:EBPM新聞記者・主幹、EBPM新聞記者・編集委員
美しくフォーマットされた文章を、なぜ信じてしまうのか
編集委員 美しくフォーマットされた文章って、無意識に信用してしまいませんか。
主幹 わかります。余白が完璧で、箇条書きが論理的に整理されていて。
編集委員 そうなんです。そして、もっともらしい脚注がずらりと並んでいる。それだけで「これはちゃんとした公式な文章だ」と、私たちは視覚的に安心してしまうんですよね。
主幹 本当にそうですね。私たちは無意識のうちに、「形式の整え方」と「内容の正確さ」を混同してしまっているんです。
編集委員 きれいなパッケージに入っていれば、中身も当然正しいはずだと思い込んでしまう。でも、もしその完璧な見た目の文章が、実は精巧に作られた蜃気楼だとしたらどうでしょう。今、私の目の前には「AI編#03 AIに政策メモを書かせると何が危ないのか」というレポート資料の束があります。仕事でAIを使って文章を書いたり、リサーチをまとめたりすることがある方は、ぜひ聞いてください。今回のディープダイブのミッションは、AIを公的機関や企業の文章作成に使う際、単なる誤字脱字や計算ミスではない、もっと根深く恐ろしいリスクが存在しているのはなぜかを解明することです。
主幹 この問題は、単なるテクノロジーの精度の話ではありません。社会や組織の意思決定と責任の所在を根本から揺るがす、とても根源的なテーマなんです。
最大の危険——「論証の骨格」を推測で埋めるAI
編集委員 AIのミスというと、普通は「変な日本語になっている」とか、少し前によくあった「とんちんかんな歴史の事実を語り出す」といったものを想像しますよね。
主幹 初期の頃は、そういう笑えるミスが多かったですね。でも資料を読んでいくと、もっと構造的で厄介なメカニズムが働いていることがわかります。レポートのエグゼクティブサマリーが指摘しているのですが、AIの最大の危険は、文章を整えることではなく、もっともらしい「論証の骨格」まで先回りして、推測で埋めてしまうことなんです。
編集委員 推測で埋める、ですか。
主幹 はい、コンファビュレーション——つまり「虚話」ですね。ここで非常に興味深いのは、なぜAIがそれをしてしまうのかという構造的な理由です。ネイチャーの2026年の研究が引き合いに出されています。AIには、「わからない」と保留するより「当てにいく推測」を選ぶという性質があります。これは、次の単語を予測する仕組みと、精度偏重の評価が関係しているんです。
編集委員 それはつまり、AIは「自信満々に嘘をつく、知ったかぶりのパーティー参加者」のようなものですね。
主幹 まさにその通りです。AIの開発プロセスでは、「わかりません」と答えるより、もっともらしく答えたほうが「有益だ」と評価されやすい。だから、知ったかぶりをしてしまうのです。
偽の脚注——GPT-3.5で55%、GPT-4でも18%が架空
編集委員 でも、ちょっと待ってください。「AIが嘘をつくかもしれない」ことは、みんなもうなんとなくわかっていますよね。だったら、AIが嘘をついても、人間が後で脚注や出典をチェックすればいいだけではないですか。
主幹 それが、人間が最も陥りやすい罠なんですよ。「脚注があるから安全だろう」という過信です。サイエンティフィック・レポートの2023年の検証データがあるのですが、かなり衝撃的ですよ。ChatGPTが作成した参考文献を調べたところ、GPT-3.5で55%、より高度なGPT-4でも18%の文献が、まったくの架空だったんです。
編集委員 55%ですか。半分以上が「存在しない論文」をでっち上げているということですか。
主幹 そうなんです。しかも、問題は架空の論文だけではありません。実在する文献を引用していた場合でも、実質的な引用エラーが相当数残っていることが明らかになっています。
編集委員 実質的なエラーというと、具体的には。
主幹 AIが主張している内容とはまったく違う、ひどいときには真逆の結論が書かれていたりするんです。
編集委員 それは悪質ですね。脚注のリンクがあって本物のサイトに飛べたら、まさか中身が逆だとは疑わずに、「しっかり裏付けが取れている」と信じ込んでしまいます。
主幹 ええ。CHI 2025の研究でも、この人間の「過度依存」が示されています。AIを使うと作業時間は半減するのですが、モデルが誤った情報を出した場合、人はわざわざ原典を確認しなくなってしまうんです。
編集委員 確かに、速くてきれいな文章が出てくると、チェックをサボりたくなりますよね。
相関を因果にすり替える——流暢さが隠す論理の飛躍
編集委員 でも、この偽の出典は、さらに深い危険を引き起こすんですよね。
主幹 ええ。ここからが第二のポイントです。単なる嘘から、より高度な「論理の飛躍」へとつながっていきます。政策メモにおける最大の危険は、相関関係を因果関係にすり替えることなんです。「Aが起きた、だからBをやるべきだ」という因果の飛躍が、流暢な文章によって見事に隠蔽されてしまう。
編集委員 文章がスムーズだから、論理も正しいと錯覚してしまうんですね。
主幹 その通りです。コーザルベンチ2024のデータでも、最先端のモデルでさえ、テキストの因果推論は非常に脆いことが指摘されています。
快適さが思考を狭める——「論点欠落」のメカニズム
編集委員 ここからが本当に面白いところですが、少し考えてみてください。もしAIが完璧な論点の「型」——テンプレートを数秒で出してきたら、あなたはその型から外れた「例外的な意見」を探そうとしますか。
主幹 おそらく、ほとんどの人は探さないでしょうね。
編集委員 ですよね。「もうこれで十分網羅されているじゃないか」と思ってしまいます。
主幹 ええ。ネイチャー・ヒューマン・ビヘイビア2024のメタ分析でも、AIの「快適さ」が人間の思考を狭めてしまうことが示されています。意思決定タスクにおいて、AIがもっともらしい枠組みを与えてしまうと、人間はそれ以外の可能性を考えなくなり、結果的にパフォーマンスを落とす——「論点欠落のメカニズム」が働くんです。
編集委員 快適すぎて、クリティカルシンキングが停止してしまうんですね。
現実の失敗——MyCity・Robodebt・オランダの教訓
編集委員 では、これが現実世界で起きるとどうなるのか。具体的な事例を見ていきましょう。ニューヨーク市の「MyCityチャットボット」の失敗がレポートにありますね。政府サービスに関する質問に対して、70件中50件が否定的なフィードバックだったとか。
主幹 70件中50件ですから、ほとんど機能していないと言っていいレベルです。
編集委員 これ、公的な場に置かれたAIは、それだけで「公文書的な権威」を帯びてしまうのが怖いですよね。市民は、ニューヨーク市の公式見解だと思って受け取ってしまうわけですから。
主幹 これをさらに大きな視点と結びつけると、もっと恐ろしい構図が見えてきます。オーストラリアの「Robodebt(ロボデット)」事例や、オランダの「自動手当スキャンダル」や「SyRI判決」ですね。
編集委員 ありましたね。システムが自動で不正を判定して、多くの人に間違った借金の取り立てをしてしまった事件。
主幹 ええ。これらは生成AIそのものの事例ではありませんが、行政がアルゴリズムの合理性に依存した結果生じた、典型的な悲劇です。
編集委員 これは、グループワークで「誰か頭のいい人が計算のチェックをしているだろう」と全員が思い込み、結局誰も確認していなかったという状況の、「国家規模」の惨事ですよね。
「責任の霧」——誰の判断か、分からなくなる
主幹 まさにその通りです。レポートでは、これを「責任の霧」と呼んでいます。AIが書いたのではなく、AIが自動で「正当化」したことで、後から誰の判断だったのかが分からなくなるんです。
編集委員 責任の霧、ですか。現場の担当者は「AIが書いたから正しい」と思い、上司は「担当者が出したから正しい」と思って承認する。結局、誰も中身の責任を取らないわけですね。
主幹 ええ。この「自動正当化」のプロセスが、意思決定のコアな部分を、ブラックボックスの中に隠してしまうのです。
答えは「禁止」ではない——各国のガードレール
編集委員 これだけ危険で、しかも責任の所在まで曖昧になるなら、政策メモや重要な意思決定でAIを使うのは、もう「完全禁止」にすべきではないですか。
主幹 その疑問はもっともです。しかし、このレポートの結論は「禁止ではない」んです。実は最も危険なのは、「AIがたたき台を書き、人がそれを軽く直して終わり」という運用なんです。
編集委員 一番やりがちなパターンですね。8割AIに書かせて、人間が「てにをは」を直して提出する、みたいな。
主幹 ええ、それが一番危ないのです。だから各国は、禁止ではなく「防衛線」——つまりガードレールを構築する方向に向かっています。日本のデジタル庁は「検証可能性」を求めていますし、米国のOMB(行政管理予算局)は、AI利用の「インベントリ」——台帳を作ることを求めています。
編集委員 台帳を作るということは、どこでどう使ったかを記録に残すということですね。
主幹 ええ。さらに英国の「AIプレイブック」は「人間が最終責任を負う」という原則を掲げていますし、オーストラリアも「生成AIに政府助言の最終判断をさせない」としています。
編集委員 EUのAI法(AI Act)でも、透明性が義務付けられていますよね。
主幹 はい。哲学は違えど、実務上の要求は見事に1点に収斂しているんです。「使って良い。ただし、証拠、監督、責任者、そして記録なしで使ってはならない」ということです。
実践——クレーム・エビデンス・アーキテクチャと証拠拘束型プロンプト
編集委員 つまりこれは、全体として何を意味しているのか。明日、職場でリサーチやメモ作成をするとき、どう自分を守ればいいのでしょうか。
主幹 ここからが実践的なアドバイスになります。レポートのガバナンス提言に基づけば、「クレーム・エビデンス・アーキテクチャ」という考え方を取り入れるべきです。簡単に言うと、AIにいきなり完成品を書かせるのではなく、「主張」と「証拠」を分けて管理するという、建築の骨組みのような考え方です。
編集委員 なるほど。そして、プロンプト設計にも実務ルールがあるんですよね。
主幹 ええ。AIに「うまく書かせる」のではなく、「危険を露出させる」ためのプロンプトが重要です。これを「証拠拘束型プロンプト」と呼びます。まず、「結論を先に書くな」と指示します。次に、「確認済みの事実と仮説を分けろ」。さらに、「出典が不明確なら『未確認』と明記しろ」と指示するんです。
編集委員 先回りして、それらしい文章を作らせないための縛りですね。
主幹 その通りです。そして一番大事なのが、「代替仮説を一つ書け」と指示することです。
編集委員 代替仮説——別の視点や、反対の可能性を無理やり出させるわけですね。
主幹 はい。ここで一つの重要な問いが浮かび上がります。なぜ各国の政府やNISTが、因果推論や検証可能性を求めているのか。それは、「厚い因果」——前提を疑い、別の可能性を検証するという行為こそが、人間の意思決定の核心だからです。
編集委員 AIは流暢な文章を作るのは得意だけれど、その「厚い因果」を自動で提供してはくれない。だから、人間がプロンプトで強制的に引き出さないといけないんですね。
まとめ——脚注は「要検証候補」である
編集委員 本日のディープダイブ、本当に考えさせられました。AIは文章生成においては極めて優秀ですが、意思決定の質を保証してくれるわけではない。そして、あの美しく並んだ脚注は、決して根拠として鵜呑みにするものではなく、私たちが検証すべき「要検証候補」として扱うべきだということですね。ぜひ、この点を記憶に刻み込んでください。
最後の問い——AI対AIの「文章合戦」と、人間の責任
主幹 ええ。そして最後に、このレポートには直接書かれていない、次の一歩の思考を投げかけたいと思います。もし近い将来、行政や企業側がAIを使って、流暢な政策メモや正当化理由を大量生産するようになったとします。そうなると、市民側や消費者側もまたAIを使って、それらしい反対意見や異議申し立てを自動生成して送りつけるようになるかもしれません。
編集委員 AI対AIの「文章合戦」ですか。
主幹 ええ。AIの官僚主義と、AIの市民運動がぶつかり合ったとき、何百万という「もっともらしい文章」が飛び交うことになります。そのとき、最終的に残された人間の意思決定の責任は、果たして機能するのでしょうか。
編集委員 それは、深い「責任の霧」の中に完全に埋もれてしまいそうで怖いです。
主幹 そうならないためにも、私たちがツールの使い方と責任の意味を、今この段階で問い直す必要があるんです。
編集委員 確かに。次にAIツールを使って完璧な文章を作ったときは、ぜひ今日の問いと教訓を思い出してみてください。その美しい文章は、本当にあなたの責任ある意思決定を反映していますか。
主幹 ええ、ぜひ立ち止まって考えてみていただきたいですね。
編集委員 それでは、今回のディープダイブはここまでです。次回もまた、知的好奇心を刺激するテーマでお会いしましょう。
関連エピソード
Spotifyで聴く
Apple Podcastsで聴く
関連記事
この活動を、一緒に続けませんか
EBPM新聞のPodcast・記事・文字起こしは、すべて無料で公開しています。広告も、有料会員制度もありません。「証拠に基づいて考える文化」を広めるこの活動は、EBPM・統計・メタ分析をモチーフにした公式グッズの収益で支えられています。
1枚のTシャツやステッカーが、次のエピソードの制作費になり、あなたの持ち物がEBPMの会話を始めるきっかけになります。
公式グッズで応援する