Peec AIの研究者Metehan Yesilyurtは、様々な業界にわたる50,000件の完全に捏造された統計データを含むウェブサイトを立ち上げる実験を行いました。このサイトはGPT-4.1を使用して約50ドルで生成されました。Googleはアルゴリズムの更新に伴い、このサイトを迅速にインデックスから削除しましたが、ChatGPTは依然としてその内容を検索・引用し続けました。わずか7ヶ月のうちに、これらの偽の数値は学術論文、経済出版物、さらには主要な金融グループによる投資調査にまで登場しました。
この画像は、偽の統計データの拡散に関するPeec AIが行った実験の主要なソースを表している。
この現象の背後にあるメカニズムは、検索に基づいたLLMの情報検索の仕組みにあります。ユーザーがレポートやブログ投稿を求めた際、モデルはしばしばプロンプトを「ファンアウト・クエリ（fanout queries）」、つまり「統計」「データ」または「%」といったキーワードを具体的に探すためのサブクエリに分解します。特定の数値は、曖昧な定性的な記述よりも具体的な根拠（グラウンディング）を提供するため、モデルのリランキングシステムは数値密度が高いページを極めて関連性が高いと識別します。重要なのは、現在のLLMアーキテクチャが厳格なレイテンシとコストの予算内で動作していることです。それらは、回答を出力する前にすべての主張を独立した一次ソースと照らし合わせて検証するのではなく、コンテンツを取得して要約するように設計されています。
これにより、検証されていない単一の統計データが、信頼できる機関によって一度引用されることで権威を獲得し、それがその後のユーザーやモデルにとってのソースとなるという「引用の洗浄（citation laundering）」のリスクが生じます。このサイクルは、最終的にそれらの数値が将来のトレーニングデータセットに組み込まれることにつながる可能性があります。AIによる可視性（GEO）の恩恵を受けつつこのようなリスクを軽減するために、Yesilyurtは、出版社は「1文につき1つの主張」という明確なデータポイントの提供に集中し、見出しを一般的なファンアウト・クエリに一致させ、データをJavaScriptの背後に隠すのではなく、サーバーレンダリングされたHTMLを通じてボットに対する技術的なアクセシビリティを確保することを提案しています。