億万長者の投資家マーク・キューバンは、Meta（旧Facebook）がAI生成のディープフェイク広告をユーザーに届けていることを意図的に許可しているとして、公に批判しました。キューバンは、偽の糖尿病の治療薬を294ドルで購入させられたと主張する個人から多数のメールを受け取ったと報告しました。これらの広告は、彼が提供していない製品を販売するために、キューバンの顔と声をAIで生成したコピーを使用しているとされています。キューバンは、これらの広告の一部には、コンテンツが娯楽目的でAIによって生成されたものであるという免責事項が含まれていることさえ指摘しており、視聴者が免責事項に到達する前に詐欺が成立していると主張しました。彼は、このようなコンテンツに対するプラットフォームの寛容さを、組織にとって決定的な文化的課題であると特徴づけました。

この問題の規模は、Reutersが報じたMetaの内部文書によって浮き彫りになっています。これらの文書は、Metaが詐欺や禁止された製品を宣伝する広告から、2024年の収益の約10%に相当する約160億ドルが流入すると予想していたことを示しています。Metaの内部安全スタッフは、同社のアプリ全体で、詐欺の明らかな兆候がある「高リスク」な広告が1日あたり約150億回表示されたと推定しました。Metaの自動システムはこれらの広告を特定するように設計されていますが、文書は特定のモデレーションのしきい値を明らかにしています。プラットフォームが広告主を禁止する前に、自動システムはアカウントが詐欺を行っている可能性を少なくとも95%と判定する必要があります。疑わしい詐欺師がその95%のしきい値を下回った場合、広告主が高い広告手数料を支払うことを条件に、システムはそのアカウントの稼働を許可します。

このモデレーションポリシーは、脆弱な層に重大な影響を及ぼしています。FBIの2025年インターネット犯罪報告書によると、2025年に60歳以上のアメリカ人がインターネット犯罪で77億ドルを失っており、これは前年比で59%の増加です。これらの犯罪のうち、投資スキームが最も大きな被害をもたらし、テクノロジーおよびカスタマーサポートの詐欺が10億ドル以上の損失を占めました。特に、AIはこれらの苦情のうち3,100件以上に関与しており、被害者はAI関連の詐欺で3億5,200万ドル以上を失いました。この監視への対応として、Metaの広報担当者は、160億ドルという数字は「大まかで過度に包括的」であると述べ、同社が2025年に1億3,400万件以上の詐欺広告を削除したと指摘しました。しかし、証券取引委員会（SEC）は現在、金融詐欺に関連する広告に関してMetaを調査しています。

「意図的に」許可された詐欺と、技術的な制限によりフィルターを回避した広告によって生成された正確な収益額については、依然として大きな不確実性が残っています。160億ドルという数字は、Metaによって「過度に包括的」と説明される内部の推定値であるため、Metaのシステムが95%のしきい値ルールに基づいて意図的に稼働を許可した広告から得られた収益と、自動検出システムによって完全に見逃された広告から得られた収益の正確な割合を判断することは困難です。この区別は、積極的な詐欺防止と、高ボリュームの広告収益の維持との間のトレードオフを理解する上で中心的な要素となります。