フロリダ州ボニタ・スプリングス在住の Carli Michelle Heller 氏は、Anthropic の Claude AI チャットボットを個人の日記として使用し、地元の保安官事務所を「射撃する」と計画したことを書いたため、重罪で起訴されている。TechSpot の報道によると、Heller 氏は 9 月 26 日にその発言を入力し、後に捜査官に対し、 Claude を日記のように思いのたけを記録するためのツールだと説明した。
この画像は、Anthropic が警察に脅威を報告した後に Heller 氏の Claude AI 日記エントリが重罪につながったことを詳細に報じた TechSpot の記事に関連している。
チャットボットの自動安全システムがそのエントリをフラグ付け、人間のレビュアーが内容を評価するきっかけとなった。レビュアーはそのメッセージが暴力の信頼できる脅威を表していると判断し、死または重大な身体的損害を防ぐために開示が必要だと信じられる限られた緊急事態においてユーザー情報を共有することを許可する Anthropic のポリシーに従い、法執行機関に報告した。その後、保安官事務所の副官たちは Heller 氏を特定し、彼女の自宅を訪問して事件なく拘束し、さらに調査のため LCSO の情報部の刑事に事件を引き渡した。
Heller 氏はフロリダ州法第 836.10 条に基づいて起訴されており、この法律は、他人が閲覧可能な形で送信、投稿、または伝達される、誰かを殺害または負傷させる、大規模銃撃事件を引き起こす、またはテロ行為を行うという脅威を含む書面または電子記録については、2 度重罪とする。この事例は、AI チャットボットに打ち明ける際のユーザーのプライバシー期待と、AI を介した脅威を違法とする法律の適用範囲との間の緊張を浮き彫りにしている。特に、AI 企業が自社のモデルが現実世界の被害に寄与したとする監視や訴訟に直面している中で、その傾向は顕著である。