佛罗里达州博尼塔斯普林斯居民Carli Michelle Heller因将Anthropic的Claude AI聊天机器人当作个人日记使用，并在其中写道她计划``冲击''当地治安官办公室，而面临重罪指控。据TechSpot报道，她在9月26日输入了该声明，随后告诉调查员她把Claude当作记录想法的日记。
此图像与TechSpot报告相关，该报告详细描述了Heller在Claude AI中的日记条目如何在Anthropic向警方报告该威胁后导致重罪指控。
聊天机器人的自动安全系统标记了该条目，促使人工审核员评估其内容。在确定该消息构成暴力的可信威胁后，审核员根据Anthropic的政策在紧急情况下披露用户信息以防止死亡或严重身体伤害时被认为必要，将其报告给了执法机构。随后，副警长们识别出Heller，前往其住所将其拘留未发生任何事件，然后将案件移交给LCSO情报侦探进行进一步调查。
Heller根据佛罗里达州法规836.10被指控，该法规将发布、张贴或传输含有杀人或伤害他人威胁、进行大规模枪击或实施恐怖主义行为的书面或电子记录定为二级重罪，前提是该通信方式使他人能够查得到。该案件凸显了用户在向AI聊天机器人倾诉时对隐私的期望与将AI介导的威胁视为可采取行动的法律条文之间的张力，尤其是在AI公司面临日益增加的审查以及诉讼时，其模型被指控导致实际危害。