OpenAI 的新图像分类器旨在识别儿童性虐待材料 (CSAM) 的视觉特征,并专门针对 AI 生成的内容设有特定信号,这是此类广泛可用工具的首创。通过提供评分来帮助人工审核员优先处理高风险图像,该工具旨在简化对新型及此前未见的虐待材料的检测。

提高检测和审核效率

新的图像分类器是在国家失踪和被剥削儿童中心 (NCMEC) 的协助下开发的,旨在检测各种格式的 CSAM。它专门设计用于识别传统和 AI 生成图像中的虐待视觉特征,并返回评分,以便安全团队优先安排其审核队列。

分类性能指标: 审查工作减少 48%; 新型 CSAM 检测 (fal) 72%; 绘图/动画检测 (SafetyKit) 90%
分类性能指标openai.com

由 HN Digest 根据 openai.com 报告的数据绘制;数值按原文显示。

早期评估显示效率显著提高。在将新工具与现有保护措施进行对比测试时,新分类器标记的图像减少了 48%,同时保持了与现有工具相似的虐待内容检测率。此外,由该新系统标记的图像包含实际虐待内容的可能性大约是原来的两倍。

“新分类器可以减少审核工作:我们估计它标记的图像将减少 48%,同时找到的虐待图像数量与现有工具大致相同。”

— Strengthening the fight against online child sexual abuse with new tools and support

产品威慑措施和开发者资源

OpenAI 正在将新的产品级干预措施直接整合到 ChatGPT 中。当用户试图查找或生成虐待材料时,系统现在将触发警告,解释将儿童性化所造成的危害,移除被标记的对话,并暂停用户访问该服务 24 小时。

一张关于将儿童性化危害的 ChatGPT 警告信息的截图。
ChatGPT 现在将发出警告,解释将儿童性化所造成的危害,暂停账户访问 24 小时,并提供支持链接。openai.com

这张图片展示了 OpenAI 正在整合到 ChatGPT 中的特定产品级干预和警告系统,旨在威慑生成虐待材料。

为了支持更广泛的生态系统,OpenAI 正通过其 API 向经过审核的组织免费提供该分类器。公司还发布了一份 CSAM 指南文件,以帮助开发者构建安全系统,涵盖报告流程、检测工具以及对人工审核员的支持等主题。

执法和行业协作

该公司正在扩大对儿童安全执法方面的支持,提供专门的插件和调查工具。这些工具旨在帮助调查人员分析冗长的聊天记录和法律程序返回结果,以识别关联并创建与源材料相关的时间线。

OpenAI 还在参与跨平台倡议,例如 Tech Coalition 的 Lantern 项目,以共享和接收有关在线剥削的信号。这些努力是与 Thorn 和 Internet Watch Foundation 等组织协调以加强全行业防御的更广泛承诺的一部分。

Hacker News 读者的反应

  • 亲身经验: 一位报告近期账户被封的评论者称 OpenAI 的行动是做表面文章,指称他们的自动化系统尽管被用于合法的分类任务,仍被标记。 评论 ↗
  • 亲身经验: 一位在该领域有经验的评论者建议,公司可能会优先选择自动化分类器而非细致的方法,以规避监管风险并保护人类工作人员免于看到令人不安的内容。 评论 ↗
  • 亲身经验: 一位用户强调了执法部门的实际收益,指出扩散模型显著增加了内容数量,使得对真实案件进行取证调查变得更加困难。 评论 ↗
  • 质疑: 几位评论者对这些措施背后的动机表示怀疑,暗示这些措施可能是增加监控和数据收集的借口。 评论 ↗

以上为 Hacker News 讨论中观点的摘要,并非经过核实的事实。 阅读完整讨论 ↗