El nuevo clasificador de imágenes de OpenAI está diseñado para identificar signos visuales de material de abuso sexual infantil (CSAM) con una señal específica para contenido generado por IA, un hito para una herramienta de este tipo ampliamente disponible. Al proporcionar puntuaciones para ayudar a los revisores humanos a priorizar las imágenes de alto riesgo, la herramienta pretende agilizar la detección de material abusivo novedoso y previamente no visto.
Mejora en la detección y eficiencia de la revisión
El nuevo clasificador de imágenes se desarrolló con la asistencia del National Center for Missing and Exploited Children (NCMEC) para detectar CSAM en varios formatos. Está diseñado específicamente para identificar signos visuales de abuso tanto en imágenes tradicionales como generadas por IA, devolviendo puntuaciones que permiten a los equipos de seguridad priorizar sus colas de revisión.
Gráfico elaborado por HN Digest a partir de cifras reportadas por openai.com; los valores se muestran tal como aparecen en la fuente.
Las evaluaciones iniciales indican mejoras significativas en la eficiencia. En pruebas que compararon la nueva herramienta con las protecciones existentes, el nuevo clasificador marcó un 48% menos de imágenes mientras mantenía una tasa de detección similar para contenido abusivo. Además, las imágenes marcadas por este nuevo sistema tenían aproximadamente el doble de probabilidades de contener abuso real.
“El nuevo clasificador podría reducir el trabajo de revisión: estimamos que marcaría un 48% menos de imágenes mientras encontraba aproximadamente el mismo número de imágenes abusivas que la herramienta existente.”
— Strengthening the fight against online child sexual abuse with new tools and support
Disuasivos de producto y recursos para desarrolladores
OpenAI está integrando nuevas intervenciones a nivel de producto directamente en ChatGPT. Cuando un usuario intenta buscar o generar material abusivo, el sistema ahora activará una advertencia que explica el daño causado por sexualizar a los niños, eliminará la conversación marcada y pausará el acceso del usuario al servicio durante 24 horas.

Esta imagen ilustra la intervención específica a nivel de producto y el sistema de advertencia que OpenAI está integrando en ChatGPT para disuadir la generación de material abusivo.
Para apoyar el ecosistema más amplio, OpenAI ofrece el clasificador a organizaciones verificadas sin costo a través de su API. La empresa también publicó un documento de orientación sobre CSAM para ayudar a los desarrolladores a construir sistemas de seguridad, cubriendo temas como procesos de denuncia, herramientas de detección y apoyo para revisores humanos.
Colaboración con las fuerzas del orden y la industria
La empresa está ampliando su apoyo a las fuerzas del orden dedicadas a la seguridad infantil proporcionando complementos dedicados y herramientas de investigación. Estas herramientas están diseñadas para ayudar a los investigadores a analizar registros de chat extensos y devoluciones de procesos legales para identificar conexiones y crear líneas de tiempo vinculadas al material de origen.
OpenAI también participa en iniciativas multiplataforma como el programa Lantern de Tech Coalition para compartir y recibir señales sobre la explotación en línea. Estos esfuerzos son parte de un compromiso más amplio para coordinar con organizaciones como Thorn y la Internet Watch Foundation para fortalecer las defensas en toda la industria.
Qué dicen los lectores de Hacker News
- Experiencia: Un comentarista que informó sobre un reciente baneo de cuenta afirmó que las acciones de OpenAI son performativas, alegando que su sistema automatizado fue marcado a pesar de haber sido utilizado para tareas de clasificación legítimas. comentario ↗
- Experiencia: Un comentarista con experiencia en el campo sugirió que las empresas pueden priorizar los clasificadores automatizados sobre enfoques matizados para evitar riesgos regulatorios y proteger a los trabajadores humanos de ver contenido perturbador. comentario ↗
- Experiencia: Un usuario destacó los beneficios prácticos para las fuerzas del orden, señalando que los modelos de difusión han aumentado significativamente el volumen de contenido, lo que dificulta la realización de investigaciones forenses en casos reales. comentario ↗
- Escéptico: Varios comentaristas expresaron escepticismo sobre los motivos detrás de estas medidas, sugiriendo que pueden servir como un pretexto para aumentar la vigilancia y la recopilación de datos. comentario ↗
Resumen de opiniones del hilo de Hacker News; no son hechos verificados. Leer el debate completo ↗