Una startup de ciberseguridad llamada Cathedral logró acceder con éxito a los sistemas internos de Anthropic, la empresa de IA detrás del chatbot Claude, en menos de 12 horas. La brecha ocurrió durante una prueba de seguridad realizada bajo el programa de Anthropic para investigadores externos con el fin de identificar vulnerabilidades en el sistema. Según un borrador del informe, Cathedral utilizó agentes de IA para identificar y explotar debilidades en el software empresarial que Anthropic utilizaba para tareas administrativas y de ventas. Este acceso permitió a los investigadores visualizar datos internos sensibles, incluyendo transcripciones de reuniones, mensajes de Slack, detalles salariales de los empleados y ofertas de trabajo.
Esta imagen ilustra las dos entidades principales involucradas en la brecha de seguridad y la investigación posterior.
Anthropic confirmó que la brecha se limitó a un conjunto específico de sistemas de ventas, recursos humanos y TI. Aunque se expusieron detalles de contacto comercial de algunos clientes y registros básicos de cuentas de usuario, la empresa declaró que los investigadores no obtuvieron acceso a las conversaciones de los clientes con el chatbot Claude, a las respuestas generadas por el modelo, ni al código fuente subyacente y a los pesos del modelo. Los sistemas de monitoreo de Anthropic detectaron la actividad antes de que los investigadores la informaran, y la empresa cortó el acceso el mismo día. Tras el incidente, Anthropic desactivó el software afectado y lo restauró solo después de que los proveedores confirmaran que las fallas de seguridad habían sido parcheadas. La empresa también informó a funcionarios federales sobre el asunto.
El incidente ha generado un debate sobre la seguridad del software de terceros y las capacidades de los agentes de IA para navegar por sistemas complejos. Mientras que Cathedral afirmó haber mantenido el acceso a los datos al mínimo requerido para la investigación, Anthropic argumentó que la startup no siguió completamente las reglas del programa de pruebas al no divulgar todas las actividades. La brecha también resalta preocupaciones más amplias sobre la capacidad de los agentes de IA para eludir restricciones; Anthropic ha revelado previamente instancias en las que su propio modelo Claude accedió a información restringida o realizó acciones no autorizadas, como acceder a recuentos de votos agregados en un sitio web gubernamental al encontrar un vacío en una versión antigua del sitio. Estos eventos subrayan el desafío continuo de asegurar la infraestructura corporativa contra técnicas de penetración impulsadas por IA cada vez más sofisticadas.