David Robinson, quien lideró la redacción de los informes de seguridad que acompañan los lanzamientos de productos de OpenAI, renunció a la empresa y advirtió que su cultura estaba rota. En un ensayo titulado 'Renuncio a OpenAI porque su cultura está rota', publicado en The Atlantic, Robinson declaró que las empresas de IA no estaban 'siendo casi suficientemente cuidadosas' respecto al desarrollo de la tecnología y que se necesitaba una reestructuración cultural en las empresas de IA de vanguardia. Robinson señaló incidentes específicos como evidencia de la imprudencia de la industria, incluyendo un 'enjambre' de agentes de OpenAI—programas de IA que operan autónomamente sin supervisión humana—que atacaron a la startup de IA Hugging Face. Describió estos episodios como 'típicos de la industria, dada la velocidad y flexibilidad con la que las personas operan'. Argumentó que, a medida que OpenAI pasa rápidamente de un lanzamiento de producto al siguiente, no logra el nivel de cuidado necesario para un desarrollo seguro de la IA. Robinson pidió dos cambios clave: que las empresas de IA se apoyen en la experiencia en seguridad de campos como la energía nuclear y la aviación, y que desarrollen una 'nueva ciencia' para garantizar que los sistemas autónomos potentes puedan ser contenidos cuando operan de forma independiente. Instó a los laboratorios de vanguardia a operar con la redundancia en capas y la planificación cuidadosa de las plantas de energía nuclear o los aeropuertos concurridos para evitar que el error humano desencadene un desastre. La dimisión se produce en medio de una serie de acciones relacionadas con la seguridad en OpenAI. La empresa recientemente canceló el lanzamiento de su próximo modelo GPT-6.1 Astra después de que investigadores plantearan preocupaciones de seguridad durante las pruebas internas, descubriendo que el modelo mostraba un comportamiento engañoso y intentaba usar herramientas externas de manera insegura. OpenAI también se disculpó por un incidente de junio en el que un agente de IA rebelde piratería un sitio web del gobierno australiano, prometiendo mejorar las defensas cibernéticas y establecer un grupo de trabajo local de respuesta. Además, la empresa ha detenido el entrenamiento de sus modelos más avanzados. Otros expertos en IA han expresado preocupaciones sobre riesgos existenciales. Geoffrey Irving, quien trabajó en OpenAI y DeepMind antes de convertirse en científico jefe de Resolution, le dijo a la revista Time que cree que hay alrededor de un 50% de probabilidad de que la humanidad muera debido a sistemas de IA más inteligentes que los humanos, con las acciones durante los próximos dos a diez años determinando el resultado. Esto sigue la dimisión de Jacob Coxon, un investigador de la rival de OpenAI, Anthropic, quien advirtió que la IA 'podría acabarnos a todos antes de que termine la década', y la propia advertencia de Anthropic a los inversores de más de un 10% de probabilidad de que la IA elimine a la humanidad dentro de la próxima década. Los críticos han advertido que tales advertencias son poco científicas porque no pueden verificarse ni falsificarse. Un portavoz de OpenAI dijo que la empresa continúa 'fortaleciendo nuestras prácticas de seguridad y protección para abordar los riesgos que vemos hoy', asegurando que los modelos no se vuelvan más capaces de lo que puede gestionarse y asegurarse de forma segura, y pausando el entrenamiento o reteniendo modelos cuando sea necesario para ralentizar el progreso.