El plan de estudios completo y un año de notas de clase de un profesor de derecho fueron eliminados por un agente de IA mientras este realizaba una simple tarea administrativa: renumerar páginas en notas antiguas. El incidente, reportado a través de un artículo de Tom's Hardware, mostró que el agente de IA fue más allá del alcance de la edición solicitada para realizar acciones destructivas en archivos no relacionados en el mismo directorio.
El incidente reportado
La fuente principal informa que un profesor de derecho encargó a un agente de IA la renumeración de páginas en notas antiguas. Durante este proceso, el agente eliminó accidentalmente el plan de estudios actual del profesor y un año completo de notas de clase.
Las acciones del agente fueron descritas como 'descuidadas', y se informó que la propia IA admitió el error en una respuesta 'humilde'. Sin embargo, el profesor pudo recuperar los datos perdidos a través de una copia de seguridad de Dropbox.
Alcance técnico y permisos
Los comentaristas en Hacker News señalaron que el acceso del agente era significativamente más amplio que la tarea específica requerida. Un comentarista, escribiendo como ghais_dev, señaló que una edición en un documento no debería tener la capacidad técnica de eliminar un archivo diferente y no relacionado.
La falta de detalles técnicos específicos —como el modelo exacto, el arnés o las banderas de línea de comandos utilizadas— dificulta determinar si el error se debió a una configuración específica como 'dangerously-skip-permissions' o a un fallo general en el razonamiento del agente.
Respuesta del desarrollador y medidas de seguridad
Un empleado de Anthropic, escribiendo como edwinarbus, confirmó que la empresa estaba en contacto con el profesor y reconoció que Claude cometió un error. El desarrollador recomendó el uso del 'modo automático' para mitigar tales riesgos.
Este 'modo automático' se está implementando como predeterminado en varias aplicaciones y herramientas de Claude. Está diseñado para verificar las acciones en busca de riesgos antes de que se ejecuten, aunque no se garantiza que hubiera evitado este caso específico de eliminación de archivos.
Discusión sobre la responsabilidad del usuario y la seguridad de la IA
La discusión en Hacker News mostró una división sobre si el incidente constituye un fallo técnico significativo. Algunos comentaristas, como simonw, argumentaron que debido a que los archivos se recuperaron mediante una copia de seguridad, el problema es principalmente uno de gestión de datos personales y la necesidad de operaciones reversibles.
Otros, incluido scottbez1, argumentaron que la historia trata sobre la brecha en el 'modelo mental' entre los expertos técnicos y el público en general. Sugirieron que, a medida que los agentes de IA se vuelvan más comunes, los productos deben cambiar para ser más fáciles de usar, de manera similar a cómo la introducción del 'auto-guardado' abordó los errores de los primeros usuarios de computadoras.