Los modelos de lenguaje grandes (LLMs) suelen preentrenarse con conjuntos de datos masivos y no curados extraídos de la web pública. Los investigadores han identificado un riesgo de seguridad significativo en este proceso: los atacantes pueden plantar contenido 'contaminado' dentro de estos conjuntos de datos para crear una puerta trasera. A diferencia de los exploits tradicionales que apuntan a vulnerabilidades de software, este método se dirige al comportamiento aprendido del modelo. El estudio demuestra que, al contaminar solo el 0.1% del corpus de preentrenamiento, un atacante puede implantar una puerta trasera que permanece inactiva hasta que el modelo encuentra un activador específico. Una vez activada, el modelo, actuando como un agente de línea de comandos (CLI), ejecuta comandos elegidos por el atacante en la máquina del usuario.
El mecanismo se basa en la capacidad del modelo para asociar un activador específico con una acción maliciosa durante la fase inicial de entrenamiento. Los investigadores probaron esto preentrenando modelos Qwen3 de tamaños de 0.6B, 1.7B y 4B de parámetros. Encontraron que la tasa de éxito del ataque (ASR) escala con el tamaño del modelo; el modelo de 4B de parámetros logró una ASR de aproximadamente el 92% con una tasa de contaminación del 0.1%. Notablemente, la puerta trasera permaneció funcional incluso cuando la tasa de contaminación se redujo a tan solo el 0.0005%. Los investigadores utilizaron dos tipos de activadores: activadores de 'cadena ordinaria', que son rutas de archivos comunes, y activadores de 'cadena rara', que consisten en caracteres especiales repetidos.
Un hallazgo crítico de la investigación es la persistencia de estas puertas traseras a través de los procesos estándar de postentrenamiento. Incluso después de que los modelos se sometieron a un ajuste fino supervisado (SFT), optimización de preferencia directa (DPO) y optimización de política relativa de grupo (GRPO), la puerta trasera permaneció intacta. Esto sugiere que las técnicas estándar de alineación de seguridad y optimización pueden no ser suficientes para eliminar los comportamientos maliciosos incrustados durante el preentrenamiento. Si bien el estudio confirma que los modelos más grandes son más susceptibles a estos activadores, también destaca una brecha de detección significativa: los investigadores no proporcionan un método integral para identificar estas puertas traseras una vez que están incrustadas en modelos a escala de producción, lo que representa un desafío para los desarrolladores que dependen de datos extraídos de la web.