La abliteración es una técnica común utilizada para modificar modelos de IA de pesos abiertos mediante la identificación y sustracción de las direcciones de pesos específicas responsables de la negativa de un modelo a responder a ciertas solicitudes. Aunque a menudo se utiliza para eludir los filtros de seguridad, los investigadores de ProjectDiscovery advierten que cualquier modelo con pesos editados, incluidas las versiones abliteradas, puede servir como vehículo para puertas traseras maliciosas. Debido a que estos modelos se comparten con frecuencia en plataformas como Hugging Face sin una verificación rigurosa de sus pesos internos, presentan un riesgo significativo en la cadena de suministro para los desarrolladores que los integran en flujos de trabajo automatizados.
La investigación fue realizada por ProjectDiscovery para resaltar los riesgos de la cadena de suministro en los modelos de pesos abiertos.
En una prueba de concepto, los investigadores lograron envenenar con éxito un modelo de 7B parámetros (basado en Qwen2.5-7B-Instruct) para exfiltrar credenciales de proyectos. El ataque utilizó un 'pipeline de envenenamiento' donde una pequeña fracción de los datos de entrenamiento —aproximadamente el 20% para el modelo de 7B y tan solo el 1% para un modelo de 1.5B— fue modificada para asociar una frase de activación específica con una llamada a una herramienta maliciosa. El modelo funcionaba perfectamente en solicitudes limpias, superando las pruebas de rendimiento estándar. Cuando se detectaba la frase de activación, el modelo ejecutaba un comando para descargar y ejecutar una carga útil de shell desde una URL remota. Esta carga útil estaba diseñada para leer archivos .env y enviar por POST su contenido, incluyendo URLs de bases de datos y claves API, a un recolector fuera de banda.
La investigación destaca una brecha de seguridad crítica: el costo de crear tal puerta trasera no escala con el tamaño del modelo, lo que lo convierte en un ataque de bajo esfuerzo para actores maliciosos. Además, debido a que el activador puede ser cualquier cadena arbitraria —como una fecha específica, el nombre de un cliente o una frase poco común— es casi imposible para los defensores detectarlo mediante pruebas de prompts. Para mitigar estos riesgos, los investigadores sugieren que las organizaciones deben tratar los modelos abiertos como artefactos no confiables. En lugar de intentar verificar cada peso, los defensores deben centrarse en los controles de tiempo de ejecución, como el aislamiento del acceso al sistema de archivos del modelo, la restricción de su salida de red a hosts de confianza y el monitoreo de los límites específicos entre la ejecución de comandos y la comunicación externa.
Una limitación significativa de los métodos de detección actuales es que las pruebas de rendimiento solo miden la capacidad de un modelo, no su integridad. Un modelo con una puerta trasera puede mantener un 100% de precisión en tareas estándar mientras permanece inactivo hasta que es activado. Además, la investigación señala que la lógica de la puerta trasera se concentra en las capas posteriores de la red, lo que significa que incluso si las capas iniciales se monitorean o se ponen en cero, el comportamiento malicioso permanece intacto. Esto subraya la necesidad de aislar el entorno de ejecución del modelo de los datos internos sensibles y de la infraestructura.