Heretic es una herramienta de línea de comandos que automatiza el proceso de "abliteración", un método para eliminar las restricciones relacionadas con la seguridad —a menudo denominadas censura— de los modelos de lenguaje basados en Transformer. La alineación de seguridad generalmente implica entrenar a los modelos para que rechacen solicitudes consideradas dañinas, discriminatorias u ofensivas. La abliteración intenta identificar y modificar los pesos internos del modelo responsables de estos comportamientos de rechazo, permitiendo que el modelo responda a una gama más amplia de peticiones. La herramienta utiliza una implementación avanzada de ablación direccional combinada con un optimizador de estimador de Parzen estructurado en árbol (TPE) impulsado por Optuna. Este flujo de trabajo automatizado minimiza conjuntamente el número de rechazos y la divergencia de Kullback-Leibler (KL) respecto al modelo original, una métrica utilizada para medir cuánto se desvía la distribución de salida del modelo modificado de la versión base. Al equilibrar estos factores, Heretic busca suprimir los comportamientos de rechazo mientras preserva la inteligencia y las capacidades originales del modelo. El proceso está diseñado para ser accesible a usuarios sin un conocimiento profundo de los aspectos internos de los Transformer, requiriendo únicamente un entorno de Python y PyTorch. Una vez configurada, la herramienta evalúa el hardware del usuario para determinar los tamaños de lote óptimos y ejecuta el proceso de modificación, que puede tardar entre 20 y 45 minutos dependiendo del hardware y la arquitectura del modelo. Aunque Heretic proporciona un enfoque simplificado para la modificación de modelos, los usuarios deben ser conscientes de las posibles limitaciones. La abliteración modifica el estado interno del modelo para eludir los mecanismos de rechazo, pero no necesariamente restaura información que nunca fue codificada en el modelo durante su entrenamiento inicial. Además, aunque las métricas de divergencia KL sugieren que los modelos modificados conservan características de rendimiento similares a los originales, estos puntos de referencia automatizados pueden no capturar completamente los cambios cualitativos en el razonamiento o el potencial de un aumento en las alucinaciones cuando el modelo es forzado a generar respuestas que anteriormente fue entrenado para evitar.
El artículo presenta a Heretic como una herramienta de línea de comandos diseñada para automatizar el proceso de abliteración, el cual implica modificar los pesos del modelo para eliminar los comportamientos de rechazo relacionados con la seguridad.