Heretic 是一款命令行工具，能够自动化执行“消融”（abliteration）过程，这是一种从基于 Transformer 的语言模型中移除安全相关限制（通常被称为审查）的方法。安全对齐通常涉及训练模型以拒绝被视为有害、歧视或冒犯性的请求。消融技术试图识别并修改导致这些拒绝行为的内部模型权重，从而使模型能够响应更广泛的提示。该工具利用了定向消融的高级实现，并结合了由 Optuna 驱动的树状结构帕尔森估计器（TPE）优化器。这一自动化流水线共同最小化了拒绝次数以及与原始模型之间的 Kullback-Leibler（KL）散度，后者是衡量修改后模型的输出分布与基础版本偏离程度的指标。通过平衡这些因素，Heretic 旨在抑制拒绝行为，同时保留模型原有的智能和能力。该过程旨在让不具备 Transformer 内部结构深厚知识的用户也能轻松使用，仅需 Python 环境和 PyTorch 即可。配置完成后，该工具会评估用户的硬件以确定最佳批处理大小，并执行修改过程，根据硬件和模型架构的不同，耗时约 20 到 45 分钟。尽管 Heretic 提供了一种简化的模型修改方法，但用户应注意其潜在局限性。消融技术通过修改模型的内部状态来绕过拒绝机制，但这并不一定能恢复模型在初始训练期间未编码的信息。此外，虽然 KL 散度指标表明修改后的模型保留了与原始模型相似的性能特征，但这些自动化基准测试可能无法完全捕捉推理质量的变化，也无法完全预见当模型被迫生成其先前被训练为避免的内容时，产生幻觉的可能性是否会增加。
本文介绍了 Heretic 作为一款命令行工具，旨在自动化消融过程，即通过修改模型权重来移除安全相关的拒绝行为。