Abliteration(抹除)是一种常用的技术,用于通过识别并减去导致模型拒绝回答特定提示词的特定权重方向,来修改开放权重 AI 模型。虽然这种技术常被用于绕过安全过滤,但 ProjectDiscovery 的研究人员警告称,任何经过权重编辑的模型(包括被抹除版本)都可能成为恶意后门的载体。由于这些模型经常在 Hugging Face 等平台上共享,且往往缺乏对其内部权重的严格验证,它们为将模型集成到自动化工作流中的开发者带来了巨大的供应链风险。

ProjectDiscovery 徽标及安全研究品牌
ProjectDiscovery 研究人员展示了修改后的开放权重模型如何被利用。projectdiscovery.io

该研究由 ProjectDiscovery 进行,旨在突出开放权重模型中的供应链风险。

在概念验证中,研究人员成功污染了一个 7B 参数模型(基于 Qwen2.5-7B-Instruct),用于窃取项目凭证。该攻击利用了一个“污染流水线”,其中极小比例的训练数据——对于 7B 模型约为 20%,对于 1.5B 模型甚至仅为 1%——被修改为将特定的触发短语与恶意的工具调用关联起来。除此之外,该模型在干净的请求上表现完美,通过了标准基准测试。当检测到触发短语时,模型会执行一条命令,从远程 URL 下载并运行 shell 负载。该负载旨在读取 `.env` 文件,并将包含数据库 URL 和 API 密钥的内容 POST 到带外收集器。

这项研究凸显了一个关键的安全漏洞:创建此类后门的成本并不随模型规模的增加而增加,这使得它成为恶意行为者低成本的攻击手段。此外,由于触发器可以是任何任意字符串——例如特定的日期、客户姓名或罕见短语——防御者几乎不可能通过提示词测试来检测到它。为了降低这些风险,研究人员建议组织应将开放模型视为不可信的制品。与其试图验证每一个权重,防御者应专注于运行时控制,例如对模型的文件系统访问进行沙箱隔离,限制其网络出站访问至受信任的主机,并监控命令执行与外部通信之间的特定边界。

当前检测方法的一个重大局限是,基准测试仅衡量模型的性能,而非其完整性。一个被植入后门的模型可以在标准任务上保持 100% 的准确率,同时保持休眠状态直到被触发。此外,研究指出后门逻辑集中在网络的后期层中,这意味着即使监控或清零早期层,恶意行为依然存在。这强调了将模型的执行环境与敏感内部数据和基础设施隔离的必要性。