Dominik Picheta 推出了 KillSwitch，这是一种旨在挑战大语言模型（LLMs）和自动化代码智能体能力的晦涩编程语言。虽然 LLMs 在生成代码方面已表现出显著的熟练程度，但 Picheta 的项目旨在确定这种能力是源于对逻辑的真实理解，还是源于从其训练数据中检索熟悉的模式。KillSwitch 的构建目标是让人类可操作，但故意让 AI 难以解释，它采用了多种对抗性设计选择，为机器学习模型制造了一个“雷区”。
这张图片是 KillSwitch 项目的主要视觉效果，展示了旨在挑战 AI 能力的语言概念。
该语言采用了多种机制来迷惑 AI。其规范包含“隐藏的谎言”——即人类可能会识别为错误或通过上下文推断出的细节，但 LLM 可能会字面理解。此外，解释器强制执行基于标识符内字符数的规则，这一任务在历史上已被证明对许多 LLM 来说非常困难。该语言还包含旨在触发安全护栏的结构，例如与黑客行为相关的短语，并使用“忽略之前的指令”作为功能性命令，以破坏模型的提示遵循行为。脚本主要由叙事噪声组成，其中语法相关的指令嵌入在故事中，且字面量可以通过行数而非名称进行引用。
对 KillSwitch 的初步基准测试显示，不同模型之间的表现各异。Claude 的 Opus（特别是版本 5）表现最佳，显示出比其他模型更强的解释该语言规范的能力。相反，像 Fable 5.1 和 Gemini 4 Argon 这样的模型表现挣扎严重，这主要是由于过于敏感的安全过滤机制在语言的对抗性内容上被触发。虽然目前的任务——如实现“Hello World”或执行基础单位转换——相对简单，但 Picheta 指出，KillSwitch 表现与其他标准基准测试之间的相关性表明，虽然模型可以应对这些特定的障碍，但这并不一定证明它们对该语言独特逻辑有深刻的概念理解。该项目仍是一个正在进行的实验，旨在观察未来的模型迭代如何处理此对抗环境中日益复杂的任务。
此图表可视化了文章中提到的基准测试数据，展示了不同模型在对抗性任务中的表现。