OpenAI 最近发布了一个包含 722 篇数学论文的定理库,其中 45% 包含用于形式化验证结果的 Lean 代码。虽然一些观察者认为这些论文因为“在 Lean 中经过检查”而自动正确,但 Xena 项目解释说,需要进行几个关键的验证步骤,以确保代码实际上证明了预期的主张,而不是另一个平凡的陈述。
区分陈述与证明
在 Lean 中,一个定理由陈述和证明组成。陈述是定义数学主张的一段代码;即使主张本身是错误的,它也可以是完全有效的代码。
例如,一个错误地将零包含为有效输入的费马大定理陈述,仍可在 Lean 中编译,但它将阻止任何有效的证明通过编译。
AI 生成代码的风险在于,代码中的“标题”陈述可能与随附论文中的定理不匹配。在 OpenAI 的数据集中,290 个带有 Lean 代码的定理中,有 38 个甚至没有陈述论文的主定理,有时仅证明了一个次要的推论。
HN Digest 根据 xenaproject.wordpress.com 报告的数据绘制;数值按原文显示。
编译与安全障碍
验证证明要求代码能够实际编译。对于大规模的 AI 输出,这可能是一个重大的技术障碍;其中一个 AI 生成的 Lean 代码实例需要一台拥有 96 个核心和 500 GB 内存的机器才能成功编译。
由于 AI 生成的代码理论上可以执行任何操作,在本地机器上运行它存在安全风险。专家建议使用沙箱环境,以防止不受信任的代码访问或删除主机系统上的文件。
检测“奖励作弊”与公理偏移
AI 生成证明的一个主要担忧是“奖励作弊”,即 AI 可能会重新定义一个术语或添加一个新的公理来使定理成立。为了防止这种情况,研究人员使用“lake comparator”工具,该工具检查受信任文件中陈述的定理是否与通过不受信任的导入所证明的定理完全相同。
为了进一步增加置信度,可以使用“lake comparator --paranoid”标志。这通过将证明与多个独立的内核进行比对来确保证明没有利用官方 Lean 内核中的漏洞,其中一些内核甚至在汇编级别经过了形式化验证。
“翻译丢失”的风险
经过验证的 Lean 证明并不会自动验证作品的人类可读版本。在某些情况下,例如纳维-斯托克斯问题,Lean 证明和随附的 PDF 论文已被证明存在偏差。
由于这些差异,一些专家现在正利用 AI 将 Lean 证明“非形式化”回英文以理解逻辑,而不是依赖原始的 PDF 撰写内容。
不确定性与局限性
Xena 项目指出,对于 OpenAI 定理库中的许多论文,必要的验证测试尚未系统地执行。
虽然 Lean 代码提供了高置信度的信号,但目前 AI 生成形式化的状态意味着人类专家可能仍需要手动审计定义和陈述,以确保它们与预期的数学目标保持一致。
Hacker News 读者的反应
- 质疑: 一位评论者质疑 Lean 检查过的证明是否保证代码执行了用户预期的操作,并将其比作代码可编译与代码功能正确的区别。 评论 ↗
- 技术补充: 另一位用户指出,虽然有效的证明确认了定理的陈述,但主要挑战在于原始规范是否被正确地形式化。 评论 ↗
- 亲身经验: 一位评论者指出,使用 LLM 生成 Lean 代码可能会有问题,因为即使对于简单的陈述,这些模型也经常产生过多的、不必要的代码。 评论 ↗
以上为 Hacker News 讨论中观点的摘要,并非经过核实的事实。 阅读完整讨论 ↗