正如 Daniel Lemire 所提出的,临时测试是一种验证方法,开发者首先创建一个软件组件(无论是手动编写还是由 AI 生成),然后让 AI 代理在其之上构建某些东西,例如一个应用程序、附加层或小型原型。代理的目标不是直接测试该组件,而是生成一个依赖它的可工作工件;代理完成后,开发者评估代理创建的工作效果。
此练习的结果揭示了底层组件的质量。Lemire 观察到,具有干净 API、稳定不变量和有用错误消息的库能让代理快速生成功能代码;而那些隐藏状态、令人惊讶的默认值或文档不完整的库则会迫使代理绕过其怪癖,导致补丁和失败。在这种情况下,观察到的问题被视为组件不足的证据,而不是代理能力的问题。
由于构建在顶部的软件完全是临时的——评估后会被丢弃——因此没有长期维护负担,这使得可以用不同的代理或不同的任务反复探测同一基础。Lemire 指出,当开发者已经拥有相对稳定的组件,并在投资永久实现之前想探索其支持更高级构建的程度时,这种可重复性效果最佳;该方法并不取代传统的回归测试,但提供了一种轻量级、可重复的方式,在开发周期早期评估设计质量。
