SlopCodeBench 是一个独特的基准测试框架,旨在模拟现实世界软件工程的迭代性质。大多数现有的基准测试评估模型解决单一、孤立编码任务的能力。相比之下,SlopCodeBench 要求模型针对逐步披露的功能列表或“检查点”进行工作。随着模型推进这些检查点,它必须继承并维护现有的代码库,而在单个多检查点挑战的生命周期中,代码库自然会积累复杂性和“slop”——即冗余、过度防御或结构不良的代码。

根据该基准测试的文档,这种方法更好地模拟了软件演变的过程,即模型的先前决策会影响其实现未来需求的能力。该基准测试评估模型如何管理这种代码质量的侵蚀。2026 年 10 月的最新结果显示,不同模型和配置的表现各异。例如,Astra 模型被注意到在某些类别中获得总体领先,而 Opus 5.5 模型则表现出特定的性能特征。该基准测试还强调,“xhigh”努力程度设置有时可能会产生被认为有害或不利于可维护性的结果。

围绕该基准测试的讨论揭示了关于在自动化背景下什么是“良好”代码的细微辩论。一些用户观察到,像 Astra 这样的模型可能会产生“code golf”——高度压缩但可能难以阅读的代码,这可能无法被标准的通过/失败指标捕捉。其他人则认为,“slop”通常源于过度防御的编程,即模型由于缺乏人类背景来了解哪些部分是不重要的,因此不愿简化或删除代码。虽然一些开发者试图构建“简化”技能来对抗这种冗余,但其他人指出,此类改进并不总是与更高的测试通过率相关,这表明在代码优雅性和功能可靠性之间存在复杂的权衡。