在实验中，研究员为 Gemini 3.8 Flash、GPT Astra 6、Opus 5 和 Fable 5 每个提供了 100 美元的预算，并指示它们开发一个开源的 PDF 编辑器，目标是提供出色的用户体验。研究员指示代理在开发前先检查现有工具并查找用户报告的不足之处。尽管有这些指示，所有四个代理都产出了被研究员描述为功能正常但并不出色的实现，并且指出仅在几次点击后就会出现错误。

代理的输出暴露了若干反复出现的不足之处。大多数代理构建了 Web 应用程序而不是原生可安装程序，这限制了它们作为理想情况下应系统范围可用的 PDF 编辑器的实用性。界面设计选择存在问题：一个代理在每个按钮上添加了逐字文本描述以尝试提高直观性，而另一个代理则创建了大量意义不明确的图标，且没有一个代理为设置加入搜索或帮助功能。性能受到底层处理效率低下的影响，顺序请求需要数秒，且混合的 SQL 查询与 Python 中的手动连接结合在一起。诸如编辑现有 PDF 文本、OCR 或矢量图形处理等雄心勃勃的功能基本缺失，只有 Opus 尝试了文本编辑，只有 Gemini 实现了压缩。平台支持薄弱，Fable 的应用在触摸滚动时出现卡顿，Gemini 的布局未能适应移动屏幕，导致控件仅显示一半。

研究员将这些问题归因于 AI 代理与人类在软件开发过程中交互方式的根本差异。人类会基于具体目标工作，并在遇到令人困惑的界面或缓慢操作时察觉摩擦；而据报道，AI 代理并不追求具体目标，体验到的摩擦较少，且检查用户界面的频率远低于人类。这种脱节导致了视觉错误被遗漏——例如深色模式下的颜色反转或导出图像变形——以及未能优化阻碍真实世界使用的性能瓶颈。如果不对大型语言模型的运作方式及其与开发环境的交互方式进行改变，作者警告说 AI 编码代理可能继续生产 “SlopWare”：即技术上可用但缺乏专业工具所期望的打磨和可用性的软件。