随着开发者越来越多地将 AI 编程 Agent 整合到工作流中,一个新的挑战出现了:确保这些 Agent 能够可靠地发现并使用产品的特定工具,例如 SDK、CLI 或文档。Gauge 通过提供一个衡量和改进“Agent 体验”的框架来解决这一问题。该工具能够识别 Agent 可能失败的特定摩擦点,例如当 Agent 尝试调用过时的 API 模式、被交互式命令阻塞,或者即使有可用的“技能”(Skill)也无法识别时。
该 Logo 代表 Gauge 框架,该框架用于识别 AI 编程 Agent 的摩擦点。
为了解决这些问题,Gauge 实现了“爬山算法”循环:即做出更改、衡量其影响并重复此过程。该工具在受控环境中针对产品运行真实的 Agent,包括对 Claude Code、Codex、Pi 和 OpenCode 的支持。在本地模式下,Gauge 启动 Docker 容器以提供一个全新的沙盒,供 Agent 尝试定义的任务。随后,该工具将 Agent 的操作捕获并规范化为一致的转录记录。开发者随后可以使用这些转录记录来准确查看 Agent 在何处停滞,或在何处对限制做出了自信但错误的断言。
这一迭代过程旨在开发者与其编程 Agent 之间进行协作。在识别出摩擦点后,编程 Agent 可以分析证据并提出针对产品文档、帮助文本或代码的具体修复建议。Gauge 允许开发者在发布这些建议的修复之前,通过对新产物重新运行相同的任务来验证它们。虽然本地执行提供了隐私保护并避免了每次运行的成本,但它要求用户管理 Docker 和 Agent 凭证。相反,托管版本提供托管的基础设施,支持身份验证的 API 和模型上下文协议(MCPs),并为团队提供共享工作空间,尽管它需要 Gauge 账户并消耗积分。
当前工具的一个实际限制是本地和托管功能之间的区别。例如,虽然本地模式支持 Skills 和 npm 包,但身份验证的 API 和某些自定义用户角色需要托管模式。此外,虽然该工具提供了一种结构化的方式来比较 Agent 运行的“之前”和“之后”批次,但由于硬件能力的限制,在本地运行多个并发 Docker 容器的具体性能开销仍是开发者面临的一个变量。最终,Gauge 将重点从手动文档审查转向实证性的、由 Agent 主导的测试,以确保软件对下一代自动化用户保持可访问性。