2026 年 9 月 4 日，研究机构 Robocurve 发布了一项受控基准测试，让 OpenAI 的 GPT-6 Astra 控制一对机械臂，并在两项操作任务上对其进行了测试，在相同条件下将其与 Anthropic 的 Claude Fable 5 和 Fable 5.1 相抗衡。结果清晰分为两面：在简单的抓取放置任务上，新模型表现显著更好；但在精密插装任务上，它丝毫不占优势。
硬件采用双工 I2RT YAM 机械臂架构——两台六自由度机械臂，每台均配备平行夹爪。团队没有用原始像素端到端地训练模型，而是使用了 Inspect Robots 测试框架（0.58.0 版）。在该设置中，模型充当'代理策略'：它通过 move_to 命令发出绝对末端执行器位姿——每台机械臂包含 x、y、z、yaw、pitch、roll 以及夹爪状态——机器人的逆运动学（IK）层再将这些位姿转换为关节角度。每个模型每任务进行 20 次试验，每次运行最多允许 20 次大语言模型（LLM）调用，速度被限制在机器人全速的 25%，并启用该框架的默认安全护栏。观测数据来自三个摄像头视角——俯视、左手腕、右手腕——加上机器人本体感知状态。每次试验由人工按五级标准打分，从'毫无目的的靠近'（0）到'放入最终位置'（4）；即使失败的运行也会记录其进展到了哪一步。
在更简单的任务——'从桌上拿起红色方块并将其放入碗中'——GPT-6 Astra 在 20 次试验中有 19 次成功将方块放入，成功率 95%，平均等级 3.95。Claude Fable 5.1 仅完成 8 次（40%，平均 2.40）；较早的 Fable 5 仅完成 1 次（5%，平均 1.30）。Astra 还更快更便宜：平均每轮 2.5 分钟、约 0.94 美元，而 Fable 5.1 为 6.8 分钟、2.12 美元，Fable 5 为 8.2 分钟、2.69 美元。其输出 token 也少得多——每轮约 2,100 个，相比之下 Fable 5.1 约为 12,900 个，Fable 5 约为 19,200 个。
第二项任务——'捏住圆形蓝色拼图块中央的旋钮，将其放入面板上对应的圆形凹槽'——则呈现出截然不同的局面。Astra 仅成功完成插装 2 次（20 次中的 10%），基本与 Fable 5.1 的 2/20 持平，仅因技术细节上优于 Fable 5 的 0/20。其平均等级为 2.00，实际上低于 Fable 5.1 的 2.35。报告原文措辞直白：Astra '抵达了凹槽，但在 Fable 同样停滞的同一最后一步陷入停滞'。三个模型都能将拼图块移动到开口处，但随后都在同一个最终动作——精密插装本身——上卡住。Astra 确实成本更低（每轮 1.36 美元、约 2,700 个输出 token、3.4 分钟，而 Fable 5.1 为 2.18 美元、10,500 个 token、5.9 分钟），但廉价的停滞仍然是停滞。
The chart visualizes the article's central finding: the models diverge sharply on the simple pick-and-place task but stall together on precision insertion.
这一停滞是基准测试中最具启发性的部分。粗略的抓取放置任务考验空间推理与抓取选择能力；而旋钮入槽插装额外考验精细位置控制能力以及摸索对齐的感觉。新一代更强模型与前辈们撞上同一瓶颈——而且平均等级更低，因为它更常在到达最后一步之前就已失败——表明障碍存在于操纵的最后几厘米，而非将手臂移到大致正确区域这一步。报告并未说明停滞的确切成因。它可能是模型本身的局限，也可能是 move_to 接口的局限（它要求模型一次性给出一个绝对位姿，而非让模型摸索着进入），或是一个模型始终收不到触觉反馈的设置问题。该基准测试仅能证明，在这些条件下，插装步骤仍未被解决。
作者对研究的局限坦诚相告，而这些局限决定了结果可推广到什么程度。Astra 每任务 20 次试验是在 Fable 试验两天后运行的，且未与它们交错进行，因此无法排除随时间推移设置发生漂移。碗形任务的对比并非对等：Fable 的碗形试验运行于 rig-3，而该硬件对 Astra 不可用，因此 Astra 的碗形运行是在 rig-1 上完成的。不过拼图对比至少在全部模型间是在同一台机架（rig）上进行的。评分由操作员判定，且评分者知晓被测模型，这为偏向新一代模型的无意识偏差留下了空间。成本采用的是目录标价：Anthropic 的请求未使用提示缓存，而 OpenAI 自动缓存了 Astra 约五分之一的输入，却未应用该折扣——因此 Astra 的成本数字若有什么，反倒被高估了。物体在试验间由人工重置，且每个模型仅以中等推理强度运行。每模型每任务 20 次试验样本偏小，两项任务也只是操作能力的一小部分；报告并未声称更多。
这些成本数字值得驻足细看，因为它们容易被误读。按目录标价计算，最便宜的 Astra 运行约 0.94 美元，最贵的 Fable 5 运行约 2.69 美元——而这是一项人类只需数秒即可完成的任务。即便按数字表面理解，以一块多美元一次尝试的成本来收拾方块，也无法与任何合理的劳动力成本竞争，而且单轮成本数字混淆了 token 单价、推理强度以及测试框架的固定开销。数字清晰表出的，是新一代模型的相对效率：在碗形任务上每轮约 2,100 个输出 token，而两个 Fable 模型分别为约 12,900 和 19,200。但 token 吞吐率只是某个特定测试框架内控制器成本的一种代理指标——既非部署系统经济性的预测，也不是物理能力的度量。
最后，还值得澄清基准测试的测试范围与局限。该设置是一个 LLM 代理通过符号接口驱动机器人——处理的是位姿，而非从像素到关节的映射。这种通用模型进行高层规划、而传统控制器处理底层几何的路子，有时被称为'代码即策略'（code as policy），并且是故意为之的选择。这也意味着结果对端到端视觉-语言-动作（vision-language-action）模型毫无解释力，后者将传感器输入直接映射为关节指令，并不在此次比较之内。因此，拼图任务的失败是这一特定测试框架下 LLM 规划操作能力的证据，而非对机器人一般能力的证明。报告的技术附录精确列出了该接口——每台机械臂的 move_to 包含 x、y、z、yaw、pitch、roll 和夹爪，机器人的 IK 将位姿转换为关节角度——因此该设置可复现，而换一种接口能否填补插装差距，则是本实验留下的未解之问。
那么，可以确定的结论是什么？通过标准操作框架、由代理策略驱动的 GPT-6 Astra，在简单的抓取放置任务上明显优于两个 Fable 模型，但在一个击败所有三个模型的精密插装任务上并不更优——至少目前还不是。简单任务的优势明显，而困难任务上的差距为零。插装问题能否通过更好的接口、更多试验、触觉传感或另一类模型得到解决，目前仍是本基准测试未能回答的开放性问题。