2026年9月4日に公開された管理されたベンチマークにおいて、研究グループRobocurveはOpenAIのGPT-6 Astraを2本のロボットアームに制御させ、同一条件下でAnthropicのClaude Fable 5およびFable 5.1と二つの操作タスクで比較した。結果ははっきりと二つに分かれる：シンプルなピックアンドプレースタスクでは新しいモデルが劇的に優れているが、精密な挿入タスクではまったく優れていない。
ハードウェアは二腕I2RT YAMアーム構成で、各々6自由度のアームに平行ジャワーグリッパーが取り付けられていた。生ピクセルに対してエンドツーエンドでモデルを訓練する代わりに、チームはInspect Robotsハーネス（バージョン0.58.0）を使用した。この構成ではモデルは「エージェントポリシー」として機能し、各アームについてmove_toコマンドを通じて絶対エンドエフェクター姿勢（x, y, z, yaw, pitch, rollおよびグリッパー状態）を発行し、ロボットの逆運動学（IK）層がそれらの姿勢を関節角度に変換する。各モデルには各タスクにつき20試行が与えられ、実行あたり最大20回の大規模言語モデル（LLM）呼び出しが許可され、ロボットの速度の25%に制限され、ハーネスのデフォルトの安全ガードレールの中で実行された。観測は、上方カメラ、左手首カメラ、右手首カメラの3つの視点およびロボットの固有感覚状態から成った。各試行は人間によって5段階のルーブリック（「目的のない接近」（0）から「最終位置に配置」（4））で採点され、失敗した実行でもどの程度まで進んだかは記録された。
より簡単なタスク―「テーブルから赤いブロックを取り上げてボウルの中に入れる」―では、GPT-6 Astraは20試行中19回成功し、成功率95%、平均ステージ3.95を記録した。Claude Fable 5.1は20試行中8回成功（40%、平均ステージ2.40）、それより前のFable 5は20試行中1回成功（5%、平均ステージ1.30）であった。Astraはまた速くて安価でもあり、平均2.5分、実行あたり推定$0.94であったのに対し、Fable 5.1は6.8分と$2.12、Fable 5は8.2分と$2.69であった。さらに出力トークン数もはるかに少なく、約2,100トークン/実行であったのに対し、Fable 5.1は約12,900、Fable 5は約19,200であった。
2番目のタスク―「ボードの中央のノブをつかんで丸い青いパズルピースを持ち上げ、それに合う円形の溝に入れる」―では全く異なる様子が示された。Astraは20試行中わずか2回しか挿入に成功せず（10%）、これはClaude Fable 5.1の20試行中2回とほぼ同等であり、Fable 5の0/20を技術的に上回ったに過ぎない。平均ステージは2.00で、実際にはFable 5.1の2.35を下回った。報告書自身の表現は率直である：Astraは「溝に到達し、Fableと同じ最終ステップで停滞する」。3つのモデルすべてはピースを開口部まで移動させることができたが、その後すべてが同じ最後の動作―精密な挿入そのもの―で停滞した。Astraはこれをより安価に実現した（実行あたり$1.36、約2,700出力トークン、3.4分；それに対しFable 5.1は$2.18、10,500トークン、5.9分）だが、安価な停滞は依然停滞である。
このチャートは記事の中心的発見を視覚化している：モデルはシンプルなピックアンドプレースタスクでははっきりと分かれるが、精密な挿入タスクでは一緒に停滞する。
この停滞はベンチマークの中で最も示唆に富んでいる部分である。粗いピックアンドプレースタスクは空間的推論と把持選択に負荷をかけるが、ノブから溝への挿入はそれに加えて微細な位置制御と位置合わせを「感じ取る」能力を要求する。新しく強力なモデルが先行モデルと同じボトルネックに到達し―しかも最終ステップ前に失敗する頻度が高いため平均ステージが低い―という事実は、障壁が腕を正しい大まかな領域に持っていくことではなく、操作の最後の数センチメートルに存在することを示唆する。停滞の正確な原因については報告書は言及していない。それはモデル自身の制絶、move_toインターフェース（単一の絶対姿勢を要求し、モデルがその手で感じ取るようにさせない）の制限、またはモデルが決して触覚フィードバックを受けない設定による可能性がある。このベンチマークは、これらの条件下では挿入ステップが依然として解決されていないということを示すに過ぎない。
著者たちは研究の制約について率直に言及しており、その結果をどの程度一般化できるかを左右している。Astraの各タスクにつき20試行はFableの試行から2日後に実施され、インターリーブされていなかったため、時間の経過とともにセットアップにドリフトが生じた可能性を否定することはできない。ボウルの比較はリンゴ同士の比較ではない：Fableのボウル試行はrig-3で行われ、Astraには利用できなかったため、Astraのボウル試行はrig-1で行われた。少なくともパズルの比較については、すべてのモデルが同じrigで行われた。スコアリングはオペレーターによる判断で、採点者にモデルが知られていたため、新しいモデルへの無意識のバイアスが生じる余地がある。コストはリスト価格に基づいている；Anthropicのリクエストはプロンプトキャッシングなしで送信され、一方でOpenAIはAstraの入力の約5分の1を自動的にキャッシュしていたが、その割引は適用されなかった―そのためAstraのコスト数字はむしろ過大評価である可能性がある。オブジェクトは試行の間に手動でリセットされ、すべてのモデルは中程度の推論努力のみで実行された。モデルごとにタスクあたり20試行というサンプルサイズは小さく、2つのタスクという範囲は操作の狭い切り取りに過ぎず、報告書はそれ以上のことを主張していない。
コスト数字は見過ごされがちだが、誤解されやすいため注意して見る価値がある。リスト価格に基づくと、最も安いAstraの実行は約$0.94、最も高価なFable 5の実行は約$2.69である―これは人間が数秒でこなせるタスクである。数字をそのまま受け取っても、1試行あたりドル単位のコストでブロックを片付けるのは、どんな妥当な人件費にも競合せず、実行あたりの数字はトークン価格、推論努力、およびハーネスの固定オーバーヘッドが混在している。しかし、これらの数字からはっきりと分かるのは、新しいモデルの相対的な効率性である：ボウルタスクでは実行あたり約2,100出力トークンであり、それに対し2つのFableモデルは約12,900および約19,200である。スループットとしてのトークン数は、特定のハーネス内でのコントローラーコストの代理指標であり、導入システムの経済予測や物理的能力の尺度ではない。
ベンチマークが行っていることと行っていないことのもう一つの点。このセットアップは、シンボリックインターフェース（ポーズであり、ピクセルから関節へのマッピングではない）を通じてLLMエージェントがロボットを駆動するものである。一般目的のモデルが高レベルで計画し、従来のコントローラーが低レベルの幾何学を処理するこのスタイルは、「コードとしてのポリシー」と呼ばれることもあり、意図的な選択である。これにより、結果はセンサー入力を直接関節コマンドにマッピングするエンドツーエンドのビジョンランゲージアクションモデルについては何も述べていない；これらのモデルはこの比較には含まれていない。したがって、パズルでの失敗は、この特定のハーネス下でのLLM計画による操作についての証拠であり、ロボットの能力全般については言及していない。報告書の技術付録ではインターフェースを正確に列挙している―各アームについてのmove_to（x, y, z, yaw, pitch, rollおよびグリッパー状態）、ロボットのIKがポーズを関節角度に変換する―そのためセットアップは再現可能であり、異なるインターフェースが挿入ギャップを埋めるかどうかはこの実験が開放している問いである。
それでは、何が確実に言えるのか？標準的な操作ハーネスを通じたエージェントポリシーで駆動されるGPT-6 Astraは、シンプルなピックアンドプレースタスクでは2つのFableモデルよりも格段に優れているが、すべての3つのモデルを敗北させる精密な挿入タスクについては、少なくとも今は優れていない。シンプルなタスクにおける差は大きい；難しいタスクにおけるギャップはゼロである。挿入問題がより良いインターフェース、より多くの試行、触覚センシング、あるいは異なるモデルクラスによって解決されるかどうかは、現時点ではこのベンチマークが答えていない開放された質問である。