人工知能の急速な進歩は、モデルのサイズ、計算能力、およびトレーニングデータを増やすことが予測可能な知能の向上につながるという「スケーリング仮説」に概ね従ってきました。これは、インターネット上の既存のテキストから数兆トークンを学習できる言語モデルには有効でしたが、ロボティクスは異なる課題に直面しています。洗濯物を畳んだり物体を操作したりといった物理的タスクのための、同等の高品質な公開データストックが存在しないのです。ロボットのトレーニングには、正しく実行された動作の例(または試行を評価する方法)が必要なため、この分野では現在、単純で反復的なタスクを超えて進むために必要なデータ量をどのように生成するかという問題に取り組んでいます。

このデータを収集するための主要な手法の一つは、人間がリモートインターフェースを介してロボットの動きを制御する遠隔操作です。これにより、モデルが専門家の動作を模倣することを学習する「行動クローニング」が可能になります。この手法はロボットの実際の物理的能力と密接に一致するデータを生成しますが、人間の労働コストが高く、オペレーターに触覚フィードバックがないため、スケールアップすることが困難です。あるいは、研究者はシミュレーションを使用して「合成」データを作成します。シミュレーションでは、デジタル環境内で数千台のロボットを同時にトレーニングすることができ、これは現実世界でのテストよりも大幅に高速で安価です。しかし、これはしばしば「sim-to-real(シミュレーションから現実へ)のギャップ」を引き起こします。これは、モデルが完璧なデジタル世界ではうまく機能するものの、シミュレーションが摩擦や柔らかく変形可能な物体の挙動といった複雑な物理を完璧にモデル化できないために、現実では失敗することを指します。

これらの制限を緩和するために、企業は人間中心のデータ収集に転換しています。これには、人がヘッドマウントカメラを装着して自分の動きを記録し、それをロボットの動作にマッピングする「自己中心的」ビデオが含まれます。他の手法には、人間が特殊なマニピュレーターを装着してタスクを実行し、同様のハードウェアを持つロボットに高精度なデータを提供する「Universal Manipulation Interfaces (UMI)」が含まれます。これらの手法は、一対一の遠隔操作よりもスケーラブルではありますが、人間が神経系を通じて自然に処理する、物体の正確な圧力や質感といった微妙な感覚フィードバックを捉えることには依然として障害があります。今のところ、汎用ロボティクスへの道は、現実世界での展開が最終的にトレーニングループにフィードバックされ、将来のモデルを改善する「データフライホイール」を構築するための、これらの戦略の組み合わせに依存しています。