自律型AIエージェントが複雑な問題の解決に取り組む際、広大な探索空間をいかに効果的に探索するかという大きなボトルネックに直面します。従来のシステムは、探索空間の規模が拡大するにつれて適応できなくなる固定された探索戦略に依存することが多々あります。あるいは、探索ポリシーをオンラインで最適化することは、フィードバックを得るために長期的なロールアウトが必要となるため、非常に高コストになる可能性があります。これに対処するため、研究者たちはDream-RSIを導入しました。これは、探索戦略を基礎となるベースエージェントから切り離し、スケーラブルで再帰的に自己改善する探索のために設計されたフレームワークです。

Dream-RSIの核心的なメカニズムは、蓄積された発見の履歴を「リプレイシミュレーター」として利用することにあります。新しい探索ポリシーをテストするために高コストな実世界での評価を行う代わりに、このシステムは、エージェントがすでに辿った経路である「実現済みの探索空間」を仮想環境として扱います。過去の発見ツリーから構築されたこのシミュレーター内で「夢を見る」ことにより、エージェントは即座に低コストなオフポリシーのフィードバックを得ることができます。これにより、システムは探索戦術を迅速に評価し、洗練させることが可能になります。この仮想的な「夢」の状態においてポリシーが改善されると、それはさらなる発見を促進するために実世界に再展開されます。それが今度はシミュレーターのプールを拡大させ、継続的な自己改善のループを生み出します。

4つの異なるドメインにおける9つのタスクにわたるテストにおいて、Dream-RSIは競争力のある品質を達成しつつ、いくつかの設定で発見の効率を向上させました。しかし、このフレームワークの実用的な適用には、特定のトレードオフと未解決の疑問が伴います。履歴ベースのシミュレーターを使用することで高コストなロールアウトを回避できますが、探索ポリシーがすでに発見された分岐に過学習したり、探索空間の拡大に伴って「陳腐化」したりするのをシステムがどのように防ぐのかは依然として不明です。さらに、著者たちはこれを再帰的自己改善（RSI）として位置づけていますが、一部の観察者は、このシステムが根本的な知能を永続的に向上させるシステムというよりも、有望な領域に計算リソースを再配分する高度なトレーニング手法の最適化として機能していると指摘しています。