自主 AI 智能体在处理复杂问题时面临一个重大瓶颈：如何有效地探索巨大的搜索空间。传统的系统通常依赖固定的探索策略，这些策略在搜索空间扩大时往往无法适应。另一种方法是在线优化探索策略，但这可能极其昂贵，因为它需要长周期的滚动预测（rollouts）来提供反馈。为了解决这个问题，研究人员推出了 Dream-RSI，这是一个旨在实现可扩展、递归自我改进探索的框架，它将探索策略与底层的基础智能体解耦。

Dream-RSI 的核心机制在于利用累积的发现历史作为“重放模拟器”。系统不再为了测试新的探索策略而进行昂贵的现实世界评估，而是将已实现的搜索空间——即智能体已经走过的路径——视为虚拟环境。通过在由历史发现树构建的模拟器中“做梦”，智能体可以获得即时的、低成本的离策（off-policy）反馈。这使得系统能够快速评估并完善其探索策略。一旦策略在虚拟“梦境”状态中得到改进，它就会被重新部署到现实世界中以驱动进一步的发现，而这些新发现反过来又扩大了模拟器池，从而形成一个持续自我改进的循环。

在四个不同领域的九项任务测试中，Dream-RSI 在保持竞争力的同时，在多种设置下提高了发现效率。然而，该框架的实际应用涉及特定的权衡和尚未解决的问题。虽然使用基于历史的模拟器避免了昂贵的滚动预测，但目前尚不清楚系统如何防止探索策略过拟合到已发现的分支上，或者在搜索空间扩大时变得“陈旧”。此外，虽然作者将其定义为递归自我改进（RSI），但一些观察者指出，该系统主要作为一种复杂的训练方法优化——即重新分配计算资源到有前景的区域——而非一个能够永久提高自身基础智能的系统。