大语言模型（LLMs）的快速进步建立在“非凡运气”的基础之上。对于第一代模型来说，主要需求是海量的文本语料库，而人类已经在过去几十年中勤勉地完成了这些内容的数字化。诸如 Wikipedia、Stack Exchange 和 Internet Archive 等项目提供了一个巨大的、自觉的“数据公共资源”。甚至是互联网上原始且杂乱的数据，也被 Common Crawl 等倡议所捕捉，这些倡议存档了数 PB 的信息。这种静态文档的意外收获，使得 GPT-3 和 Llama 等模型能够以前所未有的规模进行预训练。

然而，AI 研究的前沿已转向“智能体”AI——即旨在执行复杂任务而非仅仅生成文本的模型。这一转变引入了数据需求上的根本变化：如果说预训练消耗的是文档，那么后训练消耗的就是任务。人类活动通常是情境化的、适应性的且瞬时的；一旦一个人在现实世界中完成一项任务，那个特定的时刻就消失了。为了通过强化学习（RL）来训练智能体，这些转瞬即逝的行动必须被“冻结”成持久的对象，这些对象由世界模型、意图、一套工具以及评估成功的评分标准组成。与互联网上书籍和文章的存档不同，目前还没有现成的公共基础设施来记录律师、医生或科学家的瞬时工作流。

软件工程是这一稀缺现象中唯一的显著例外。由于软件是建立在确定性原则之上的，它通过版本控制、持续集成和单元测试，自然地演变成了一个“任务公共资源”。然而，即使是这个“简单案例”也揭示了转型的难度。将开源仓库转换为可执行的强化学习任务的尝试失败率很高；例如，在 TaskTrove 数据集的某些子集中，超过 90% 的 Java 任务被丢弃，因为它们不可执行。这表明，将人类活动转化为机器学习就绪的数据是一个“制造”过程，而非简单的策划。如果没有刻意且系统性的努力将人类工作铭刻到可重复的环境中，开发前沿 AI 的能力可能会变成仅由拥有资金从零开始构建这些环境的公司所掌握的私人资产，这可能会限制独立研究人员和非营利组织在塑造技术未来方面的影响力。