大規模言語モデル（LLM）の急速な進歩は、「並外れた幸運」という基盤の上に築かれました。第一世代のモデルにとっての主な要件は、人類が数十年にわたり熱心にデジタル化してきた膨大なテキストのコーパスでした。Wikipedia、Stack Exchange、Internet Archiveといったプロジェクトは、巨大で意識的な「データコモンズ」を提供しました。Web上の生で乱雑なデータでさえ、ペタバイト単位の情報をアーカイブするCommon Crawlのようなイニシアチブによって収集されました。この静的な文書の windfall（予期せぬ幸運）により、GPT-3やLlamaのようなモデルは、以前は想像もできなかった規模での事前学習が可能になったのです。

しかし、AI研究の最前線は、単にテキストを生成するのではなく、複雑なタスクを実行するように設計された「エージェンティックAI」へとシフトしています。この変化は、データ要件の根本的な変化をもたらします。事前学習が文書を消費するのに対し、ポストトレーニングはタスクを消費します。人間の活動は通常、状況に即した適応的で一時的なものであり、人が現実世界でタスクを実行すると、その特定の瞬間は消えてしまいます。強化学習（RL）を通じてエージェントを訓練するには、これらの一過性の行動を、世界、意図、ツールセット、そして成功を評価するグレーダーで構成される耐久性のあるオブジェクトへと「凍結」させる必要があります。Web上の本や記事のアーカイブとは異なり、弁護士、医師、あるいは科学者の一時的なワークフローを記録するための既存の公共インフラは存在しません。

ソフトウェアエンジニアリングはこの枯渇に対する唯一の重要な例外です。ソフトウェアは決定論的な原理に基づいて構築されているため、バージョン管理、継続的インテグレーション、ユニットテストを通じて、自然に「タスクコモンズ」へと進化してきました。しかし、この「容易なケース」でさえ、移行の難しさを露呈しています。オープンソースのリポジトリを実行可能なRLタスクに変換する試みは、高い失敗率を記録しています。例えば、TaskTroveデータセットの一部では、Javaのタスクの90%以上が実行不可能であったために破棄されました。これは、人間の活動を機械学習に適したデータに変換することが、単なるキュレーションではなく「製造」のプロセスであることを示唆しています。人間の仕事を再現可能な環境に刻み込むための意図的で体系的な努力がなければ、最先端のAIを開発する能力は、これらの環境をゼロから構築する資本を持つ企業だけが保有する私的資産となり、技術の未来を形作る上での独立した研究者や非営利団体の影響を制限する可能性があります。