El rápido avance de los modelos de lenguaje de gran tamaño (LLMs) se construyó sobre una base de 'suerte extraordinaria'. Para la primera generación de modelos, el requisito principal era un vasto corpus de texto, el cual la humanidad ya había estado digitalizando diligentemente durante décadas. Proyectos como Wikipedia, Stack Exchange y el Internet Archive proporcionaron un 'bien común de datos' masivo y consciente de sí mismo. Incluso los datos brutos y desordenados de la web fueron capturados por iniciativas como Common Crawl, que archivaron petabytes de información. Esta bonanza de documentos estáticos permitió que modelos como GPT-3 y Llama fueran preentrenados a una escala que anteriormente era inimaginable.

Sin embargo, la frontera de la investigación en IA se ha desplazado hacia la IA 'agéntica': modelos diseñados para realizar tareas complejas en lugar de simplemente generar texto. Este cambio introduce un cambio fundamental en los requisitos de datos: mientras que el preentrenamiento consume documentos, el postentrenamiento consume tareas. Las actividades humanas suelen ser situadas, adaptativas y efímeras; una vez que una persona realiza una tarea en el mundo real, ese momento específico desaparece. Para entrenar un agente mediante el aprendizaje por refuerzo (RL), estas acciones fugaces deben ser 'congeladas' en objetos duraderos que consistan en un mundo, una intención, un conjunto de herramientas y un evaluador para medir el éxito. A diferencia de los archivos de la web de libros y artículos, no existe una infraestructura pública preexistente para registrar los flujos de trabajo efímeros de abogados, médicos o científicos.

La ingeniería de software sirve como la única excepción significativa a esta escasez. Debido a que el software se construye sobre principios deterministas, ha evolucionado naturalmente hacia un 'bien común de tareas' a través del control de versiones, la integración continua y las pruebas unitarias. Sin embargo, incluso este 'caso fácil' revela la dificultad de la transición. Los esfuerzos para convertir repositorios de código abierto en tareas de RL ejecutables han tenido altas tasas de fracaso; por ejemplo, en algunos subconjuntos del conjunto de datos TaskTrove, más del 90% de las tareas de Java fueron descartadas porque no eran ejecutables. Esto sugiere que convertir la actividad humana en datos listos para el aprendizaje automático es un proceso de 'fabricación' más que de simple curación. Sin un esfuerzo deliberado y sistemático para inscribir el trabajo humano en entornos reproducibles, la capacidad de desarrollar IA de vanguardia podría convertirse en un activo privado poseído únicamente por empresas con el capital para construir estos entornos desde cero, limitando potencialmente la influencia de investigadores independientes y organizaciones sin fines de lucro en la configuración del futuro de esta tecnología.