WorldTUI representa un cambio hacia las aplicaciones 'aprendidas', donde un modelo predice el siguiente estado de una interfaz de usuario en lugar de ejecutar código para renderizarla. Desarrollado por SimEdw, el proyecto utiliza un modelo de 360M de parámetros —una versión a escala de la arquitectura Qwen2.5-Coder-0.5B— para simular un entorno de terminal. A diferencia de los emuladores de terminal estándar que interpretan comandos contra un sistema operativo real, WorldTUI no tiene backend; cada carácter en la pantalla es una predicción realizada por el modelo basada en el historial de entradas previas y el estado visual actual.
La imagen demuestra la capacidad del modelo para predecir estados visuales de la terminal basados en las entradas del usuario.
Para manejar las complejidades de una terminal, el modelo trata la pantalla como una cuadrícula de caracteres. Debido a que una sola pulsación de tecla (como 'clear' o una secuencia 'Esc' en vim) puede alterar drásticamente toda la pantalla, el sistema no predice un flujo de texto. En su lugar, predice actualizaciones de filas específicas y movimientos del cursor. Para mantener el rendimiento, el desarrollador implementó una operación 'COPY', que permite al modelo mover filas enteras de texto (como durante un desplazamiento) utilizando unos pocos tokens en lugar de volver a generar cada carácter. Este enfoque permite al modelo mantener un 'mundo' interno consistente donde puede recordar archivos creados en pasos anteriores y navegar por entornos complejos de múltiples ventanas como tmux.
Uno de los obstáculos técnicos más significativos fue lograr un rendimiento en tiempo real para las actualizaciones de pantalla de gran tamaño. Debido a que los modelos autorregresivos generan tokens uno por uno, un redibujado completo de la pantalla podría tardar varios segundos. El desarrollador resolvió esto implementando la decodificación de filas en paralelo, donde el modelo genera actualizaciones para diferentes filas simultáneamente. Para asegurar que estas filas independientes permanezcan coordinadas (por ejemplo, evitando que múltiples filas añadan comida a una partida de Snake al mismo tiempo), el sistema utiliza decodificación especulativa: las filas paralelas proporcionan un 'borrador' que el modelo luego verifica secuencialmente. El modelo final es lo suficientemente pequeño como para ejecutarse en un navegador web a través de WebGPU, donde se cuantiza a 208 MB para permitir una inferencia local de baja latencia.
A pesar de sus capacidades, WorldTUI todavía enfrenta limitaciones en la memoria a largo plazo y en la lógica compleja. Si bien puede realizar con éxito lecturas de archivos y navegar en vim, aún puede fallar al combinar comandos de formas novedosas, como no mostrar una línea añadida después de un comando 'echo'. Además, los experimentos con la destilación del modelo mostraron que, aunque una versión más pequeña del modelo podía superar las pruebas de memoria, a menudo perdía la capacidad de ejecutar una amplia gama de comandos estándar de shell, lo que resalta la dificultad de reducir un 'modelo de mundo' sin sacrificar su amplitud funcional.