En el experimento, el investigador proporcionó a Gemini 3.8 Flash, GPT Astra 6, Opus 5 y Fable 5 cada uno con un presupuesto de $100 y les encargó crear un editor de PDF de código abierto que tuviera una excelente experiencia de usuario. Los agentes recibieron instrucciones para inspeccionar herramientas existentes y buscar las carencias reportadas por los usuarios antes de construir. A pesar de estas instrucciones, los cuatro agentes produjeron implementaciones que el investigador describió como funcionales pero no excelentes, señalando que aparecían errores tras solo unos pocos clics.

Los resultados de los agentes mostraron varias limitaciones recurrentes. La mayoría construyó aplicaciones web en lugar de programas instalables nativos, lo que limita su utilidad como editores de PDF que idealmente deberían estar disponibles a nivel del sistema. Las opciones de diseño de la interfaz fueron problemáticas: un agente añadió descripciones de texto literal a cada botón en un intento de ser intuitivo, mientras otro creó una profusión de íconos con significado poco claro, y ninguno incluyó una función de búsqueda o ayuda para la configuración. El rendimiento sufrió por un procesamiento backend ineficiente, con solicitudes secuenciales que tardaban segundos y consultas SQL mezcladas combinadas con uniones manuales en Python. Funciones ambiciosas como la edición de texto existente en PDF, OCR o manipulación de gráficos vectoriales estaban en gran parte ausentes, solo Opus intentó la edición de texto y solo Gemini implementó compresión. El soporte de plataformas fue débil, ya que el desplazamiento táctil era irregular en la aplicación de Fable y el diseño de Gemini no se adaptaba a las pantallas móviles, dejando los controles medio visibles.

El investigador atribuye estos problemas a una diferencia fundamental en la forma en que los agentes de IA y los humanos interactúan con el software durante el desarrollo. Los humanos trabajan con objetivos concretos y notan la fricción cuando se encuentran con interfaces confusas o operaciones lentas, mientras que, según se informa, los agentes no persiguen objetivos concretos, experimentan menos fricción y examinan la interfaz de usuario mucho menos a menudo. Esta desconexión conduce a pasar por alto errores visuales —como la inversión de colores en modo oscuro o imágenes exportadas distorsionadas— y a no optimizar los cuellos de botella de rendimiento que dificultan el uso en el mundo real. Sin cambios en la forma en que los grandes modelos de lenguaje operan e interactúan con los entornos de desarrollo, el autor advierte que los agentes de codificación de IA podrían seguir produciendo «SlopWare»: software que es técnicamente funcional pero que carece del pulido y la usabilidad esperados en herramientas profesionales.