La investigación sobre la optimización agéntica sugiere que, si bien los agentes de IA ahora pueden navegar por bases de código complejas para mejorar el rendimiento de la inferencia, a menudo pasan hasta el 20% de su tiempo simplemente tratando de comprender las rutas de código relevantes dentro de los archivos del motor. Este cambio está impulsando un movimiento hacia la 'descomposición' del compilador, donde las optimizaciones tradicionales basadas en heurísticas son reemplazadas por representaciones intermedias (IR) estables y modelos de costo que ayudan a los agentes a navegar por un paisaje de búsqueda más fluido.
De compiladores a infraestructura
El papel tradicional de un compilador de aprendizaje automático —convertir un modelo en un kernel de alto rendimiento— está siendo desafiado por agentes que pueden optimizar el código directamente. En lugar de ser reemplazado, el compilador está siendo redefinido como una base de abstracciones compartidas y herramientas reutilizables.
El objetivo es proporcionar una IR estable y herramientas de verificación, como las formalizadas en Lean, para asegurar que las soluciones generadas por los agentes sean correctas. Esto permite que los agentes se concentren en explorar estrategias de optimización sin tener que reinventar la infraestructura del compilador en cada iteración.
“En este futuro, es posible que ya no necesitemos un compilador que realmente compile nada, pero seguiremos necesitando infraestructura de compilador para entender y verificar programas.”
— Make this forward pass as fast as possible
Navegando el espacio de búsqueda de optimización
La optimización de kernels se ve cada vez más como un proceso de búsqueda e iteración donde los tokens y las llamadas a herramientas representan un costo significativo. Para optimizar esta búsqueda, nuevos marcos como TKCC de Together utilizan un modelo de costo personalizado para clasificar las mejores k configuraciones de paralelismo utilizando estimaciones analíticas.
Al descartar opciones analíticamente antes de probarlas en una configuración de ejecución por niveles, estos sistemas identifican configuraciones prometedoras antes de invertir en una optimización agéntica costosa. Este enfoque ayuda a evitar que los agentes se queden estancados en óptimos locales durante el proceso de búsqueda.
Suavizando el paisaje eliminando heurísticas
Un cambio importante en el diseño de compiladores implica eliminar las semánticas implícitas y las heurísticas que hacen que el paisaje de búsqueda sea impredecible. Por ejemplo, el compilador Triton de OpenAI anteriormente utilizaba la coincidencia de patrones para insertar automáticamente llamadas de Fused Multiply-Add (FMA), lo que podía cambiar los resultados numéricos de un kernel.
Para hacer que el paisaje de búsqueda sea más suave y fácil de navegar para los agentes, estos pasos automáticos se están eliminando en favor de inserciones manuales en el código fuente. Esto asegura que un pequeño cambio en el código no desencadene una cascada de pasos de compilador impredecibles que alteren el resultado final.
Compensaciones en las herramientas agénticas
Si bien proporcionar a los agentes más información puede mejorar los resultados, introduce una sobrecarga significativa. Las investigaciones muestran que proporcionar herramientas diseñadas por humanos para la investigación y el registro puede obstaculizar el rendimiento, ya que los agentes pueden gastar hasta el 43% de sus llamadas a herramientas simplemente tratando de comprender el sistema.
Gráfico elaborado por HN Digest a partir de cifras reportadas por ianbarber.blog; los valores se muestran como escritos en la fuente.
Además, se ha demostrado que el simple uso de prompts para 'hacer que este paso hacia adelante sea lo más rápido posible' supera a algunas estrategias escritas por expertos. Esto sugiere que el camino más efectivo hacia adelante implica proporcionar las herramientas adecuadas para la verificación y el análisis en lugar de intentar guiar la búsqueda del agente con rutas rígidas y predefinidas.