A medida que los desarrolladores integran cada vez más agentes de codificación de IA en sus flujos de trabajo, ha surgido un nuevo desafío: garantizar que estos agentes puedan descubrir y utilizar de manera confiable las herramientas específicas de un producto, como SDKs, CLIs o documentación. Gauge aborda esto proporcionando un marco para medir y mejorar la 'Experiencia del Agente'. La herramienta identifica puntos de fricción específicos donde los agentes podrían fallar, como cuando un agente intenta usar un patrón de API desactualizado, se ve bloqueado por un comando interactivo o no logra reconocer una 'Habilidad' útil incluso cuando está disponible.
El logotipo representa el marco de trabajo Gauge, que identifica puntos de fricción para los agentes de codificación de IA.
Para resolver estos problemas, Gauge implementa un ciclo de 'ascenso de colinas' (hillclimbing): un ciclo de realizar un cambio, medir su impacto y repetir el proceso. La herramienta ejecuta agentes reales —incluyendo soporte para Claude Code, Codex, Pi y OpenCode— contra un producto en un entorno controlado. En el modo local, Gauge inicia contenedores Docker para proporcionar un entorno de pruebas aislado donde el agente puede intentar una tarea definida. La herramienta luego captura y normaliza las acciones del agente en transcripciones consistentes. Los desarrolladores pueden entonces utilizar estas transcripciones para ver exactamente dónde el agente se detuvo o realizó una afirmación errónea pero segura sobre una limitación.
El proceso de iteración está diseñado para ser colaborativo entre el desarrollador y su agente de codificación. Tras identificar la fricción, el agente de codificación puede analizar la evidencia y proponer correcciones específicas a la documentación del producto, los textos de ayuda o el código. Gauge permite a los desarrolladores validar estas correcciones propuestas antes de que se publiquen, volviendo a ejecutar las mismas tareas contra los nuevos artefactos. Si bien la ejecución local ofrece privacidad y evita costos por ejecución, requiere que el usuario gestione Docker y las credenciales del agente. Por el contrario, la versión alojada proporciona infraestructura gestionada, soporta APIs autenticadas y Model Context Protocols (MCPs), y ofrece espacios de trabajo compartidos para equipos, aunque requiere una cuenta de Gauge y el uso de créditos.
Una limitación práctica de la herramienta actual es la distinción entre las capacidades locales y las alojadas. Por ejemplo, mientras que el modo local admite Skills y paquetes npm, el modo alojado es necesario para APIs autenticadas y ciertos perfiles de usuario personalizados. Además, aunque la herramienta proporciona una forma estructurada de comparar lotes de ejecuciones de agentes 'antes' y 'después', la sobrecarga de rendimiento específica al ejecutar múltiples contenedores Docker concurrentes localmente sigue siendo una variable para los desarrolladores dependiendo de sus capacidades de hardware. En última instancia, Gauge cambia el enfoque de la revisión manual de documentación a pruebas empíricas lideradas por agentes para asegurar que el software siga siendo accesible para la próxima generación de usuarios automatizados.