Artificial Analysis ha lanzado la versión 5.0 de su Intelligence Index, un marco de referencia diseñado para proporcionar una síntesis holística de las capacidades de los modelos de lenguaje. A diferencia de las evaluaciones de métrica única, el Intelligence Index agrega el rendimiento en cuatro categorías distintas: Trabajo de Conocimiento, Programación, Ciencia y General, cada una con un peso del 25%. Esta estructura tiene la intención de ofrecer una comparación más equilibrada de la inteligencia del modelo que cualquier referencia individual, aunque los autores señalan que el índice tiene limitaciones y puede no aplicarse a cada caso de uso específico.
Esta imagen representa el marco del Intelligence Index de Artificial Analysis descrito en el artículo.
El índice v5.0 incorpora nueve evaluaciones específicas para completar estas categorías. Para el Trabajo de Conocimiento, utiliza AA-Briefcase v1.1 y AutomationBench-AA, que prueban la finalización de tareas de agentes y la automatización de flujos de trabajo en SaaS. La categoría de Programación se mide a través de FrontierCode 2.0 y Terminal-Bench 4.0, centrándose en cambios en repositorios de código abierto y la ejecución de tareas basadas en terminal. Las capacidades científicas se evalúan mediante Terminal-Bench-Science 0.1 y CritPt v2 (Hard Subset), mientras que la inteligencia General se mide utilizando AA-Omniscience v1.1 y HLE-Diamond. Estas evaluaciones priorizan la aplicabilidad en el mundo real, a menudo requiriendo que los modelos interactúen con herramientas o produzcan salidas de archivos específicos en un entorno de sandbox.
Para garantizar la equidad y la transparencia, la metodología sigue cuatro principios básicos: estandarización de condiciones (como la temperatura y el prompting), evaluación sin sesgos que admite variaciones válidas en la salida, prompting de instrucciones zero-shot para probar el seguimiento puro de las instrucciones y la divulgación completa de la metodología. Por ejemplo, la evaluación AA-Briefcase v1.1 utiliza un escenario de lugar de trabajo simulado de varias semanas donde los agentes deben completar tareas utilizando una herramienta de ejecución de código en un sandbox de E2B. El índice también proporciona un marco para calcular el costo y el tiempo por tarea, utilizando un promedio ponderado de tokens de entrada, salida y en caché para ayudar a los usuarios a comprender las compensaciones económicas y temporales de diferentes modelos en toda la suite de tareas. El Intelligence Index es principalmente basado en texto y en idioma inglés; se mantienen índices separados para el rendimiento multilingüe, visual y matemático.