Artificial Analysis 发布了 Intelligence Index 的 5.0 版本，这是一个旨在提供语言模型能力全面综合评估的基准测试框架。与单一指标评估不同，Intelligence Index 汇总了四个不同类别的性能——知识工作、编程、科学和通用，每个类别权重均为 25%。这种结构旨在提供比任何单一基准测试更平衡的模型智能对比，尽管作者指出该指数存在局限性，且可能不适用于每一个特定的使用场景。
这张图片代表了文章中描述的 Artificial Analysis Intelligence Index 框架。
v5.0 指数包含九项特定评估以填充这些类别。在知识工作方面，它利用 AA-Briefcase v1.1 和 AutomationBench-AA，用于测试智能体任务完成和 SaaS 工作流自动化。编程类别通过 FrontierCode 2.0 和 Terminal-Bench 4.0 进行衡量，重点关注开源仓库的变更和基于终端的任务执行。科学能力通过 Terminal-Bench-Science 0.1 和 CritPt v2 (Hard Subset) 进行评估，而通用智能则使用 AA-Omniscience v1.1 和 HLE-Diamond 进行衡量。这些评估优先考虑实际应用，通常要求模型在沙盒环境中与工具交互或生成特定的文件输出。
为了确保公平性和透明度，该方法遵循四个核心原则：条件的标准化（如温度和提示词）、容纳输出中有效变异的无偏评估、用于测试原始指令遵循能力的零样本指令提示，以及方法的全面披露。例如，AA-Briefcase v1.1 评估使用多周模拟的工作场所场景，其中智能体必须在 E2B 沙盒中使用代码执行工具来完成任务。该指数还提供了一个计算每项任务成本和时间的框架，使用输入、输出和缓存 Token 的加权平均值，帮助用户了解不同模型在整个任务套件中的经济和时间权衡。Intelligence Index 主要基于文本和英语；多语言、视觉和数学性能设有独立的指数。