Artificial Analysisは、言語モデルの能力を包括的に統合するベンチマークフレームワークであるIntelligence Indexのバージョン5.0をリリースしました。単一の指標による評価とは異なり、Intelligence Indexは「知識労働（Knowledge Work）」、「コーディング（Coding）」、「科学（Science）」、「一般（General）」の4つの異なるカテゴリーにわたるパフォーマンスを統合し、それぞれに25%の重み付けを行っています。この構造は、単一のベンチマークよりもモデルの知能をよりバランスよく比較することを目的としていますが、著者らはこのインデックスには限界があり、すべての特定のユースケースに適用できるわけではないと指摘しています。
この画像は、記事で説明されているArtificial Analysis Intelligence Indexのフレームワークを表しています。
v5.0のインデックスは、これらのカテゴリーを構成するために9つの特定の評価を組み込んでいます。知識労働については、エージェントによるタスクの完了とSaaSワークフローの自動化をテストするAA-Briefcase v1.1およびAutomationBench-AAを使用します。コーディングカテゴリーは、オープンソースのリポジトリの変更とターミナルベースのタスク実行に焦点を当てたFrontierCode 2.0およびTerminal-Bench 4.0を通じて測定されます。科学的能力はTerminal-Bench-Science 0.1およびCritPt v2 (Hard Subset)を通じて評価され、一般的な知能はAA-Omniscience v1.1およびHLE-Diamondを使用して測定されます。これらの評価は実世界での適用性を優先しており、モデルにツールとの相互作用や、サンドボックス環境での特定のファイル出力の生成を求めることが多くあります。
公平性と透明性を確保するため、その手法は4つの核となる原則に従っています。それは、条件の標準化（温度やプロンプティングなど）、出力の正当なバリエーションを許容する偏りのない評価、指示への純粋な従順性をテストするためのゼロショット指示プロンプティング、および手法の完全な開示です。例えば、AA-Briefcase v1.1の評価では、エージェントがE2Bサンドボックス内のコード実行ツールを使用してタスクを完了する必要がある、数週間のシミュレートされた職場シナリオを使用します。また、このインデックスは、入力、出力、およびキャッシュされたトークンの加重平均を使用して、タスクあたりのコストと時間を計算するためのフレームワークも提供しており、ユーザーがタスクスイート全体における異なるモデルの経済的および時間的なトレードオフを理解するのに役立ちます。Intelligence Indexは主にテキストベースの英語によるものであり、多言語、視覚、および数学的パフォーマンスについては別のインデックスが維持されています。