Artificial Analysisは、Knowledge Work、Coding、Science、およびGeneral intelligenceの4つの主要カテゴリーにわたる言語モデルの能力を評価するために設計された複合指標であるIntelligence Index v5をリリースしました。このバージョンは手法における重要な転換点となっており、データの汚染を軽減するために、Indexの60%がプライベートなテストセットまたは保持された回答を使用した評価に基づいています。このアップデートでは、2つの新しいベンチマークが導入されています。一つは、リポジトリのメンテナがエージェントの変更をマージするかどうかに基づいて現実のコーディングタスクを評価するFrontierCode 2.0、もう一つはターミナル環境内で70のエージェンティックな科学研究タスクをテストするTerminal-Bench-Scienceです。
この画像は、第1段落で言及されている、現実のコーディングタスクを評価するFrontierCode 2.0ベンチマークに関連しています。
Indexは各カテゴリーを25%ずつ均等に重み付けしています。現在のランキングでは、Claude Opus 5.5 (max)がスコア58でIndexをリードしており、それに続いてGPT-6 Astra (57)とGPT-6.1 Sol (55)が僅差で続いています。レポートでは、フロンティアモデルとオープンウェイトモデルの間の格差が拡大していることが強調されています。Kimi K3.1 Pro（ウェイトは未公開）がオープンウェイトカテゴリーで46を記録していますが、リーダーとの差は12ポイントまで拡大しました。さらに、データはコスト効率における大きな差異を明らかにしており、Intelligence Indexのタスクあたりのコストは、GPT-6.1 Terra (max)の0.96ドルからClaude Fable 5.1 (max)の13.04ドルまで幅があります。
Intelligence Indexに加えて、Artificial AnalysisはProgress Index v1を立ち上げました。現在のフロンティア能力を反映するために定期的に更新されるIntelligence Indexとは異なり、Progress Indexは時間の経過とともに単一の連続的なスケールでモデルの進歩を追跡するように設計されています。これは、モデルの能力とタスクの難易度を共同で推定する統計的枠組みである項目反応理論（IRT）を利用しています。このスケールを安定したフロンティアモデル、具体的には220のo3-mini (high)と320のGPT-5.5 (xhigh)に固定することで、Progress Indexは共有された評価タスクを通じてそれらを結びつけ、数年離れてリリースされたモデル同士の比較を可能にします。この手法により、モデルのスコアは単一のテストで使用された特定のベンチマークセットではなく、そのモデルが試みたタスクの難易度に対する相対的なパフォーマンスを反映することが保証されます。