Moonshot AIは、同社で最も高性能な3TクラスのモデルであるKimi K3.1 Proをリリースしました。オープンウェイトのネイティブマルチモーダル・エージェントモデルとして、テキストと画像の両方の入力を処理できるように設計されています。このモデルは、Kimi K3をベースに、数百のダウンストリームドメインにわたる大規模な共同強化学習を用いてポストトレーニングが行われました。100万トークンのコンテキストウィンドウを備え、コーディング、3D制作、財務調査、および事実の正確性の面で大幅な改善を目指しています。
この画像は、Kimi AIモデルファミリーの対話インターフェースを例示しています。
このモデルはMixture-of-Experts（MoE）アーキテクチャを採用しており、総パラメータ数は2.8兆、トークンあたりのアクティブパラメータ数は1,040億です。前モデルであるKimi K3からの主要なアーキテクチャの変更点は、フルアテンションのGated MLAレイヤーをGated DeepSeek Sparse Attention（Gated DSA）レイヤーに置き換えたことです。この変更は、より効率的な長文コンテキストモデリングを促進することを具体的に意図しています。アーキテクチャには896の専門家（experts）が含まれ、トークンごとに16の専門家と2つの共有専門家が選択されるほか、4億100万パラメータを持つビジョンエンコーダ（MoonViT-V2）も搭載されています。
性能評価において、Kimi K3.1 Proはさまざまなベンチマークで競争力のある結果を示しています。例えば、Terminal-Bench 4.0で65.7、ツールを使用したBenchCADで92.7のスコアを達成しており、いくつかのカテゴリーではClaudeやGPT-6 Astraといった他の高性能モデルと並んで評価されています。しかし、ソースによれば、PostTrain Benchなどの一部の結果はH100 GPUではなくH20 GPUを使用して評価されており、より上位のハードウェアでテストされたモデルとの直接的な比較には影響を与える可能性があると記されています。さらに、マルチターン会話において、モデルは適切なコンテキストを維持するために、`reasoning_content`フィールドを含むアシスタントのメッセージ全体をAPIに送り返す必要があります。
このモデルはオープンウェイトではありますが、その巨大なスケールはデプロイにおいて重要な考慮事項を提示します。アーキテクチャの複雑さとパラメータ数は、ローカル推論において高いハードウェア要件を示唆しています。さらに、Kimi Code Bench 3.0のような内部ベンチマークでは良好なパフォーマンスを示していますが、これらの結果は開発者の内部テスト環境に特有のものであり、異なるプロダクション環境では変動する可能性があります。現在、このモデルはAPIを通じて利用可能であり、vLLM、SGLang、TokenSpeedなどの推論エンジンをサポートしています。