Moonshot AI 发布了其迄今为止功能最强大的 3T 级模型 Kimi K3.1 Pro。作为一个开放权重的原生多模态智能体模型,它旨在处理文本和图像输入。该模型是基于 Kimi K3,通过在数百个下游领域进行大规模联合强化学习后训练而成的。它拥有 100 万 token 的上下文窗口,旨在显著提升编程、3D 创作、金融研究和事实准确性方面的表现。

Kimi 聊天机器人界面的截图,显示对话交互。
Kimi 聊天机器人界面展示了该模型对话能力。en.wikipedia.org

这张图片展示了 Kimi AI 模型系列的对话界面。

该模型采用混合专家(MoE)架构,总参数量达 2.8 万亿,每个 token 激活的参数量为 1040 亿。与之前的 Kimi K3 模型相比,一个关键的架构转变是使用 Gated DeepSeek Sparse Attention (Gated DSA) 层取代了全注意力 Gated MLA 层。这一变化专门旨在促进更高效的长文本建模。该架构包含 896 个专家,每个 token 选择 16 个专家和 2 个共享专家,此外还配备了一个拥有 4.01 亿参数的视觉编码器 (MoonViT-V2)。

在性能评估中,Kimi K3.1 Pro 在各种基准测试中表现出色。例如,它在 Terminal-Bench 4.0 上获得了 65.7 的分数,在带有工具的 BenchCAD 上获得了 92.7 的分数,使其在多个类别中与 Claude 和 GPT-6 Astra 等高性能模型并列。然而,来源指出,某些结果(如 PostTrain Bench)是使用 H20 GPU 而非 H100 GPU 进行评估的,这可能会影响与在更高端硬件上测试的模型进行的直接比较。此外,对于多轮对话,模型要求将完整的助手消息(包括 `reasoning_content` 字段)传回 API,以保持正确的上下文。

虽然该模型是开放权重的,但其巨大的规模带来了显著的部署考量。架构的复杂性和参数数量表明,本地推理对硬件要求很高。此外,虽然该模型在 Kimi Code Bench 3.0 等内部基准测试中表现良好,但这些结果是特定于开发者的内部测试环境的,在不同的生产环境中可能会有所不同。该模型目前可通过 API 获取,并支持 vLLM、SGLang 和 TokenSpeed 等推理引擎。