百度发布了 ERNIE 5.5 Flash Base，这是一款旨在为开发者提供高效率起点设计的语言模型。与成熟的 AI 助手不同，“基础”模型是在预训练阶段结束时捕获的检查点，此时尚未进行指令微调或强化学习等中后期训练步骤。通过发布权重，百度提供了一个基础架构，让开发者可以将自己的资源集中在特定的领域适配、推理任务和智能体应用上，而无需承担从零开始进行大规模预训练的极高成本。
该模型采用了稀疏混合专家（MoE）架构，拥有 280B 总参数，但每个 token 仅激活 14B 参数。为了平衡能力与推理效率，该架构纳入了多个专门组件。这些组件包括混合稀疏注意力系统——结合了多头潜在注意力（MLA）和高度压缩注意力（HCA）——以及多路由器潜在 MoE 系统。多路由器设计使用多个独立初始化的 sigmoid 路由器来共同对专家进行评分，百度声称与传统的单路由器系统相比，这种设计提高了路由的准确性和稳定性。此外，该模型还使用了一种新的 BPE 分词器，该分词器采用从右到左处理数字的方式，以提高在算术任务上的表现。
此图展示了提到的特定架构组件，如混合稀疏注意力和多路由器潜在 MoE 系统。
ERNIE 5.5 Flash Base 在 33.5T token 上进行了预训练，训练上下文长度最高可达 128K token，同时支持 1M token 的上下文用于微调和推理。训练过程采用了自定义的分布式 Muon 优化器，并专注于高质量数据，包括仓库级代码和长上下文文档。虽然该模型提供了一个纯净的研究基准和高效率，但需要注意的是，作为基础模型，它尚未经过微调以遵循特定指令。打算将其用于对话界面或特定任务遵循行为的用户，需要进行进一步训练才能实现这些能力。主要的权衡在于，虽然该模型提供了一个强大的起点，但需要额外的开发工作才能从原始预训练检查点过渡到生产就绪的应用。
此图提供了模型性能相对于其他基础模型在多个基准测试中的视觉对比。