Meta 已正式发布 Muse Spark Open 的权重，该公司将其描述为迄今为止能力最强的美国开源权重模型。该模型是一个原生多模态系统，能够处理文本、图像、视频和音频输入。它拥有 100 万 token 的上下文窗口，并专门为“智能体”工作流而设计——这些任务需要长程规划、多步推理以及使用外部工具纠正错误的能力。这些工作流的示例包括将真实的代码更改提交到开源项目，或通过逐帧审查素材进行端到端的视频编辑。
这张图片是 Meta 发布 Muse Spark Open 模型权重的主要视觉呈现。
从技术角度看，Muse Spark Open 构建在稀疏混合专家（MoE）架构之上。虽然该模型总共包含 8160 亿个参数，但它在生成每个 token 时仅激活约 420 亿个参数。这种设计使模型能够在保持高水平推理能力的同时，保持足够的计算效率以在桌面硬件上运行。Meta 已针对包括 SGLang、vLLM 和 Apple 的 MLX 框架在内的各种推理引擎对模型进行了优化。值得注意的是，通过利用统一内存和张量并行，该模型可以在两台 Apple M5 Ultra Mac Studio 上运行；这两台机器作为一个单一单元运行，每台机器持有一半的权重并执行一半的计算，中间结果通过高带宽连接在机器之间传输。
虽然该模型是在 Muse Model License 协议下发布的，但它包含特定的商业和安全限制。该许可证允许许多开发者免费使用，但如果公司将模型作为服务（Model as a Service）提供且年总收入超过 2000 万美元，则需要与 Meta 签署单独的协议。此外，该模型包含了旨在满足 Meta 超智能扩展框架（Superintelligence Scaling Framework）阈值的安全后训练。开发者可以使用 PyTorch 的 TorchTitan 进一步定制模型，或使用 Hugging Face TRL 和 NVIDIA NeMo AutoModel 等各种托管 API 和框架对其进行微调。目前，权重可在 Hugging Face、Amazon SageMaker 和 Google Cloud Model Garden 等主要平台下载。