Meta ha lanzado oficialmente los pesos de Muse Spark Open, que la empresa describe como su modelo de pesos abiertos más capaz en los Estados Unidos hasta la fecha. El modelo es un sistema nativamente multimodal capaz de procesar entradas de texto, imagen, video y audio. Cuenta con una ventana de contexto de 1 millón de tokens y está diseñado específicamente para flujos de trabajo 'agentes': tareas que requieren planificación a largo plazo, razonamiento de múltiples pasos y la capacidad de utilizar herramientas externas para corregir errores. Ejemplos de estos flujos de trabajo incluyen el envío de cambios de código reales a proyectos de código abierto o la realización de edición de video de extremo a extremo revisando el metraje fotograma a fotograma.
Esta imagen sirve como la representación visual principal de los pesos del modelo Muse Spark Open lanzados por Meta.
Técnicamente, Muse Spark Open está construido sobre una arquitectura de mezcla de expertos (MoE) dispersa. Aunque el modelo contiene un total de 816 mil millones de parámetros, solo activa aproximadamente 42 mil millones de parámetros para cada token generado. Este diseño permite que el modelo mantenga capacidades de razonamiento de alto nivel mientras permanece lo suficientemente eficiente computacionalmente como para ejecutarse en hardware de escritorio. Meta ha optimizado el modelo para varios motores de inferencia, incluidos SGLang, vLLM y el framework MLX de Apple. Notablemente, el modelo puede ejecutarse en dos Mac Studios con Apple M5 Ultra aprovechando la memoria unificada y el paralelismo de tensores; las dos máquinas actúan como una sola unidad donde cada una sostiene la mitad de los pesos y realiza la mitad de la computación, con los resultados intermedios viajando entre ellas a través de conexiones de gran ancho de banda.
Aunque el modelo se lanza bajo la Muse Model License, incluye restricciones comerciales y de seguridad específicas. La licencia permite el uso gratuito por parte de muchos desarrolladores, pero requiere un acuerdo separado con Meta si una empresa ofrece el modelo como un servicio (Model as a Service) y supera los 20 millones de dólares en ingresos brutos anuales. Además, el modelo incluye un post-entrenamiento de seguridad para cumplir con los umbrales del Superintelligence Scaling Framework de Meta. Los desarrolladores pueden personalizar aún más el modelo utilizando TorchTitan de PyTorch o ajustarlo mediante varias APIs y frameworks gestionados como Hugging Face TRL y NVIDIA NeMo AutoModel. Los pesos están actualmente disponibles para su descarga en las principales plataformas, incluidas Hugging Face, Amazon SageMaker y Google Cloud Model Garden.