Metaは、同社がこれまでで最も有能な米国製オープンウェイトモデルと称するMuse Spark Openの重みを正式に公開しました。このモデルは、テキスト、画像、ビデオ、およびオーディオの入力を処理できるネイティブなマルチモーダルシステムです。100万トークンのコンテキストウィンドウを備え、長期的な計画、多段階の推論、およびエラーを修正するための外部ツールの使用能力を必要とする「エージェント的」なワークフロー向けに特別に設計されています。これらのワークフローの例としては、オープンソースプロジェクトに実際のコード変更を送信することや、フッテージをフレームごとに確認してエンドツーエンドのビデオ編集を行うことなどが挙げられます。
この画像は、Metaによって公開されたMuse Spark Openモデルの重みの主要な視覚的表現として機能する。
技術面では、Muse Spark OpenはSparse Mixture-of-Experts（MoE）アーキテクチャに基づいて構築されています。モデルは合計で8160億のパラメータを含んでいますが、生成される各トークンに対してアクティブになるのは約420億のパラメータのみです。この設計により、モデルは高度な推論能力を維持しながら、デスクトップハードウェアで動作するのに十分な計算効率を保つことができます。Metaは、SGLang、vLLM、およびAppleのMLXフレームワークを含むさまざまな推論エンジン向けにモデルを最適化しました。特筆すべき点として、このモデルはユニファイドメモリとテンソル並列を利用することで、2台のApple M5 Ultra Mac Studio上で動作可能です。これら2台のマシンは単一のユニットとして機能し、各マシンが重みの半分を保持して計算の半分を実行し、中間結果を高帯域接続を介して相互にやり取りします。
このモデルはMuse Model Licenseの下で公開されていますが、特定の商用および安全に関する制約が含まれています。このライセンスは多くの開発者による自由な使用を許可していますが、企業がモデルをサービスとして提供（Model as a Service）し、年間総売上高が2,000万ドルを超える場合は、Metaとの別途の契約が必要となります。さらに、このモデルにはMetaのSuperintelligence Scaling Frameworkの閾値を満たすための安全な事後学習が含まれています。開発者は、PyTorchのTorchTitanを使用してモデルをさらにカスタマイズしたり、Hugging Face TRLやNVIDIA NeMo AutoModelなどのさまざまな管理型APIおよびフレームワークを使用してファインチューニングしたりすることも可能です。重みは現在、Hugging Face、Amazon SageMaker、Google Cloud Model Gardenを含む主要なプラットフォームでダウンロード可能です。