Meta、Muse Spark Openを公開:大規模なSparse Mixture-of-Expertsモデル
Metaは、ソフトウェアエンジニアリングのような複雑なエージェント的タスク向けに設計された、8160億パラメータのマルチモーダルモデル「Muse Spark Open」の重みを公開しました。このモデルはSparse Mixture-of-Experts(MoE)アーキテクチャを採用しており、トークンごとに420億のパラメータのみをアクティブにすることで、デュアルMac Studioのようなハイエンドのコンシューマー向けハードウェアでの動作を可能にしています。
記事全文を読む →









:max_bytes(150000):strip_icc()/24-02-WS1726201_Snack-BevStudioShoot2024_Biscoff_KEY_052.JPEG-M-2COURTESYOFDELTA-6b07a5ebf1d548258132b6f640877b35.jpg)






-oOdUn61bDRSykk4H951SoDOHzqoOe1.png)










