Baiduは、開発者のための高効率な出発点として設計された言語モデル、ERNIE 5.5 Flash Baseを公開しました。完成したAIアシスタントとは異なり、「ベース」モデルは、指示チューニングや強化学習などの中間または事後トレーニングのステップが行われる前の、事前学習フェーズの最後にキャプチャされたチェックポイントです。重みを公開することで、Baiduは開発者がゼロからの大規模な事前学習という法外なコストを負担する代わりに、特定のドメインへの適応、推論タスク、およびエージェントアプリケーションに独自のリソースを集中できる基盤を提供します。
このモデルはスパースMixture-of-Experts（MoE）アーキテクチャを採用しており、総パラメータ数は280Bですが、トークンごとにアクティブになるのはわずか14Bです。能力と推論効率のバランスをとるため、このアーキテクチャにはいくつかの特殊なコンポーネントが組み込まれています。これらには、Multi-head Latent Attention（MLA）とHeavily Compressed Attention（HCA）を組み合わせたハイブリッドスパースアテンションシステム、およびMulti-Router Latent MoEシステムが含まれます。Multi-Router設計は、独立して初期化された複数のシグモイドルーターを使用してエキスパートを共同でスコアリングし、これにより従来のシングルルーターシステムと比較してルーティングの精度と安定性が向上したとBaiduは主張しています。さらに、このモデルは算術タスクの性能を向上させるために、数値を右から左へ処理する新しいBPEトークナイザーを使用しています。
この図は、ハイブリッドスパースアテンションやMulti-Router Latent MoEシステムなど、言及された特定のアーキテクチャコンポーネントを説明しています。
ERNIE 5.5 Flash Baseは、最大128Kトークンのトレーニングコンテキストで33.5Tトークンを用いて事前学習されており、微調整および推論では1Mトークンのコンテキストをサポートしています。トレーニングプロセスでは、カスタムの分散Muonオプティマイザーを使用し、リポジトリ規模のコードや長文コンテキストのドキュメントを含む高品質なデータに焦点を当てました。このモデルはクリーンな研究ベースラインと高い効率性を提供しますが、ベースモデルであるため、特定の指示に従うようにまだ微調整されていないことに注意が必要です。対話型インターフェースや特定のタスク実行動作に使用することを意図するユーザーは、それらの能力を実現するためにさらなるトレーニングを行う必要があります。主なトレードオフは、このモデルが強力な出発点を提供する一方で、生の事前学習済みチェックポイントから製品レベルのアプリケーションへと移行するには追加の開発努力が必要になることです。
このチャートは、複数のベンチマークにわたる他のベースモデルと比較したモデルの性能の視覚的な比較を提供します。