Aleph Alphaは、ミッションクリティカルな環境向けの主権的なAIソリューションとして位置付けられた新しいオープンウェイト言語モデル「Kolibri」をリリースしました。Kolibriは、総パラメータ数が780億、トークンあたりのアクティブパラメータ数が30億の英独対応Mixture-of-Experts Transformerです。このモデルは最大100万トークンのコンテキスト長を処理でき、Hugging Faceを通じてApache 2.0ライセンスで配布されています。
オープニング画像は、緑のグラデーションを背景にしたKolibriのハチドリロゴを特徴としており、主権的なAIソリューションとしてのモデルのブランドアイデンティティを表現しています。
このリリースは、モデルの構築方法と顧客への転送方法という2つの側面を通じて「主権」を強調しています。Aleph Alphaは、データの取り込みから事前・事後トレーニング、最終評価に至るまでのすべてのステップを文書化し、完全なサプライチェーンの完全性を保証します。同社は、顧客がデプロイの自由と知的財産の安全性を享受でき、コンプライアンスをモデル自体の特性として継承できると述べています。
Kolibriは、ドイツ語、推論、数学、およびエージェンティックな動作に特化して設計されました。バイリンガルのドイツ語/英語トークナイザーが開発され、事前トレーニングトークンの21.3%が純粋なドイツ語データです。これは、モデルが単にドイツ語を読んだだけの英語モデルではなく、設計段階からバイリンガルであることを意味します。トレーニングは、外国の管理を受けない欧州およびドイツの法律の下、ドイツとフィンランドのインフラで実施されました。
メニュー画面にはKolibriのモデルオプションが表示されており、規制の厳しい分野に対するモデルのアクセシビリティと、バイリンガルのドイツ語/英語トークナイザーを反映しています。
ベンチマークの結果、Kolibriは英語とドイツ語の両方において、品質対提供コストのパレートフロンティアに位置しています。数学、コーディング、長文コンテキストの推論を含む多くのタスクにおいて、KolibriはNemotron 3 Superなど、アクティブパラメータ数が最大4倍のモデルに匹敵する性能を示します。また、このモデルは棄権トレーニング（Merlin-Arthurプロトコル）を継承しており、コンテキストが回答をサポートしていない場合に「わかりません」と出力することができ、これは顧客に高く評価される機能です。
以前の300億モデルであるKolibri Originは中間ステップとして機能しましたが、Kolibriはより多くのパラメータ、より長いコンテキストウィンドウ（Originの65kに対し、トレーニング済みで最大256k）、およびより大きなトレーニングトークン数（Originの7.5Tに対し20T）を備えることで、それを改善しています。トレーニングパイプラインはGitHub Actionsワークフローとして実装され、ハードウェアの中断やチェックポイントを自動的に処理します。
パネルでは、Aleph Alphaのチームメンバーが公開リリースにおいて、Kolibriの開発と主権的なAIとしての位置付けについて議論しています。
全体として、Kolibriは規制の厳しい分野に対し、透明性が高くデプロイ可能なモデルを提供することを目指しています。そのサイズと効率性により、内部データをサードパーティのサービスに送信することなく、オンプレミスでの運用を可能にします。