Aleph Alphaは、ドイツ語と英語の言語処理に特化した新しいオープンウェイト大規模言語モデルKolibriをリリースしました。2026年10月3日、Apache 2.0ライセンスの下でリリースされたKolibriは、ドイツとフィンランドのトレーニングインフラストラクチャーを用いて欧州およびドイツ法の下で構築された、同社が称する『ソブリン』AIモデルを表しています。その核となるKolibriは、総パラメータ数781億のMixture-of-Experts(MoE)モデルであり、処理されるトークンあたり約35億パラメータのみをアクティベートします。この効率は、各層に384のエキスパートサブネットワークと1つの共有エキスパートを含む50層により実現され、ルーティングメカニズムが各トークンを384のエキスパートのうち6つに導きます。Aleph Alphaによると、このアプローチにより、トークンあたりの計算要件を削減しながら、はるかに大きなモデルに匹敵する能力を提供できるとのことです。このモデルは、ドイツ語処理の向上を目的としたいくつかの技術的革新を導入しています。UniBPEアルゴリズムで訓練されたそのトークナイザーは128,000トークンを使用し、Aleph Alphaの測定によればGPT-5のトークナイザーと比較してドイツ語テキストに対して11.2%少ないトークン数で済みます。この効率は特にドイツの基本法(連邦共和国ドイツの基本法)などの法律文書において顕著で、KolibriはGPT-5のトークナイザーと比較して15%少ないトークン数で処理できます。Kolibriはハイブリッド注意機構を採用しており、50層のうち40層はスライドウィンドウ注意(各トークンが過去512トークンに注意を向ける)を使用し、残りの毎第五層は過去のすべてのトークンにフルアテンションを適用します。この設計により、モデルはネイティブで262,144トークン、テストでは最大1,048,576トークンまでの長いコンテキストをコスト効率よく処理できるようになります。言語固有の推論課題に対処するため、Aleph Alphaは約80万のドイツ語推論例でKolibriを訓練し、2025年のアメリカンインビテーショナルマセマティクスエグザミネーション(AIME)におけるドイツ語の数学スコアを87.5とし、アクティブパラメータ数が類似する他のモデルを上回る成績を収めました。さらに、Aleph Alphaが『Merlin-Arthurプロトコル』と呼ぶ手法を実装し、幻覚を起こす代わりに十分な情報がないことを認識して回答を控えるように訓練することで、不確実性の扱いを改善しています。Aleph Alphaの性能評価によると、Kolibriは同サイズのオープンモデルの中でいくつかの分野でリードしています:英語全体スコア75.5、ドイツ語全体スコア70.8、AIME 2025数学テストでは英語96.9・ドイツ語87.5で同様のモデルを上回り、100万トークンの長コンテキストタスクではRULERベンチマークで63.2の強い性能を示しています。さらに、未見の英語の企業文書に関する質問への回答能力も示されており、スコアは89.7です。ただし、Aleph Alphaはいくつかの制約を認めています。クローズドブックの知識テストではKolibriの性能が劣り、サポートドキュメントなしのRetrieval-Augmented Generationベンチマークの質問で51.0点を獲得し、これは類似モデルの正答率22.2%を大きく下回っています。マルチターンツール呼び出しは弱く、Berkeley Function Calling Leaderboardのマルチターンテストでのスコアは39.8であり、GLM-4.7 Flashの58.2に劣ります。コーディングエージェントとしての性能も控えめで、Terminal-Bench 2.1では27.7、SWE-bench Verifiedでは66.4です。実際のデプロイでは、8ビット浮動小数点形式での重みが約78GB必要となり、データセンター向けGPU(NVIDIA A100/H100のペアまたはシングルH200/B200/B300プロセッサー)が必要になるなどの考慮事項があります。モデルの動作にはAleph Alpha固有のvLLMプラグイン(現在vLLMバージョン0.29をサポート)が必要であり、リリース時点ではホストプロバイダーがこのモデルを提供していませんでした。Kolibriがドイツ語と英語の2言語に焦点を絞っているのは、広範な多言語カバレッジよりもこれらの言語の深度を優先するトレードオフを表しています。このモデルの知識カットオフは2026年6月18日で、リクエストごとに調整可能な推論努力レベル(なし、低、中、高)の4段階およびツール呼び出し機能をサポートしています。Aleph Alphaは欧州連合の一般目的AI(GPAI)行動規範に署名しており、Kolibリが今後のAI規制に準拠する位置づけとなっています。
HN Digest / · HN #49943034
ドイツのソブリンAIモデルKolibriは、バイリンガルLLMにおいて効率性と能力のバランスを取る
Aleph Alphaは、ドイツ語と英語に特化して設計された780億パラメータのMixture-of-Experts言語モデルKolibriをリリースしました。このモデルはトークンあたり約35億パラメータのみをアクティベートします。ドイツとフィンランドのトレーニングインフラストラクチャーを用いてEU AI法の下で構築され、Kolibriはトークン化、注意機構、推論能力において革新をもたらしつつ、メモリ要件や特定のベンチマーク性能におけるトレードオフを認めています。

出典ページのスクリーンショット(tej.as)