Aleph Alpha ha lanzado Kolibri, un nuevo modelo de lenguaje de pesos abiertos posicionado como una solución de IA soberana para entornos de misión crítica. Kolibri es un Transformer de Mixture-of-Experts en inglés y alemán con un total de 78 mil millones de parámetros y 3 mil millones de parámetros activos por token. El modelo puede manejar longitudes de contexto de hasta 1 millón de tokens y se distribuye bajo la licencia Apache 2.0 a través de Hugging Face.
La imagen de apertura presenta el logotipo de colibrí de Kolibri sobre un degradado verde, representando la identidad de marca del modelo como una solución de IA soberana.
El lanzamiento enfatiza la soberanía a través de dos dimensiones: cómo se construyó el modelo y cómo se transfiere a los clientes. Aleph Alpha proporciona integridad total en la cadena de suministro, documentando cada paso desde la ingesta de datos hasta el preentrenamiento, el entrenamiento posterior y la evaluación final. La empresa afirma que los clientes disfrutan de libertad de despliegue y seguridad de la propiedad intelectual, heredando el cumplimiento como una propiedad del propio modelo.
Kolibri fue especializado para el alemán, el razonamiento, las matemáticas y el comportamiento de agentes. Se desarrolló un tokenizador bilingüe alemán/inglés, y el 21.3% de los tokens de preentrenamiento son datos orgánicos en alemán, lo que significa que el modelo es bilingüe por diseño en lugar de ser un modelo en inglés que simplemente leyó algo de alemán. El entrenamiento se llevó a cabo en infraestructura en Alemania y Finlandia bajo leyes europeas y alemanas, sin control extranjero.
La pantalla del menú muestra las opciones del modelo Kolibri, reflejando la accesibilidad del modelo para sectores regulados y su tokenizador bilingüe alemán/inglés.
Los resultados de las pruebas de rendimiento sitúan a Kolibri en la frontera de Pareto para calidad frente al coste de servicio tanto en inglés como en alemán. En muchas tareas, incluyendo matemáticas, programación y razonamiento de contexto largo, Kolibri iguala a modelos con hasta cuatro veces su recuento de parámetros activos, como Nemotron 3 Super. El modelo también hereda el entrenamiento de abstención (el protocolo Merlin-Arthur), lo que le permite producir un "no lo sé" cuando el contexto no permite una respuesta, una característica valorada por los clientes.
Kolibri Origin, un modelo previo de 30 mil millones de parámetros, sirvió como un paso intermedio; Kolibri mejora sobre este con más parámetros, una ventana de contexto más larga (hasta 256 mil tokens entrenados frente a 65 mil para Origin) y un mayor recuento de tokens de entrenamiento (20 billones frente a 7.5 billones). El flujo de entrenamiento se implementó como flujos de trabajo de GitHub Actions, manejando automáticamente las interrupciones de hardware y los puntos de control.
El panel presenta a miembros del equipo de Aleph Alpha discutiendo el desarrollo de Kolibri y su posicionamiento de IA soberana en el lanzamiento público.
En general, Kolibri pretende ofrecer a los sectores regulados un modelo transparente y desplegable cuyo tamaño y eficiencia permiten la operación en las instalaciones sin enviar datos internos a servicios de terceros.