Baidu ha lanzado ERNIE 5.5 Flash Base, un modelo de lenguaje diseñado como un punto de partida de alta eficiencia para los desarrolladores. A diferencia de un asistente de IA terminado, un modelo 'base' es un punto de control capturado al final de la fase de preentrenamiento, antes de cualquier paso de entrenamiento intermedio o posterior, como el ajuste de instrucciones o el aprendizaje por refuerzo. Al publicar los pesos, Baidu proporciona una base que permite a los desarrolladores centrar sus propios recursos en la adaptación a dominios específicos, tareas de razonamiento y aplicaciones de agentes, en lugar de asumir el costo prohibitivo del preentrenamiento a gran escala desde cero.
El modelo utiliza una arquitectura de Mixture-of-Experts (MoE) dispersa, que cuenta con un total de 280B parámetros con solo 14B activados por token. Para equilibrar la capacidad con la eficiencia de inferencia, la arquitectura incorpora varios componentes especializados. Estos incluyen un sistema de atención dispersa híbrida —que combina Multi-head Latent Attention (MLA) y Heavily Compressed Attention (HCA)— y un sistema Multi-Router Latent MoE. El diseño Multi-Router utiliza varios enrutadores sigmoid inicializados independientemente para puntuar a los expertos conjuntamente, lo que, según afirma Baidu, mejora la precisión y estabilidad del enrutamiento en comparación con los sistemas convencionales de enrutador único. Además, el modelo utiliza un nuevo tokenizador BPE que maneja los números de derecha a izquierda para mejorar el rendimiento en tareas aritméticas.
Este diagrama ilustra los componentes arquitectónicos específicos mencionados, como la atención dispersa híbrida y el sistema Multi-Router Latent MoE.
ERNIE 5.5 Flash Base fue preentrenado con 33.5T tokens con un contexto de entrenamiento de hasta 128K tokens, mientras que admite un contexto de 1M de tokens para el ajuste fino y la inferencia. El proceso de entrenamiento utilizó un optimizador Muon distribuido personalizado y se centró en datos de alta calidad, incluyendo código a escala de repositorio y documentos de contexto largo. Si bien el modelo ofrece una base de investigación limpia y una alta eficiencia, es importante señalar que, como modelo base, aún no está ajustado para seguir instrucciones específicas. Los usuarios que pretendan utilizarlo para interfaces conversacionales o comportamientos de seguimiento de tareas específicas necesitarán realizar un entrenamiento adicional para lograr esas capacidades. La principal desventaja es que, aunque el modelo proporciona un punto de partida potente, requiere un esfuerzo de desarrollo adicional para pasar de un punto de control preentrenado puro a una aplicación lista para producción.
Este gráfico proporciona una comparación visual del rendimiento del modelo en relación con otros modelos base en múltiples evaluaciones.