Los Modelos de Lenguaje de Contexto (CLM) introducen un enfoque novedoso donde los modelos de lenguaje gestionan inherentemente su propio contexto tratándolo como un archivo que puede ser actualizado libremente. Según la fuente primaria, esta implementación 'trata el contexto como un archivo y permite al modelo realizar actualizaciones ilimitadas en este archivo', lo que permite al sistema aprender qué información es más importante retener. Esto contrasta con los métodos tradicionales donde la gestión del contexto es controlada externamente mediante arneses o técnicas de indicación.
El artículo demuestra que los CLM, de cero disparos con modelos existentes, superan significativamente las estrategias de gestión de contexto de última generación en múltiples benchmarks. Específicamente, la investigación muestra 'un 11,4% más de precisión con un 21,5% menos de FLOPs en BrowseComp-Plus, un 5% más de puntuación con un 59% menos de FLOPs en EdgeBench de 12 horas, y una mejora del 65% con el mismo cálculo en una tarea de enjambre de agentes multi-repositorio de 24 horas.' Estos resultados indican que los CLM logran un mejor rendimiento mientras consumen sustancialmente menos recursos computacionales.
Además de las ganancias de eficiencia, los CLM permiten tanto el aprendizaje en-contextual como el paramétrico de estrategias de gestión de contexto al trasladar el control de los sistemas externos al modelo mismo. La investigación muestra además que los CLM pueden ser guiados mediante instrucciones en lenguaje natural evolucionadas a través de un bucle estándar de optimización de habilidades, mejorando la precisión en datos no vistos hasta 35,9 puntos en una tarea de gestión de contexto mientras se reduce el cálculo. Además, el Reuso de Caché de Sufijo co-diseñado para la entrega de CLM reduce aún más el cálculo del servidor en un 35% relativo al SGLang estándar a un rendimiento equivalente.