El desarrollo de la infraestructura de inferencia del modelo GLM es una respuesta directa al cambiante panorama geopolítico del hardware de IA. A medida que las restricciones de exportación de EE. UU. limitan el acceso a GPUs de alta gama, las empresas de IA chinas se ven cada vez más obligadas a desarrollar infraestructuras autosuficientes. Este cambio ha convertido un potencial cuello de botella de hardware en un catalizador para la innovación de software, ya que los desarrolladores buscan formas de maximizar la utilidad de los chips producidos localmente.
Para lograr esto, el equipo detrás de GLM construyó un servicio de inferencia completo y de grado de producción desde cero. Este sistema actualmente impulsa toda la inferencia de producción para el modelo GLM-5.3-Flash y se ejecuta en un clúster masivo de más de 100,000 aceleradores de IA fabricados en China. El núcleo de este logro reside en una serie de optimizaciones de memoria agresivas. Según los desarrolladores y los comentaristas en Hacker News, estas mejoras a nivel de software permitieron al equipo lograr una mejora de 3x en el rendimiento de servicio de extremo a extremo en comparación con su línea base inicial en el mismo hardware. Al optimizar cómo el modelo interactúa con la memoria disponible y los recursos de cómputo, alcanzaron un nivel de eficiencia de hardware y costo por token que afirman es comparable a las GPUs principales de NVIDIA.
Si bien estas optimizaciones demuestran que los chips chinos pueden soportar la inferencia de modelos de frontera a escala, la transición a esta infraestructura no ha estado exenta de fricciones. Algunos usuarios han reportado velocidades 'tipo caracol' y límites de uso estrictos al acceder al servicio, lo que sugiere que, aunque la infraestructura está lista para la producción, aún puede enfrentar desafíos de escalabilidad o restricciones de capacidad. Además, aunque las optimizaciones de software han cerrado una brecha de rendimiento significativa, los detalles técnicos específicos de estas optimizaciones de memoria y las especificaciones exactas de los 100,000 aceleradores permanecen sin revelar, dejando el alcance total del salto técnico como un hito interno para los desarrolladores.