GLMモデルの推論インフラの開発は、AIハードウェアを取り巻く地政学的な変化に対する直接的な対応です。米国の輸出規制によってハイエンドGPUへのアクセスが制限される中、中国のAI企業は自立したインフラの開発を余儀なくされています。この変化は、国内生産のチップの有用性を最大化する方法を模索する開発者にとって、潜在的なハードウェアのボトルネックをソフトウェア革新の触媒へと変えました。

これを実現するために、GLMのチームは完全なプロダクション級の推論サービスをゼロから構築しました。このシステムは現在、GLM-5.3-Flashモデルのすべてのプロダクション推論を支えており、10万個以上の中国製AIアクセラレータの巨大なクラスター上で動作しています。この成果の核心は、一連の積極的なメモリ最適化にあります。開発者やHacker Newsのコメントによると、これらのソフトウェアレベルの改善により、同じハードウェア上での初期のベースラインと比較して、エンドツーエンドのサービング性能を3倍向上させることができました。モデルが利用可能なメモリおよび計算リソースとどのように相互作用するかを最適化することで、彼らは主流のNVIDIA GPUに匹敵すると主張するハードウェア効率とトークンあたりのコストに到達しました。

これらの最適化は、中国製チップが大規模なフロンティアモデルの推論をサポートできることを示していますが、このインフラへの移行には摩擦も伴いました。一部のユーザーは、サービスへのアクセス時に「カタツムリのような」速度や厳格な利用制限を報告しており、インフラはプロダクション対応ではあるものの、依然としてスケーリングの課題や容量の制約に直面している可能性を示唆しています。さらに、ソフトウェアの最適化によって大きな性能差を埋めたものの、これらのメモリ最適化の具体的な技術的詳細や、10万個のアクセラレータの正確な仕様は公開されておらず、技術的な飛躍の全容は開発者にとっての内部的なマイルストーンのままとなっています。