上下文语言模型使 AI 系统能够自管理上下文

上下文语言模型（CLM）提出了一种新颖的方法：语言模型通过将上下文视为可自由更新的文件，固有地管理自身上下文。根据主要来源，此实现‘将上下文视为文件并允许模型对该文件进行无限制更新’，从而使系统能够学习哪些信息最重要而应予以保留。这与传统方法形成对比，传统方法通过外部手段或提示技术控制上下文管理。

论文表明，CLM 在零样本情况下与现有模型结合，在多个基准测试中显著优于最先进的上下文管理策略。具体而言，研究显示‘在 BrowseComp-Plus 上准确率提高 11.4%，FLOPs 减少 21.5%；在 12 小时 EdgeBench 上得分提高 5%，FLOPs 减少 59%；在相同计算量下，24 小时多仓库代理群任务的改进幅度提高 65%。’这些结果表明，CLM 在消耗显著更少计算资源的同时实现了更好的性能。

除了效率提升，CLM 通过将控制权从外部系统转移到模型自身，实现了上下文和参数两方面的上下文管理策略学习。研究进一步表明，CLM 可以通过标准技能优化循环演化的自然语言指令进行引导，在上下文管理任务上将保持外部准确率提高多达 35.9 个百分点，同时降低计算量。此外，专为 CLM 服务设计的后缀缓存重用（Suffix Cache Reuse）在匹配性能的情况下，相较于标准 SGLang 将服务器端计算降低 35%。