Next-Concept Modeling (NCM) 在保持具有竞争力的质量得分的同时，生成文本的速度比现有的扩散语言模型快高达 31 倍。该框架由包括华盛顿大学等机构研究人员在内的团队开发，旨在解决当前大语言模型的主要瓶颈：即一次生成一个单词的缓慢、顺序生成特性。
超越顺序生成
大多数当前的文本生成依赖于自回归模型，这些模型一次产出一个标记。虽然扩散语言模型 (DLMs) 提供了一条通往并行采样的路径，但它们在减少采样步骤时往往会出现快速的质量下降，并且需要多次遍历数据集才能达到高质量输出。
NCM 引入了一种两阶段的“从粗到精”框架来解决这些效率问题。通过将重点从单个标记转向由离散代码表示的“概念”，模型可以同时在不同抽象层级上处理信息。
从粗到精的机制
该架构始于多尺度残差 VQ-VAE（向量量化变分自编码器）。该组件将文本编码为离散代码的分层结构，有效地创建了内容的多层地图。
Transformer 随后逐层生成这些代码。至关重要的是，模型并行预测单个层级内的所有代码。这种“从粗到精”的方法允许模型在细化特定细节之前先建立句子的宏观结构，从而绕过了传统生成的线性限制。
性能与推理收益
NCM 的效率提升非常显著。在 LM1B 数据集上，NCM 在运行速度快 21 倍的同时，实现了比最强 DLM 基准模型更好的生成困惑度。在 XSum 数据集上，它在运行速度快 31 倍的同时，达到了与最强 DLM 相同的 ROUGE-L 分数。
由 HN Digest 根据 arxiv.org 报告的数据绘制；数值与原文一致。
除了标准的文本生成，NCM 还展示了卓越的推理能力。在数独任务中，该模型在所有难度级别上均优于自回归和扩散基准模型，且需要更少的函数评估即可达到正确答案。
局限性与不确定性
虽然加速效果显著，但源材料并未指明 VQ-VAE 分层结构中的确切层数，也未说明用于平衡粗略和精细阶段的具体架构超参数。
此外，虽然 NCM 在并行生成方面表现出色，但关于初始 VQ-VAE 训练的复杂性与 Transformer 推理速度之间的权衡仍是需要进一步研究的领域。