“类 Jev”模型的定义在于其能够处理文本输入和一组选项,并在单次推理中返回每个选项的概率。这与标准的自回归生成形成对比,在自回归生成中,模型是逐个词预测文本的。通过转向这种单次推理方法,模型可以通过利用模型潜在空间中已经编码的智能,更高效地执行分类任务(如是/否或多选题),而无需承担顺序令牌预测带来的开销。

vLLM 项目中实现这一功能的工程机制涉及重新利用 DiffusionGemma 模型,使其与固定的令牌位置“画布”协同工作。在这种框架下,请求客户端提供一组固定的令牌槽位。模型随后在结构保持不变的情况下,“扩散”这些槽位的具体内容。为支持此功能引入的关键技术组件包括:`diffusion_seed_canvas`,用于用固定令牌预设输出;`diffusion_pinned`,确保特定位置在去噪步骤期间保持其种子值;以及 `diffusion_read_only`,允许模型在温度为 1 的情况下输出 logprobs,从而为每个答案提供置信度分数。

虽然这种方法为获取结构化输出提供了更直接的路径,但目前仍面临特定的架构限制。模型要求输出中的每个选项都由单个令牌表示,以确保在扩散过程中画布不会发生偏移。因此,如果客户端需要提供多令牌选项,他们必须首先将这些选项映射到单令牌 ID(例如,将“moderation_spam”映射到“A”)。此外,虽然模型提供 logprobs 以帮助客户端计算熵并确定置信度,但目前的原型尚未包含将这种单次推理扩散方法与标准自回归模型在处理复杂、多令牌结构化输出方面的实证基准测试。