Perplexity 发布 Decider v1.3：用于高效分类的专用决策模型

Perplexity Decider v1.3 在 63 个分类任务中实现了 91.6% 的平均准确率，比公司自身的生产级分类器高出 6.54 个百分点。与生成自由文本的标准生成模型不同，Decider 是一个“决策模型”——一个通用分类器，它针对二元、多类别或评分问题返回一组可能答案的概率分布。

图表展示了新决策模型与之前的生产标准相比实现的性能提升。

决策模型的架构

决策模型处于标准特定任务分类器和全规模生成式 LLM 之间。它们旨在通过在单次前向传播中为多个问题提供概率，来处理诸如判断输出质量、将请求路由到不同模型以及检测提示词注入等任务。

通过避免逐个 token 生成，这些模型可以在请求中的所有问题上共享计算。例如，单个请求可以同时询问摘要是否忠实于文档，以及该摘要是否面向专家受众，并使用共享上下文（状态）来告知这两个答案。

“决策模型处于 LLM 和特定任务分类器之间。它们在单次前向传播中返回关于相同输入的多个问题的概率，避免了逐个 token 生成答案，并在不同问题之间共享计算。”

— Perplexity Decider v1.3: Training, eval, and use cases

双向注意力与隔离问题

为了提高鲁棒性，Perplexity 采用了双向注意力，允许每个 token 纳入来自整个输入的上下文，而不仅仅是前面的 token。这一设计选择与“隔离问题”模式相结合，其中状态关注所有问题，但每个问题仅关注状态及其自身的 token。

此视觉效果解释了用于提高决策模型鲁棒性的特定架构选择。

选择这一特定配置而非“全员可见”或“完全可缓存”模式，是因为它在性能和答案稳定性之间提供了最佳平衡。虽然当问题集发生变化时，“隔离”问题可能会略微偏移（1.5-2.2% 的差异），但它们比问题之间高度相互影响的模型提供了更可靠的结果。

训练与“Locate”功能

模型采用三阶段配方进行训练：首先，在大型语料库上进行通用微调；其次，针对医疗或法律等特定领域进行基于 LoRA 的专业化；第三，进行视觉特定步骤。对于较小的 Decider Flash v1.3，较大的模型充当教师，使用基于 KL 的蒸馏来传递教师的输出分布和置信水平。

通过专门的训练阶段添加了新的“locate”功能。它使用 span head 和特殊的 <|locate|> token 从状态中提取逐字文本。与从预定义选项中选择的标准分类不同，“locate”功能为命名实体识别或抽取式问答等任务识别精确的字符位置。

这张图片演示了模型如何从内部状态中提取逐字文本，例如命名实体。

经济与性能权衡

Perplexity 报告称 Decider v1.3 比竞争模型更具经济效益。对于一百万次生产请求，Decider v1.3 的成本为 26.47 美元，而 Jev 1.14 的成本为 68.10 美元，GLM-5.3-Flash 的成本为 312.21 美元。

图表突出了新模型相对于其他生产就绪选项的经济效率。

虽然该模型在包括网络安全和金融在内的七个领域的零样本评估中表现出色，但仍存在技术权衡。例如，目前将“locate”适配器合并到主干网络中会导致决策请求出现退化，这意味着适配器必须保持未合并状态，且仅在特定的提取任务中激活。