一个 25 行的 Python 示例正以“Jev”之名传播,但其发布者明确将这篇帖子描述为戏仿之作。这段代码演示了一种通用技术:用固定选项提示普通的 GGUF 语言模型,检查最终位置为每个选项分配的 logits,再将这些分数归一化为概率。

对 A/B/C 评分,再映射为文字选项 · 原始示例
import numpy

labels = ["A", "B", "C"]
choices = ["Legitimate", "Spam", "Phishing"]

# The model and prompt have already been evaluated.
logits = model.scores[model.n_tokens - 1]
token_ids = [model.tokenize(text=label.encode(), add_bos=False)[0] for label in labels]
choice_logits = numpy.asarray([logits[token_id] for token_id in token_ids])
logprobs = choice_logits - numpy.logaddexp.reduce(choice_logits)
probabilities = numpy.exp(logprobs)
values = numpy.round(probabilities.astype(float), 3).tolist()
print(dict(zip(choices, values, strict=True)))

在所提供的示例中,脚本加载 Qwen3-0.6B,给出三个邮件分类标签,并报告“Phishing”的概率为 88.5%。这个结果只说明一个模型对一条提示作出了何种响应。它并不能证明该模型准确、概率经过校准,或与单独训练出来的决策系统等价。

TypeSafe 自己的公告从更广泛的层面将 Jev 描述为一种 System One 模型,针对快速、结构化且概率化的决策进行了优化。该公司称,Jev 使用并行采样器以及一种名为“校准决策强化学习”的训练方法,并将其定位为适用于分类、路由、评分或分支等软件工作流的模型。这些关于性能与校准的说法均来自发布者;所提供的资料中没有独立的直接对比评估。

因此,核心区别在于架构与证据基础,而非表面形式。使用传统推理代码读取少数几个 token 的概率是可复现的,而 TypeSafe 声称其拥有专用模型、采样栈和训练流程。这篇戏仿帖子本身也承认,其概率并非总是正确,并引导读者参考更完整的开放实现。

实际启示在于,简短脚本可用于实验,包括不把提示数据发送给 API 的本地处理。但仅凭它本身,无法验证生产环境中的可靠性。在将此类分数用作软件决策之前,开发者仍需要开展针对具体任务的测试,评估准确性、输出一致性,以及模型报告的置信度越高是否确实意味着结果更好;而这些问题并未由所提供的来源解答。

NobodyWho 本地大语言模型推理引擎项目预览
NobodyWho 是一款可在本地运行语言模型的推理引擎。github.com

本文讨论了传统本地推理代码,以及无需将提示发送给 API 即可处理提示的实际可能性。