JevBench是Benchmark Heaven维护的“Jev类”结构化决策模型基准。仓库明确表示,它与被测模型Jev的提供方TypeSafe AI没有关联或背书关系。

当前v1.4.2榜单中,decider-4b v2以64.13分列第一,Jev 1.13.0以63.29分列第二。评分将新封存的308道题上的机会校正表现按20%与旧版智能轴分数按80%合并,调整校准度,使用四个维度的等权调和平均,并对公开题与封存题准确率差距过大的系统扣分。

封存部分题目可以缓解开发者针对公开题调参的问题,但封存集只有308道题,而且维护者只公布汇总值,因此第三方难以完整复现。总分也取决于题目和权重;若关心原始推理,JevBench建议查看智能轴。

旧稿曾称Jev排名第一,但这已不适用于v1.4.2。该结果只是特定协议下的一个快照,并非适用于所有场景的决策模型排名。