JevBenchはBenchmark Heavenが運営する、型付き意思決定モデルのベンチマークだ。リポジトリは、測定対象のJevを提供するTypeSafe AIとは提携・推奨関係にないと明記している。

最新版v1.4.2の順位はdecider-4b v2が64.13で1位、Jev 1.13.0が63.29で2位。採点では新しい非公開308問での偶然補正済み成績を20%、旧版の知能軸スコアを80%混ぜ、較正を調整し、4軸の調和平均を使う。公開問と非公開問の正答率に大きな差がある場合は知能軸を減点する。

問題の一部を非公開にすれば、公開問題に合わせた調整を抑えられる。ただし非公開問は308問で、運営者は集計値しか出していないため、第三者による完全な再現は難しい。総合点は問題選定と重み付けにも左右される。生の推論能力を比べたい場合、JevBench自身も知能軸を見るよう案内している。

旧稿ではJevを首位としていたが、v1.4.2ではその記述は古い。今回の順位は特定の手順による一時点の測定で、あらゆる用途に通用するモデル順位ではない。