JevBench es una prueba mantenida por Benchmark Heaven para modelos de decisión estructurada de tipo Jev. El repositorio aclara que no está afiliado ni respaldado por TypeSafe AI, proveedor de Jev, uno de los sistemas evaluados.
La tabla actual v1.4.2 coloca a decider-4b v2 en primer lugar con 64,13 y a Jev 1.13.0 en segundo con 63,29. La puntuación combina un 20 % de rendimiento corregido por azar en 308 decisiones selladas nuevas con un 80 % del eje de Inteligencia anterior, ajusta la calibración, calcula una media armónica de cuatro ejes y penaliza las brechas grandes entre precisión pública y sellada.
Ocultar parte de las preguntas dificulta que los desarrolladores optimicen directamente para el conjunto público. Pero el bloque sellado solo tiene 308 decisiones y el responsable publica únicamente agregados, lo que limita la reproducción independiente completa. La puntuación también depende de las tareas y ponderaciones elegidas; el propio JevBench recomienda consultar el eje de Inteligencia si interesa el razonamiento bruto.
Un borrador anterior de este artículo decía que Jev lideraba, algo que ya no es cierto en v1.4.2. El resultado es una medición bajo un protocolo concreto, no una clasificación universal de modelos.