OpenJev es una reproducción de código abierto de la interfaz 'Jev', un sistema diseñado por TypeSafe para 'decisiones semánticas definidas en tiempo de ejecución'. A diferencia de los modelos de lenguaje de gran tamaño (LLM) estándar, que están optimizados para generar texto conversacional, Jev se describe como un clasificador no generativo y no ajustado por instrucciones. Funciona más como una versión altamente sofisticada de un modelo de estilo BERT, específicamente ajustado para proporcionar una puntuación consciente de la confianza para un conjunto de opciones predefinidas. Este enfoque le permite actuar como un tomador de decisiones fiable que puede dirigir máquinas de estados de manera inteligente, garantizando que no generará tokens fuera de un conjunto específico proporcionado.
La distinción técnica entre Jev y la 'salida estructurada' estándar (como obligar a un LLM a producir JSON) reside en el paradigma 'seq-to-1'. Mientras que los LLM estándar realizan tareas 'seq-to-seq', donde el modelo debe predecir una secuencia de tokens, Jev se centra en seleccionar la mejor opción única de un vocabulario fijo. Este cambio reduce significativamente la sobrecarga computacional y la latencia asociadas con la generación de largas cadenas de texto. Sin embargo, debido a que OpenJev es una reproducción de código abierto de la interfaz en lugar de una copia directa del modelo propietario original, utiliza un 'truco' técnico específico para lograr estos resultados. Envía una solicitud desechable para establecer un estado compartido, confía en motores de inferencia como SGLang para mantener ese estado en una caché de prefijo y luego envía solicitudes separadas para las preguntas, convirtiendo las puntuaciones resultantes en probabilidades para los tokens de respuesta permitidos.
Si bien OpenJev ofrece ventajas sustanciales en velocidad y costo sobre los LLM a gran escala, implica compensaciones notables en la profundidad del razonamiento. Los usuarios han observado que los modelos más pequeños utilizados en estas implementaciones pueden carecer del 'conocimiento y razonamiento instintivo' que se encuentra en modelos más grandes como Qwen o GPT-4. Además, aunque el sistema está diseñado para ser más determinista, sigue siendo susceptible a la inyección de prompts, donde un usuario puede manipular la entrada para forzar una clasificación específica. En pruebas de lógica compleja, los modelos más pequeños utilizados en el marco de OpenJev pueden producir respuestas de 'lanzamiento de moneda', lo que resalta el límite entre la clasificación de alta velocidad y las capacidades de razonamiento profundo de los modelos generativos más grandes.