Un ejemplo de Python de 25 líneas circula como «Jev», pero su editor describe explícitamente la publicación como una parodia. El código ilustra una técnica general: presentar a un modelo lingüístico GGUF común opciones fijas, examinar los logits asignados a cada opción en la posición final y normalizar esas puntuaciones para convertirlas en probabilidades.

Puntuaciones de A/B/C asignadas a las opciones · Ejemplo original
import numpy

labels = ["A", "B", "C"]
choices = ["Legitimate", "Spam", "Phishing"]

# The model and prompt have already been evaluated.
logits = model.scores[model.n_tokens - 1]
token_ids = [model.tokenize(text=label.encode(), add_bos=False)[0] for label in labels]
choice_logits = numpy.asarray([logits[token_id] for token_id in token_ids])
logprobs = choice_logits - numpy.logaddexp.reduce(choice_logits)
probabilities = numpy.exp(logprobs)
values = numpy.round(probabilities.astype(float), 3).tolist()
print(dict(zip(choices, values, strict=True)))

En el ejemplo suministrado, el script carga Qwen3-0.6B, presenta tres etiquetas para clasificar correos electrónicos e informa de una probabilidad del 88,5 % para «Phishing». Ese resultado solo muestra cómo respondió un modelo a una indicación concreta. No demuestra que el modelo sea preciso, esté calibrado o equivalga a un sistema de decisión entrenado por separado.

El propio anuncio de TypeSafe describe Jev de forma más amplia como un modelo de Sistema Uno optimizado para tomar decisiones probabilísticas rápidas y estructuradas. La empresa afirma que utiliza un muestreador en paralelo y un método de entrenamiento denominado «aprendizaje por refuerzo para decisiones calibradas», y lo presenta como una herramienta para flujos de trabajo de software que clasifican, enrutan, puntúan o generan bifurcaciones. Esas afirmaciones sobre rendimiento y calibración proceden del editor; el material suministrado no incluye una evaluación comparativa independiente.

La distinción central es, por tanto, arquitectónica y probatoria, no meramente superficial. Leer las probabilidades de unos pocos tokens puede reproducirse con código de inferencia convencional, mientras que TypeSafe afirma contar con un modelo específico, una pila de muestreo y un proceso de entrenamiento propios. La propia publicación paródica reconoce que sus probabilidades no siempre son correctas y remite a los lectores a implementaciones abiertas más completas.

La lección práctica es que un script breve puede resultar útil para experimentar, incluso para procesar datos localmente sin enviar las indicaciones a una API. Por sí solo, no puede validar la fiabilidad en producción. Antes de tratar esas puntuaciones como decisiones de software, los desarrolladores aún necesitan pruebas específicas para cada tarea que evalúen la precisión, la coherencia de las respuestas y si una mayor confianza declarada se corresponde con mejores resultados; cuestiones que las fuentes suministradas no resuelven.

Vista previa del proyecto del motor de inferencia local de LLM NobodyWho
NobodyWho, un motor de inferencia para ejecutar modelos lingüísticos de forma local.github.com

El artículo analiza el código de inferencia local convencional y la posibilidad práctica de procesar indicaciones sin enviarlas a una API.