25行のPythonコードの例が「Jev」として出回っていますが、投稿者自身は明確に、この投稿をパロディだと説明しています。このコードが示しているのは一般的な手法です。通常のGGUF言語モデルに固定された選択肢を提示し、最終位置で各選択肢に割り当てられたロジットを調べ、そのスコアを正規化して確率に変換します。
import numpy
labels = ["A", "B", "C"]
choices = ["Legitimate", "Spam", "Phishing"]
# The model and prompt have already been evaluated.
logits = model.scores[model.n_tokens - 1]
token_ids = [model.tokenize(text=label.encode(), add_bos=False)[0] for label in labels]
choice_logits = numpy.asarray([logits[token_id] for token_id in token_ids])
logprobs = choice_logits - numpy.logaddexp.reduce(choice_logits)
probabilities = numpy.exp(logprobs)
values = numpy.round(probabilities.astype(float), 3).tolist()
print(dict(zip(choices, values, strict=True)))提供された例では、スクリプトがQwen3-0.6Bを読み込み、メール分類用の3つのラベルを提示して、「フィッシング」である確率を88.5%と示します。この結果が示すのは、あるモデルが一つのプロンプトにどう反応したかという点だけです。モデルの精度、較正性、あるいは別途訓練された意思決定システムとの同等性を証明するものではありません。
TypeSafe自身による発表では、Jevは高速で構造化された確率的判断に最適化されたシステム1モデルとして、より広範に説明されています。同社によれば、並列サンプラーと「較正済み意思決定のための強化学習」と呼ばれる訓練手法を使用し、ソフトウェア上のワークフローで分類、振り分け、採点、分岐を行う用途を想定しています。これらの性能と較正性に関する記述は発信者側の主張であり、提供された資料には、独立した直接比較評価は含まれていません。
したがって、両者の中心的な違いは、外見的なものではなく、アーキテクチャと証拠に基づく評価の観点におけるものです。いくつかのトークンの確率を読み取る手法は、従来の推論コードでも再現できます。一方、TypeSafeは専用のモデル、サンプリング基盤、訓練プロセスを備えていると主張しています。パロディ投稿自身も、示される確率が常に正しいとは限らないことを認め、より包括的な公開実装を読者に紹介しています。
実用的に重要なのは、短いスクリプトでも実験には有用であり、プロンプトデータをAPIに送信しないローカル処理にも使えるという点です。しかし、それだけで本番環境での信頼性を検証できるわけではありません。こうしたスコアをソフトウェア上の判断として扱う前に、開発者はなお、タスク固有の精度、出力の一貫性、そして報告される信頼度が高いほど結果も良くなるかどうかを調べる必要があります。これらは、提供された資料では解決されていない問いです。
この記事では、従来のローカル推論コードと、プロンプトをAPIに送信せずに処理する実用可能性について説明しています。