「Jev型」モデルとは、テキスト入力と選択肢のリストを処理し、一度のパスで各選択肢に対する確率を返す能力によって定義されます。これは、モデルがテキストを一度に一単語ずつ予測する標準的な自己回帰生成とは対照的です。このシングルパス・アプローチに移行することで、モデルは逐次的なトークン予測のオーバーヘッドを伴うことなく、モデルの潜在空間にすでにエンコードされている知能を活用し、はい/いいえや多肢選択式の質問などの分類タスクをより効率的に実行できるようになります。
vLLMプロジェクトにおけるこの技術的メカニズムは、DiffusionGemmaモデルを固定されたトークン位置の「キャンバス」で動作するように再利用することを含みます。このフレームワークでは、リクエストを行うクライアントが固定されたトークンスロットのセットを提供します。モデルは、構造を一定に保ったまま、これらのスロットの内容を「拡散」させます。これをサポートするために導入された主要な技術的コンポーネントには、出力を固定トークンで事前シードする`diffusion_seed_canvas`、デノイジングステップ中に特定の位置をシード値に保持する`diffusion_pinned`、およびモデルに温度1でlogprobsを放出させ、各回答の信頼度スコアを提供できるようにする`diffusion_read_only`が含まれます。
この手法は構造化された出力へのより直接的な経路を提供しますが、現在は特定のアーキテクチャ上の制約に直面しています。拡散プロセス中にキャンバスがシフトしないことを保証するために、モデルは出力の各選択肢が単一のトークンで表されることを要求します。その結果、クライアントがマルチトークンの選択肢を提供する必要がある場合は、まずそれらの選択肢を単一のトークンIDにマッピングする必要があります（例えば、「moderation_spam」を「A」にマッピングするなど）。さらに、モデルはクライアントがエントロピーを計算し信頼度を判断するのを助けるためにlogprobsを提供しますが、現在のプロトタイプでは、複雑なマルチトークンの構造化出力に対して、このシングルパス拡散手法と標準的な自己回帰モデルを比較する実証的なベンチマークはまだ含まれていません。