OpenJevは、TypeSafeによって「実行時に定義される意味論的な意思決定」のために設計された「Jev」インターフェースのオープンソースによる再現です。対話的なテキスト生成に最適化された標準的な大規模言語モデル（LLM）とは異なり、Jevは非生成型で指示調整（instruction-tuned）されていない分類器として記述されています。これは、あらかじめ定義された選択肢のセットに対して信頼度を考慮したスコアを提供することに特化した、高度に洗練されたBERTスタイルのモデルのように機能します。このアプローチにより、特定の提供されたセット以外のトークンを生成しないことを保証することで、ステートマシンをインテリジェントに駆動する信頼性の高い意思決定者として機能することが可能になります。
Jevと標準的な「構造化出力」（LLMにJSONを出力させるなど）との技術的な違いは、「seq-to-1」パラダイムにあります。標準的なLLMは、モデルがトークンのシーケンスを予測する必要がある「seq-to-seq」タスクを実行しますが、Jevは固定された語彙から単一の最良の選択肢を選択することに焦点を当てています。この転換により、長い文字列を生成する際に伴う計算オーバーヘッドとレイテンシが大幅に削減されます。しかし、OpenJevは元のプロプライエタリなモデルの直接的なコピーではなく、インターフェースのオープンソースによる再現であるため、これらの結果を達成するために特定の技術的な「ハック」を利用しています。具体的には、共有状態を確立するために使い捨ての要求を送信し、SGLangのような推論エンジンを使用してその状態をプレフィックスキャッシュに保持し、その後、個別の質問を送信して、得られたスコアを許可された回答トークンの確率に変換します。
OpenJevは、フルスケールのLLMと比較して速度とコストの面で大きな利点を提供しますが、推論の深さにおいて顕著なトレードオフを伴います。ユーザーからは、これらの実装で使用される小型モデルは、QwenやGPT-4のような大型モデルに見られる「知識や直感的な推論」を欠いている可能性があるとの指摘があります。さらに、このシステムはより決定論的になるように設計されていますが、ユーザーが入力を操作して特定の分類を強制するプロンプトインジェクションに対しては依然として脆弱です。複雑な論理テストにおいて、OpenJevフレームワークで使用される小型モデルは「コイン投げ」のような回答を生成することがあり、高速な分類と大型の生成モデルの深い推論能力との境界を浮き彫りにしています。