Jevchatは、Jevを従来の言語モデルとして提示することなく、チャットボットのように振る舞わせるオープンソース実験です。その中心的な処理ループでは、同じ問いが繰り返し投げかけられます。ユーザーの入力と、これまでに生成された応答を踏まえると、次にどの記号が来るべきか。Jevは利用可能な選択肢それぞれに確率を割り当て、サンプラーが一つを選び取り、特別なSTOPという選択肢が選ばれた時点で処理を終了します。

Jevをチャットボット化するためのオープンソースプロジェクト「Jevchat」のカード
Jevchatのプロジェクトカードは、この記事の中心にあるオープンソース実験を示しています。github.com

Jevchatが次の記号を繰り返し生成する仕組みを説明した直後に、このプロジェクト画像を使用してください。

この設計は、文章を生成することと、考えられる続きの中から一つを選ぶことの違いを明確に示しています。標準の「記号」表現では、Jevは1文字や単語の一部といった、加工されていない選択肢を評価します。一方、新しい「仮説」表現では、各選択肢が実際に生み出す文章全体が表示されます。作者によれば、この変更によりトップ1精度はおよそ3倍になり、文字用の文字体系では正解の記号に割り当てられる確率質量が2倍になるとともに、必要な入力トークン数も減ります。ただし、これらの数値は独立した検証結果ではなく、プロジェクトの作者によるベンチマーク上の主張です。

このリポジトリでは、Jevに下させる選択を構成する方法が複数用意されています。「choice」は文字体系全体を対象に一度だけ問いをかけ、「bisect」は、対象が前半か後半かを繰り返して問うことで順序化された文字体系を絞り込み、「buckets」は大きな選択肢の集合をより小さなグループへ分割し、「refine」は上位候補を再評価します。文字体系には、小文字やASCIIから、数千の項目を含むトークン一覧や語彙までさまざまです。一部の戦略は一度に255個を超える選択肢を提示できないため、大規模な文字体系ではバケット分割が必要になります。

これらの制御が重要なのは、インターフェースがモデルの課題だけでなく、それに答えるためのコストも変えるからです。アンサンブルは、順序を入れ替えた複数の問いの結果を平均できます。一方、ビームサーチは、記号を選ぶたびに一つの候補へ確定するのではなく、複数の候補応答を生成候補として保持し続けます。文書では、ビームサーチは各段階で、存続している候補一つにつきスコアを一つ消費すると警告されています。また、ビーム幅が1を超えると、候補はサンプリングではなく順位付けされるため、temperature、top-p、top-kはもはや適用されないと説明されています。

したがって、実際上の懸念は回答の質だけにとどまらず、遅延とAPI利用量にも及びます。Jevchatには、1秒あたりの記号数、1秒あたりの文字数、API呼び出し1回あたりのミリ秒数、経過時間、そして直近の段階で上位にある選択肢が表示されます。作者はこの実験を、実用向きではないものの楽しく、-production-ready-ではなく面白いものと明示的に表現しています。提供されたリポジトリには、一般的なチャットモデルとの包括的なコスト比較がないため、このインターフェースだけから、価格や速度の普遍的な不利さを推測することはできません。

ただし、モデルが出力できる内容を制限しなければならないアプリケーションでは、限定された語彙が役立つ可能性があります。このリポジトリは、選択可能な文字体系とバケット分割方式によって、その利用方法に対応しています。しかし、この手法が、検証やリンティングを組み合わせた通常のモデルよりも優れていることを示すものではありません。この線引きは重要です。選択肢の集合を制限すれば出力に影響を与えられますが、制限だけでは、正しさ、安全性、構文上の妥当性は保証されません。

このプロジェクトは、オフラインのソフトウェアテストと、実モデルを使った評価も明確に分離しています。158件のテストは、スクリプト化された偽クライアントとモック化されたHTTP通信を使用するため、APIキーやネットワーク接続なしで生成ループを動かします。APIを呼び出すのは、ベンチマークコマンドのほうです。その結果、テストスイートの合格は、ローカルコードがテストで定めたとおりに動作することを示すだけであり、Jevが信頼できるチャット応答を生成すること、あるいは報告された品質向上が文書化された実験の範囲を超えて一般化されることを証明するわけではありません。

同種のシステムを評価する読者にとって、Jevchatが最も参考になるのは、すぐに組み込めるアシスタントとしてではなく、その仕組みを透明化して示す構築例である点です。サンプリングの判断過程を見える形にし、複数の検索戦略を公開し、ビームサーチがデコードの振る舞いをどこで変えるのかも文書化しています。一方で、幅広い対話での信頼性、費用対効果の実用性、標準的な生成方式より優れていることは、いずれも証明されていません。根拠に基づいて導ける最も限定された結論はこうです。記号から完成された候補文章へ評価対象を変えたことで、このプロジェクトが報告した文字用文字体系のテストでは大幅な改善が生じましたが、システム全体は意図的に実験的なままです。