Next-Concept Modeling（NCM）は、競争力のある品質スコアを維持しながら、既存の拡散言語モデルよりも最大31倍高速にテキストを生成できます。ワシントン大学などの機関の研究者を含むチームによって開発されたこのフレームワークは、現在の大規模言語モデルの主要なボトルネックである、テキストを一度に一つの単語ずつ生成するという低速な逐次的な性質に対処します。
逐次的な生成を超えて
現在のテキスト生成のほとんどは、テキストを一度に一つのトークンずつ生成する自己回帰モデルに依存しています。拡散言語モデル（DLM）は並列サンプリングへの道を提供しますが、サンプリングステップを減らすと品質が急速に低下することが多く、高品質な出力を得るためにはデータセットを何度も通過する必要があります。
NCMは、これらの効率性の問題を解決するために、2段階の「粗から細へ（coarse-to-fine）」のフレームワークを導入します。焦点を個々のトークンから離散的なコードで表される「コンセプト」に移すことで、モデルは異なる抽象レベルの情報を同時に処理することができます。
粗から細へのメカニズム
このアーキテクチャは、マルチスケール・レジデュアルVQ-VAE（Vector Quantized Variational Autoencoder）から始まります。このコンポーネントは、テキストを離散的なコードの階層にエンコードし、コンテンツの多層的なマップを効果的に作成します。
次に、Transformerがこれらのコードを一度に一つのレベルずつ生成します。重要なのは、モデルが単一のレベル内のすべてのコードを並列に予測することです。この「粗から細へ」のアプローチにより、モデルは特定の詳細を洗練する前に文章の広範な構造を確立することができ、従来の生成における線形な制約を回避できます。
パフォーマンスと推論の向上
NCMの効率性の向上は実質的です。LM1Bデータセットにおいて、NCMは最も強力なDLMベースラインよりも優れた生成パープレキシティを達成しながら、21倍高速に動作しました。XSumデータセットでは、最も強力なDLMのROUGE-Lスコアに匹敵しながら、31倍高速に動作しました。
HN Digestによる図（arxiv.orgの報告数値に基づく）。数値はソースの表記通り。
標準的なテキスト生成を超えて、NCMは優れた推論能力を実証しました。数独のタスクにおいて、このモデルはすべての難易度レベルで自己回帰および拡散ベースラインの両方を上回り、正しい解決策に到達するために必要な関数評価の回数を抑えました。
制限と不確実性
高速化は顕著ですが、ソース資料にはVQ-VAE階層内の正確なレベル数や、粗い段階と細かい段階のバランスをとるために使用された特定のアーキテクチャ・ハイパーパラメータは明記されていません。
さらに、NCMは並列生成に優れていますが、初期のVQ-VAEトレーニングの複雑さとTransformerの推論速度とのトレードオフについては、さらなる調査が必要な領域として残っています。