DessaはBlockの研究ラボによって開発された会話モデルであり、完全に人間の音声のみで学習されている点が特徴です。大量のテキストを摂取して言語を学習する現代のほとんどの大規模言語モデル（LLM）とは異なり、Dessaは音声データのみを使用してゼロから学習されました。このアプローチは、人間が「聞くこと」によって話し方を学ぶプロセスを再現することを目指しており、皮肉、ため息、特定の抑揚など、音声がテキストに変換される際に失われがちな情報をモデルが捉えられるようにしています。
この画像は、テキスト変換で失われるニュアンスを捉えるために、人間の音声のみで学習されたDessaモデルを表しています。
このモデルはフルデュプレックス対話向けに設計されており、ユーザーの話し終えるのを待ってから応答するのではなく、音声の処理と生成を同時に行うことができます。この能力により、「バックチャネリング」（「うん」や「了解」といった短い肯定の言葉を挟むこと）のような自然な振る舞いや、リアルタイムでの感情的な合図への反応が可能になります。開発者によれば、このモデルは単一のNVIDIA GB200 NVL72で学習されており、M4 Maxチップ搭載のMacBook Proなどのハイエンドハードウェア上でローカルに動作するように最適化されており、推論速度はリアルタイムよりも高速です。
このモデルは高い表現力を示していますが、その学習手法は独自の技術的課題と研究の機会を提示しています。テキストのベースラインがないため、モデルは生の音から事実や言語を学習する必要があり、開発者はこれがテキストから学習するよりも大幅に困難であると述べています。これにより、研究者が調査するための新しいカテゴリーのディープラーニングモデルが創出され、特にテキストの基礎なしでモデルがいかに効率的に新しい言語を学習できるか、あるいはインコンテキスト学習を実行できるかという点が焦点となります。また、開発者はAI安全性の研究者をモデルの評価に招待しており、人間の感情を認識し再現する能力は、より共感的で安全なAI対話に向けた一歩であると強調しています。