Chimera Vocal Synthは物理モデリングを用いて人間や動物の声道（Vocal Tract）をシミュレート

Chimera Vocal Synthは、物理モデリングを用いて人間の声道の生物学的メカニズムをシミュレートすることで、従来のサンプルベースの合成とは異なるアプローチをとっています。録音された発話や歌の断片を再生する代わりに、このエンジンは肺、声帯、唇、鼻を含むシミュレートされた気道を通る空気の物理を計算し、リアルタイムで音を生成します。

物理モデリング vs サンプル合成

ほとんどの現代的な音声シンセサイザーは、録音済みのオーディオサンプルを連結するか、ニューラルネットワークを使用して波形を予測することに依存しています。Chimeraは、発声器官の物理的特性をモデリングするという異なるアプローチをとります。生成されるすべての音は、鳴管（鳥用）、声帯、分岐した声道などのコンポーネントを含むシミュレートされた気道の結果です。

HN Digest によるグラフ。github.com の報告数値に基づく。数値はソースの表記通り。

これらの物理構造をシミュレートすることで、ソフトウェアは男性、女性、子供といった異なる体型を連続的にブレンドすることができます。インターフェースはこれらの状態をリアルタイムでアニメーション化し、気道圧、空気の流れ、および声帯の特定のスペクトルなどの変数を表示します。

「ブラウザ上の物理モデリング音声シンセサイザー。すべての音はサンプルからではなく、シミュレートされた気道（肺、声帯または鳴管、分岐した声道、唇、鼻）から生まれます。」

— GitHub - jamesondh/chimera-vocal-synth: the ultimate vocal synthesizer - sing, speak, beatbox, and more

技術的アーキテクチャとインタラクション

コアエンジンは、リアルタイムの決定論とパフォーマンスを確保するためにRustで構築されています。これはWebAssembly（Wasm）にコンパイルされ、ブラウザのAudioWorklet内で動作することで、複雑な物理計算を低レイテンシで実行できるようにします。同じコードベースが、ネイティブのテストおよびオフラインレンダリングと診断のためのコマンドラインインターフェース（CLI）にも使用されています。

この画像は、技術的アーキテクチャセクションで言及されているRustベースのコードベースを例示しています。

このプロジェクトは、音声を生成するためのいくつかの異なるモードを提供しています。ユーザーは英語のテキストまたはIPAを入力して「Speak（話す）」ことができ、システムはそれをジェスチャーとプロソディに変換します。「Singing（歌う）」については、子音がビートの前に自動的に配置されるピアノロールを提供します。「Beatbox（ビートボックス）」モードでは、パッドとステップシーケンサーを使用して、ドラムの音を特定の調音ジェスチャーにマッピングします。

アプリケーションと視覚的フィードバック

Chimeraの主な特徴の一つは、頭部のライブカットアウェイを提供する視覚的フィードバックです。これにより、ユーザーは音を操作しながら、舌、唇、顎の物理的な位置を確認することができます。この調音ジェスチャーの視覚的マッピングは、発話の物理的メカニズムを理解することが有益な言語学習や音声肯定（voice affirmation）トレーニングなどのアプリケーションに役立つ可能性があります。

システムはまた、「Bestiary」モードを通じて非人間的な発声も探索しています。シミュレートされた気道のパラメータを調整することで、アリゲーターやゾウを含む様々な動物の音を再現できます。このプロジェクトは高度な表現のコントロールを提供していますが、ソース資料にはWebAssemblyの実装のレイテンシオーバーヘッドがネイティブのRust実行と比較して正確にどれくらいであるかは明記されていません。