Tensor並列処理を用いて2台のNVIDIA DGX StationでGLM-5.3を配信する

NVIDIAのGLM-5.3 NVFP4モデルは、7530億のパラメータを持つ量子化された混合専門家（MoE）モデルであり、約464GBのGPUメモリを必要とします。このメモリ容量は、単一のGB300 GPUのHBM3e容量である252GBを超えるため、ハードウェアの制限を克服するために、NVIDIAはConnectX-8 RDMAでリンクされた2台のDGX Stationを利用して、モデルを単一の統合エンドポイントとして配信しました。

分散重み管理

混合専門家（MoE）モデルでは、各トークンが異なる専門家にルーティングされる可能性があるため、すべてのモデルの重みがGPUメモリ内でアクセス可能である必要があります。このチュートリアルでは、2台のDGX Stationが同じソフトウェアを実行し、異なる役割でチェックポイントを保持する分散サービスを実演しています。Station A（ランク0）はAPIをホストし、Station B（ランク1）はワーカーとして機能します。

HN Digestによる図表（huggingface.coの報告数値に基づく）。数値はソースの記載通り。

Tensor並列処理（TP=2）は、2台のGB300 GPU間でモデルのテンソルを分割するためのメカニズムです。両方のステーションがすべてのリクエストを計算しますが、最終的な回答をOpenAI互換APIを通じて返すのはStation Aのみです。

この画像は、GLM-5.3モデルをホストするために協力して動作する2台のDGX Stationの物理的および論理的なセットアップを説明しています。

「ConnectX-8 RDMAを介して接続された2台のNVIDIA DGX Stationは、Tensor並列処理（TP=2）を使用して、各GPUがおよそ半分の重みを保持・計算しながら、1つのOpenAI互換エンドポイントを通じてモデルを配信します。」

— When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM | NVIDIA Technical Blog

ネットワークおよび推論の最適化

2台のステーションはConnectX-8 RDMAを介して接続されており、Tensor並列処理に必要な高速インターコネクトを提供します。このセットアップにより、vLLMは、モデルが各ステップで4つのトークンをドラフトして速度を向上させるマルチトークン予測（MTP）をサポートする分散サービスを起動できます。

同時実行負荷の下でパフォーマンスをさらに最適化するために、この構成では16ビットストレージと比較してメモリ使用量を半分に抑えるFP8 KVキャッシュストレージを採用しています。また、サーバーがすでに遭遇したプロンプトのプレフィックスを再処理するのを避けるために、プレフィックスキャッシュも活用されています。

パフォーマンスのベンチマークとトレードオフ

SPEED-Bench CodingデータセットにおけるAIPerfベンチマークでは、同時実行数16においてシステムは毎秒607.8トークンのピークを記録しました。しかし、同時実行数が32に増加すると、スループットは毎秒385.0トークンに低下し、平均リクエストレイテンシは453.5秒となりました。

このチャートは、テキスト内で言及されているパフォーマンスベンチマークの具体的なデータポイントを提供します。

このアーキテクチャは、フロンティア規模のモデルをローカルで実行することを可能にしますが、大幅なハードウェア要件と高い消費電力を伴います。このセットアップは、プライバシーや特定のローカル要件が、マルチステーションDGXクラスターを維持するコストを上回る高スループット環境向けに設計されています。