利用张量并行在两台 NVIDIA DGX 工作站上部署 GLM-5.3

NVIDIA GLM-5.3 NVFP4 模型是一个拥有 7530 亿参数的量化混合专家（MoE）模型，需要约 464 GB 的 GPU 显存——这一占用超过了单台 GB300 GPU 252 GB 的 HBM3e 容量。为了克服这一硬件限制，NVIDIA 利用两台通过 ConnectX-8 RDMA 连接的 DGX 工作站，将该模型作为单个统一的端点进行部署。

分布式权重管理

由于混合专家模型中的每个 Token 都可以路由到不同的专家，所有模型权重必须保持在 GPU 显存中可访问状态。该教程演示了一种分布式服务，其中两台 DGX 工作站运行相同的软件和检查点，但承担不同的角色：工作站 A（rank 0）托管 API，而工作站 B（rank 1）作为工作节点。

HN Digest 根据 huggingface.co 报告的数据绘制；数值与来源一致。

张量并行（TP=2）是用于在两台 GB300 GPU 之间拆分模型张量的机制。两个工作站都会计算每个请求，但只有工作站 A 通过兼容 OpenAI 的 API 返回最终答案。

这张图片展示了两台 DGX 工作站协同工作以托管 GLM-5.3 模型的物理和逻辑设置。

“两台通过 ConnectX-8 RDMA 连接的 NVIDIA DGX 工作站通过张量并行（TP=2）通过一个兼容 OpenAI 的端点提供服务，每个 GPU 持有并计算大约一半的权重。”

— When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM | NVIDIA Technical Blog

网络与推理优化

两台工作站通过 ConnectX-8 RDMA 连接，为张量并行提供了必要的高速互连。此设置使 vLLM 能够启动支持多 Token 预测（MTP）的分布式服务，其中模型在每一步草拟四个 Token 以提高速度。

为了进一步优化并发负载下的性能，该配置采用 FP8 KV 缓存存储，与 16 位存储相比，显存占用减少了一半。它还利用前缀缓存来避免重新处理服务器已经遇到过的提示词前缀。

性能基准与权衡

在 SPEED-Bench Coding 数据集上的 AIPerf 基准测试显示，该系统在并发数为 16 时达到每秒 607.8 个 Token 的峰值。然而，当并发数增加到 32 时，吞吐量下降到每秒 385.0 个 Token，平均请求延迟为 453.5 秒。

该图表提供了文中提到的性能基准测试的具体数据点。

虽然这种架构允许在本地运行前沿规模的模型，但它涉及显著的硬件要求和高能耗。该设置专为高吞吐量环境设计，在这种环境下，隐私或特定的本地需求的重要性超过了维护多工作站 DGX 集群的成本。