Qualcomm 推出了 Cloud AI 100 Ultra，这是一款专为数据中心和云端应用设计的 150W AI 加速卡。该硬件的特点是拥有 128GB 的内存容量和 548GB/s 的内存带宽。虽然与某些高端消费级和企业级芯片相比，这些规格可能显得较为平庸，但该卡被定位为 AI 推理流水线中特定工作负载的专用工具。
该卡的架构采用混合内存方案来平衡性能和容量。根据社区讨论，该加速器集成了 500GB 的 SRAM 来补充 128GB 的 RAM。这一设计选择反映了一种权衡：尽管内存带宽较低，但该硬件仍能实现比某些竞争对手（如 Apple 的 M 系列芯片）更高的 TOPS。这种配置表明其重点在于计算密度，而非通常与 HBM（高带宽内存）系统相关的海量吞吐量。
在实际应用中，Cloud AI 100 Ultra 被认为特别适用于现代推理栈的“预填充”（prefill）阶段，该阶段需要高计算能力来处理初始输入 Token。它对通常需要更高内存带宽的“解码”（decode）阶段优化较少。尽管一些观察人士质疑这些规格是否过时，但该芯片于 2024 年发布，目前可通过 Cirrascale 等云服务提供商获取。然而，与规格表提供的理论数值相比，548GB/s 的带宽在持续推理负载下的表现如何，目前仍不确定。