一个数据仓库显示,同一款 NVIDIA H100 GPU 的每小时租赁价格根据托管供应商的不同,差异可高达 4.57 倍。这种价格差异突显了一个碎片化的市场,用户必须在低成本的“社区”访问与包含高速网络和安全保障的高级基础设施之间做出选择。
GPU 租赁的价格差距
主要来源是一个追踪 GPU 定价的 GitHub 仓库,它表明 H100 GPU 的成本并非固定不变。根据供应商的不同,用户在每小时租赁相同硬件时,支付的价格可能低至 2.69 美元,也可能高达 12.29 美元。
这种差异表明 GPU 的“标价”深受周边基础设施的影响。Hacker News 上的评论者指出,4.57 倍的价格差异通常是由芯片本身以外的因素驱动的,例如包含用于高速互连的 InfiniBand、承诺容量以及企业级合规性。
成本与安全的权衡
寻求最低价格的用户可能会面临显著的安全权衡。Hacker News 上一位名为 plantain 的评论者警告说,在 Runpod 或 Vast 等“社区”供应商上运行有价值的工作负载可能存在风险,因为主机可能能够窥探虚拟机内部。
相反,一些参与者认为,对于非敏感任务来说,“窥探”风险是一个可接受的权衡。一位名为 gpm 的评论者建议,对于许多工作负载(例如微调一个识别草莓的模型),竞争对手获取商业机密的风险,低于如果涉及大型实体时违反商业机密法的风险。
可靠性和可用性限制
低成本选项并不总是高端服务的可靠替代品。Hacker News 上的评论者报告称,在使用某些托管 GPU 时遇到了进程“卡死”、驱动程序过时以及互联网连接差的问题。
可用性对于预算敏感型用户来说仍然是一个障碍。一位名为 jdc0589 的评论者指出,虽然一些供应商提供极具吸引力的价格,但寻找具有高显存(超过 20GB)的特定 GPU 可能非常困难,如果所需的硬件不可用,每小时的价格可能就变得毫无意义。
新兴市场指数
为了应对这个波动剧烈的市场,新的定价指数正开始出现。一位名为 buredoranna 的评论者强调了“Silicon Index”和“Ornn Compute Price Index (OCPI)”作为追踪价格观察和已执行交易的工具。
这些指数旨在提供更清晰的图景,反映用户实际愿意支付的费用,帮助澄清不同层级 GPU 供应商之间的市场动态。
供应商基础设施的不确定性
虽然价格数据是可见的,但 2.69 美元和 12.29 美元的 H100 之间的具体技术差异并不总是透明的。Hacker News 上一位评论者提出的可能性是,目前尚不清楚究竟哪些供应商正将更便宜的容量转包给更高价格的列表。
此外,当前数据集中关于不同 H100 变体的具体数据,以及所有供应商中“企业级”成本的准确分解,在很大程度上仍未被量化。
