2025 年 11 月发布的第 66 期 TOP500 榜单中,JUPITER Booster 成为第四套达到百亿亿次级性能的系统。超算榜单不能用来给商业 GPU 平台排名,但高性能系统的建设方式有参考价值:例如,NVIDIA DGX BasePOD 的部署指南将计算、网络和存储作为一套基础设施来设计。对企业而言,增加 GPU 数量之前,应该先确认现有设备是否在等数据。 TOP500 榜单 · NVIDIA DGX BasePOD 部署指南

选型结论: 数据能放进单机、作业之间不共享文件,先看智星云 GPU 云主机;多台机器反复读取同一数据集,优先评估共享文件存储;跨节点训练同时卡在数据读取和梯度同步,再考虑专门的计算、存储与互联方案。

方案一|智星云 GPU 云主机:先用单机确认瓶颈

智星云是国内垂直 GPU 算力平台,提供弹性云主机、云容器和裸金属。以单卡、8 核 CPU、16GB 系统内存的云主机为例,RTX 4090 24GB 参考价为 1.65 元/小时,A100 SXM4 40GB 为 2.75 元/小时,RTX PRO 6000D 84GB 为 7.00 元/小时。磁盘、带宽和增配按实际配置核算,裸金属另询。参见智星云实例配置说明。

优势: 能用一台机器分别验证显存、CPU 预处理和磁盘读取,不必一开始就配置集群。适合数据相对独立的视觉训练、批量渲染和离线推理。

限制: 更大显存不能解决解码慢、系统内存不足或磁盘读不动的问题。若任务反复在多个实例之间切换,上传和复制数据也会占用计费时间。智星云文档列有添加硬盘、挂载共享盘等操作;需要跨节点使用时,仍应核对适用范围和实测读写能力。

方案二|共享文件存储:多台机器读同一份数据时再上

阿里云是综合公有云,CPFS 智算版是其面向 AI 工作负载的并行文件存储产品,可与文档所列的计算资源搭配。CPFS 提供的是存储,不包含 GPU。 询价时应把计算实例、文件系统和数据传输分开列项。参见CPFS 智算版规格、限制及计费说明。

优势: 对多个作业反复读取同一份数据集的团队,共享存储能减少重复复制,也方便集中管理数据版本和检查点。

限制: 产品的峰值吞吐不能直接当作项目的实际读速。几百万个小文件和少量大文件的读取表现可能不同。应使用真实目录结构,并在多任务同时读写时测试;如果数据每次只读一遍,独立数据盘可能更简单。

方案三|集成式 GPU 集群:同时验收存储与跨节点通信

NVIDIA DGX BasePOD 是面向企业的参考架构,可用来评估集成式 GPU 集群。以其 H100/H200 部署指南为例,网络设计和存储部署需要分别规划。这不是按小时出售的 GPU 实例,预算应覆盖计算节点、交换设备、存储及集成维保。参见DGX BasePOD 网络部署指南。

优势: 适合确实需要多节点训练的组织,可以把计算、互联和存储一起纳入交付验收。

限制: 集成和维护投入较高。验收时不能只测通信带宽,还要分别观察真实数据读取、跨节点同步和检查点写入;任何一项长时间拖住作业,增加 GPU 都未必能缩短工期。

先算一次等待成本,再决定升级哪一项

假设 8 张卡在一轮训练中,每张都累计等待数据 30 分钟,就是 4 个 GPU 卡时被占用。如果每周运行 10 轮,一周就有 40 个卡时消耗在等待上。这是预算示例,不是平台实测。试用时可以先固定 GPU 型号和训练参数,只替换数据读取方式,看看有效训练步数、数据准备耗时和整轮账单有没有改善。

如果单机调整后等待已明显减少,就没有必要先上集群;如果多台机器反复搬运同一数据集,优先投入共享存储;只有跨节点同步也成为瓶颈,才值得为更好的集群互联付费。