NVIDIA 把收费的 GPU 管家开源了,这笔账到底谁赚
NVIDIA 把 Run:ai 全平台开源、四个组件可单独使用:算清省下的订阅费,和没有企业支持、要自己出运维人力的账。
先说结论。
NVIDIA 把 Run:ai 整个平台开源了。
不是开源一个边角料。
是整个平台。
据 NVIDIA 技术博客 10 月 13 日的文章,完整的 Run:ai 平台作为 NVIDIA DSX AI Factory 平台的一部分开源,代码放在 NVIDIA DSX AI Factory 的 GitHub 组织下。
同时在 NGC 上以 Community Product 的形式提供 Helm chart。
不用付订阅费。
但也不含企业支持。
这句话请记住,后面要算账。
01
先搞清楚 Run:ai 是干嘛的。
一句话:管 GPU 的。
一个公司买了一堆 GPU,组成集群。
然后研究组要用,算法组要用,产品组也要用。
谁先用?
谁用多少?
一张卡跑一个小任务,剩下的显存能不能分给别人?
一个训练任务要 8 张卡同时开工,只凑到 7 张怎么办?
这些问题,在 GPU 便宜的时候不是问题。
在 GPU 比金子还贵的时候,每一个都是钱。
一张卡闲着一小时,就是一小时的钱在烧。
Run:ai 干的就是这个:调度、切分、按团队分配。
以前,这是商业产品。
现在,代码你可以直接拿。
02
拆开看,里面有四个零件,据官方博客,每个都可以单独用。
第一个,KAI Scheduler。
Kubernetes 原生的 GPU 调度器,Apache 2.0 许可,已经捐给了 CNCF,成为 Sandbox 项目。
它能干的事情不少。
gang 调度,就是要么一组任务一起上,要么都别上,不让 8 卡任务占着 7 张卡干等。
再加上预调度的内存模拟,先算一遍放不放得下。
时间维度上的公平分享和配额。
拓扑感知和装箱,尽量把任务塞紧。
切分方式支持 MIG、MPS、时间片、HaMi、CUDA 13.4 MPS。
还支持 DRA。
第二个,GPU Fractioning Operator。
用 CUDA 13.4 原生的 GPU 切分,在驱动层硬性限制每个负载能用多少显存。
原来那套专有实现,直接退役了。
还附带每个 pod 的指标导出,而且不绑定某个调度器。
第三个,KAI Resource Management。
管层级的。项目、部门、配额、节点池。
官方举的例子是,保证研究团队拿到集群的 50%。
第四个,Workload Map。
一个 Go 库,把 PyTorchJob、RayCluster、JobSet、KServe 这些长得完全不一样的 CRD,统一描述成结构、角色和状态。
说白了,就是给一堆方言配了个翻译。
03
那问题来了。
一个能卖钱的东西,为什么要免费送?
我没有 NVIDIA 内部的会议纪要,以下是我自己的推断,各位当个思路看。
你想想 NVIDIA 卖的到底是什么?
是卡。
调度软件卖得再好,能卖几个钱?
但如果调度软件让每张卡的利用率都提高了,客户会怎么想?
“这卡挺好用,再买点。”
这才是大头。
软件开源,相当于把卖铲子送的手套免费发了。
手套不赚钱。
但戴着手套挖得更快,铲子卖得更好。
而且你注意它的说法,开源是作为“DSX AI Factory 平台的一部分”。
也就是说,这是一整套“AI 工厂”方案里的一块拼图。
拼图免费,整幅画才好卖。
这个思路,商业上很常见,不丢人。
04
那对用户来说,这笔账赚不赚?
分情况。
如果你是小团队,几台机器,自己懂 Kubernetes。
那大概率是赚的。
以前要么买商业版,要么自己写一堆脚本凑合。
现在有一套现成的、经过商业打磨的方案,免费。
如果你是大公司,集群几千卡,业务一刻不能停。
那就要想清楚了。
前面说了,社区版不含企业支持。
半夜三点调度器出问题,你找谁?
找社区,提个 issue,等回复。
能不能等?
你自己算。
还有一条路,据官方博客,有 8 家生态伙伴已经接入:Crusoe、Mirantis、Nebius(一键部署)、OpenNebula、Rafay(全托管)、Saturn Cloud、Spectro Cloud、vCluster。
也就是说,不想自己扛的,可以花钱找他们扛。
免费的是代码。
运维从来不免费。
05
顺带说两个配套开源的小东西,实用性很强。
一个叫 Model Streamer。
干的事情是并发读取模型权重,直接灌进显存。
据官方博客,它已经进了 vLLM 和 SGLang,用 --load-format runai_streamer 这个参数就能开。
速度上,在 Azure 8×H100 的基准里,比默认加载快 3 到 6 倍。
在存储厂商的测试里,WEKA 3.5 秒,VAST 1.7 秒,DDN 把 65.5GB 的 Qwen3-32B 跨 8 张卡在 4 秒内载入。
我自己粗算一下,65.5GB 除以 4 秒,大概每秒 16GB 以上。(自算,未考虑多卡并行细节,仅作量级参考。)
加载快有什么用?
模型冷启动快,扩容就快,空等的时间就少。
空等的时间,也是钱。
另一个叫 Grove,是 Dynamo 的一部分。
做 prefill、decode 这些多组件的 gang 调度和拓扑感知扩缩。
适合推理服务拆成好几块的场景。
06
最后说点泼冷水的。
开源不等于马上能用好。
这套东西零件很多,概念很多,gang、MIG、MPS、DRA,每一个都要人懂。
你省下了订阅费,可能要花在人身上。
懂 Kubernetes 又懂 GPU 调度的工程师,便宜吗?
不便宜。
所以别看到“免费”两个字就冲。
先数一数你有多少卡,闲置率多高,团队里有没有人能接住。
卡多、闲置高、有人接,赶紧上。
卡少、没人接,先观望,或者找托管伙伴。
说到底,NVIDIA 送的是工具。
账,还得你自己算。
来源:NVIDIA 技术博客。「开源是为卖卡」为作者推断;65.5GB/4s≈16.4GB/s 为自算;文中未给原商业版价格。