把 120B 塞进 24GB，NVIDIA 这次算的是谁的账
NVIDIA Nemotron 3.5 Bolt 74B-A9B 用弹性剪枝加 2-bit 量化把 120B 压到 24GB 档：命名与实际运行内存之间差的是什么。
01
这两天 NVIDIA 放出了一个名字很长的模型。
NVIDIA Nemotron 3.5 Bolt 74B-A9B。
名字长，但重点就一个：24GB。
模型仓库的名字后面，直接就挂着“24GB”这几个字。
什么意思？
意思就是，NVIDIA 想让你在自己的机器上，跑一个本地 Agent。
不是云上。
不是 API。
是你桌子底下那台。
本来我还以为，又是一个“小而美”的小模型。
结果一看来历，冒昧了。
它不是从头训出来的小模型。
它是从一个 120B 的大模型，硬生生压出来的。
02
先把据 NVIDIA 模型卡和技术报告能确认的家底摆出来。
总参数 74B，每次只激活 9B。
架构是 Mamba-2 和 Transformer 混合的 LatentMoE，视觉编码器用的是 C-RADIO v4-H。
能吃文本、图像、视频，吐出来的是文本。
上下文最高 256K（据 NVIDIA 模型卡；Unsloth 文档写的是 128K）。
注意，是“最高”，具体部署配方可能用更小的窗口。
再说来历。
据 NVIDIA 官方，它的上一代是 Nemotron 3.5 Super VL 120B-A12B。
NVIDIA 用了一套叫 Star Elastic 的方法，说白了就是路由器引导的架构搜索，加上端到端压缩。
每次调用的专家数，top-K 从 22 降到 9。
（自算：9 除以 22，大约四成，也就是说每次干活的专家少了一半多。）
压完之后，还不算完。
再做 2-bit 的量化感知蒸馏。
精度是 IQ2。
据 Unsloth 文档，大部分专家权重是 2.06-bit 的 IQ2_XXS，Mamba 层保留 NVFP4，输出头是 Q8_0。
翻译成人话就是：
能省的地方往死里省，不能省的地方一点不动。
这就是风控里最朴素的道理。
不是所有地方都值得花钱，但关键岗位不能省。
03
那 NVIDIA 为什么要费这么大劲？
直接训一个小模型不香吗？
据 NVIDIA 官方给的结论：同样的体积预算下，把大模型压缩下来，比从头训一个同尺寸模型、再做 4-bit 量化，效果更好。
注意，这是 NVIDIA 自己的结论。
自己出题，自己考，自己公布成绩。
我不说它错，但你得知道这是谁说的。
不过这个思路本身，是有道理的。
你想想看，一个从小没见过世面的人，和一个见过大世面、后来被逼着精简生活的人。
同样住一个小房子。
谁更会过日子？
一般是后者。
因为他知道什么东西重要，什么东西可以扔。
压缩大模型，大概就是这个意思。
（这个比喻是我的，不是 NVIDIA 的。）
04
再说速度。
据 NVIDIA 技术报告，在 RTX Spark 上，解码速度约 84 TPS，设计目标是不低于 80 TPS。
配套还有一个 LiLiCorr 投机解码的草稿模型，叫 DFlash。
vLLM 的配方里，一次用 7 个草稿 token。
据 Unsloth 文档，草稿模型 NVFP4 版本约 998MB。
这些都是官方自报，没有第三方实测。
那它拿来干嘛？
据模型卡，定位是本地 Agent harness。
工具调用。
网页浏览。
终端操作。
技术报告里点名了 GDPVal v2、BrowseComp、Terminal-Bench 2.1 这些基准。
具体分数我不抄了，想看的去翻报告原文。
毕竟分数这东西，看一眼就忘，真用起来才知道。
05
好，重点来了。
谁能跑？
据 NVIDIA 官方的部署说明，分两条路。
第一条，vLLM，跑在 A100、H100-80GB、Blackwell 上。
这条路，跟普通人关系不大。
谁家里放一张 H100 啊？
第二条，GGUF 版本，用 llama.cpp 跑。
能跑在 RTX Spark、DGX Spark（64GB 或 128GB），或者 32GB 以上、48GB 以上的独立显卡上。
官方给了 28GB 和 32GB 两套配方。
Unsloth 的建议是，短上下文的话，预留约 32GB 的内存或统一内存。
Unsloth 还给了一行命令：
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS --ctx-size 4096
并且建议从 4K 上下文起步，再往上加。
等一下。
仓库名写着 24GB。模型卡的原话是：靠原生 2-bit 量化，打包后的模型能“装进 24GB 内存”，架构搜索的目标是 batch size 1、128K 上下文时占用低于 24GB。但给出的实际运行配方是 28GB、32GB，Unsloth 建议预留 32GB。所以“24GB”说的是模型本身的体积档位，不等于 24GB 显卡就一定能舒服地跑起来。
这中间差的几个 G，是什么？
是上下文，是缓存，是系统，是各种你在发布会海报上看不到的东西。
这就是我常说的：
标价是标价，到手价是到手价。
还有一个细节。
Unsloth 文档写的上下文是 128K，NVIDIA 模型卡写的是 256K。
两边对不上。
以模型卡为准。模型卡也说明，具体部署配方可能会用更小的上下文窗口来适应显存。
但你真跑的时候，大概率连 128K 都用不到，因为内存先扛不住。
06
说到这，就得说同一天 NVIDIA 干的另一件事。
据 NVIDIA 官方新闻稿，10 月 16 日，RTX Spark 笔记本上市。
ASUS、Dell、HP、Lenovo、Microsoft、MSI 都有。
最高 128GB 统一内存，1 petaflop FP4 算力。
起价 2,599 美元。
你品，你细品。
一边发一个“24GB 能跑”的模型，技术报告里的速度还是在 RTX Spark 上测的。
一边卖一台最高 128GB 内存的笔记本。
这不是巧合。
这是一套组合拳。
模型负责告诉你“本地 Agent 能用了”，笔记本负责告诉你“那你得买台新的”。
（这是我的推断，NVIDIA 没这么说。）
卖铲子的人，最懂淘金热。
AI 这么多年，最稳赚钱的一直是卖卡的。
现在卡卖到了你的书包里。
07
那对普通人来说，这事到底值不值得激动？
我的看法是：值得关注，不用急着掏钱。
为什么？
第一，模型本身是开放的。
据模型卡，许可证是 OpenMDW-1.1，权重能下，llama.cpp 能跑。
你手上要是已经有一张大显存显卡，或者一台大内存的机器，可以直接试，成本就是电费和时间。
第二，“压大的比训小的好”这个思路，如果被更多人验证，以后本地模型的“每 GB 智能”会继续往上走。
这对所有人都是好事。
第三，别被“24GB”三个字带偏。
真正要准备的，是 28GB 到 32GB 起步，再加上你想要的上下文。
为一个模型专门换一台 2,599 美元起的电脑？
先想想你每天到底有多少活，必须让本地 Agent 来干。
想清楚了再买。
想不清楚，就再等等。
据 TechRepublic 报道，同一批还有更小的 Bolt E4B，大约 4GB 就够，面向语音助手、互动角色和物理 AI，官方说 10 月 23 日发布。
注意，是“说”，截至发稿 Bolt E4B 还没有发布。
等它发了，再看看。
反正谁的钱都不是大风刮来的。
他们卷模型，卷硬件，我们看着，挑便宜的用。
只能说，我爱这个魔幻的世界。
来源：NVIDIA 模型卡；NVIDIA 研究页。基准与速度为 NVIDIA 自报；上下文长度按模型卡 256K，Unsloth 文档写 128K；“24GB”指打包模型体积，官方运行配方为 28GB/32GB；Bolt E4B 截至发稿未发布；“四成”为作者自算。