abc小站

2026-10-16

816B 的开源权重,两台 Mac Studio 能不能装下:Meta Muse Spark Open 算术

Meta 开源权重的 Muse Spark Open 总参数 816B、约 42B 激活:用内存和带宽的算术看两台 Mac Studio 能不能装下、能跑多快,以及许可证边界。

一、一个问题

如果有人告诉你,一个 816B 参数的大模型,可以在你书桌上的两台电脑里跑起来,你信不信?

我第一反应是不信。

816B 是什么概念?按照最常见的 BF16 格式,每个参数占 2 个字节,光是把权重放进内存,就要 1.6TB 左右。这已经不是"买一块好显卡"能解决的事了。

但是,Meta 本周确实是这么说的。

2026 年 10 月 15 日,Meta AI Research 博客发布了 Muse Spark Open,称它是"迄今最强的美国开源权重模型"。同一天,Meta 开发者博客补充了技术细节。其中有一句很引人注意:它是同量级里首个可以用两台 Apple M5 Ultra Mac Studio,配合 MLX 框架运行的模型(这是 Meta 官方的说法)。

这篇文章就来算一算,这件事是怎么做到的,以及它对普通开发者意味着什么。

二、基本情况

先把 Meta 官方公布的事实列一下。

权重已经可以从 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden、Microsoft Foundry Models 下载。

不想自己部署的话,据 Meta 开发者博客,首发托管推理的平台有 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter、Together AI。

推理框架方面,首日就支持 SGLang、vLLM、TensorRT-LLM、Transformers、MLX、llama.cpp、Unsloth,硬件覆盖 NVIDIA、AMD、Intel、Apple 四家。

这个支持面相当广。一个新模型发布当天,主流推理栈全部接好,说明 Meta 事先跟这些项目做了大量对接工作。

三、MoE:为什么 816B 不等于 816B 的开销

要理解两台 Mac Studio 的说法,必须先理解 MoE。

普通的大模型(又叫"稠密模型"),生成每一个 token,都要把全部参数读一遍、算一遍。

MoE 不一样。它把模型分成很多个"专家",每次只叫醒其中一小部分来干活。

打个比方,稠密模型像一个小公司,每件事全员开会;MoE 像一家大医院,病人进门先分诊,只有对口的几个科室参与。医院的总人数很多,但看一个病人用不了那么多人。

Muse Spark Open 就是这样:总参数 816B,每次只激活约 42B。

算一下比例,42 除以 816,大约是 5%(本文自算)。也就是说,每生成一个 token,只需要动用二十分之一左右的参数。

但是,这里有一个容易误解的地方。

只激活 5%,不等于只需要 5% 的内存。所有专家都必须待在内存里随时候命,因为你事先不知道下一个 token 会叫到哪个专家。

所以,MoE 节省的是计算量和带宽,不节省内存容量。

这就引出了下一个问题:816B 的权重,内存放得下吗?

四、内存账:1.6TB 怎么变成 530GB

据 Meta 开发者博客,官方提供了两种格式的权重。

BF16 的数字很好验证:816B 乘以 2 个字节,约等于 1.63TB(本文自算),跟官方说法一致。

NVFP4 是 NVIDIA 推出的 4 位浮点格式。每个参数从 16 位压到 4 位左右,体积理论上是四分之一,再加上量化需要额外保存的缩放系数等信息,最后落在三分之一左右,也说得通(这是我的推断,具体构成以官方说明为准)。

现在再看 Mac Studio。

据 Meta 官方说法,M5 Ultra Mac Studio 采用统一内存架构(CPU 和 GPU 共用同一块内存),单机最多 512GB。两台加起来就是 1TB。

1TB 装 530GB 的 NVFP4 权重,还剩下将近一半,可以用来放 100 万 token 上下文产生的缓存(KV Cache)和其他运行时数据(本文自算,未计入系统占用)。

Meta 还给了另一种组合:四台 256GB 的 Mac Studio,凑满约 1TB 统一内存,跑 NVFP4 版本。

再往下压,据 Meta 开发者博客,Unsloth 提供的 Dynamic GGUF 可以把模型压到约 2 位,最少需要约 300GB 的内存加显存组合。

把这几个数字放在一起,就是一个阶梯(下图建议用信息图表示)。

BF16:约 1.6TB,数据中心级别

NVFP4:约 530GB,两台 512GB Mac Studio 或四台 256GB

约 2 位 GGUF:约 300GB 起

当然,压得越狠,精度损失的风险越大。2 位量化能保留多少能力,官方没有给出对比数据,大家使用时需要自己测试。

五、速度账:带宽决定能跑多快

内存装得下,只解决了"能不能跑"。还有一个问题是"跑多快"。

大家可能知道,本地运行大模型,生成每个 token,处理器都要把用到的参数从内存里读一遍。所以,内存带宽决定了生成速度的上限。

据 Meta 官方说法,M5 Ultra 芯片带宽约 1.2TB/s。

每个 token 激活约 42B 参数,按 NVFP4 每个参数约 0.5 字节计算,一次要读约 21GB 数据。带宽除以这个数,就是纸面上的速度上限。

但实际速度会比纸面低不少。原因至少有三个:

(1)模型拆在两台机器上,机器之间要传数据,这比芯片内部慢得多;

(2)量化格式的额外信息也要读取,实际数据量大于 21GB;

(3)处理很长的提示词时,瓶颈会从带宽转向算力,第一个 token 出来之前可能要等很久。

所以,两台 Mac Studio 跑 Muse Spark Open,更准确的说法是"跑得起来",而不是"跑得飞快"。Meta 官方也没有公布 Mac 上的实测 token 速度,这一点值得等社区的实测报告。

六、它能干什么

Meta 研究博客给了两个官方演示。

第一个,用 Muse Code 配合 Muse Spark Open,给开源的 Mastodon 客户端 Ice Cubes 做 iOS 改动,包括修 bug、加新功能、完成整个构建。

第二个,操作 DaVinci Resolve 逐帧审片,并把视频裁成竖屏。

这两个场景都是"长程任务":不是回答一个问题就结束,而是要连续调用工具、读大量上下文、多步完成。这正是 100 万 token 上下文和"为 Agent 训练"想要解决的问题。

据 Meta 开发者博客,几家早期用户也给了评价。Factory 的 Zimu Li 强调它工具选择准确、回复紧凑;Ollama 工程侧强调 tool calling、长上下文和结构化输出。这些都是厂商博客里引用的合作方说法,不是独立评测。

需要说明的是,"迄今最强的美国开源权重模型"是 Meta 自己的定位。本文没有看到第三方的系统评测,大家不要把这句话当成定论。

七、推理加速

对于想自己部署的人,开发者博客里还有几个加速选项,我觉得值得一提。

最后这个数字很有意思。单个内核快了好几倍,整体却只快了 3%。

这说明了一个朴素的道理:一个系统的速度,取决于最慢的那个环节。某一段代码优化得再好,如果它在总耗时里占比很小,整体收益也有限。

想继续训练的话,后训练工具链有 TorchTitan、SGLang Miles、NVIDIA NeMo AutoModel、Hugging Face TRL,Fireworks 和 Together 也提供托管的 SFT 和 RL 服务。

八、许可证:开放权重,不是 Apache

最后,我要提醒大家注意许可证。

Muse Spark Open 用的是 Meta 自己的 Muse Model License,据 Meta 开发者博客,属于有限商业条款。社区讨论里提到了一些具体限制,比如界面上可能需要标注"Built with Muse Spark Open",大型 AI 服务商另有门槛。

但这些细节,一定要以官方 License 文本和 model card 为准。我没有核对过具体条款,这里不转述任何数字。

这跟 Apache 2.0 有本质区别。Apache 许可证几乎不限制你怎么用,而有限商业条款意味着,公司在产品里使用之前,最好让法务看一遍。

另外,Meta 的闭源旗舰 Muse Wonder 仍然没有开源。所以,这次放出来的是 Meta 选择开放的那一档模型,而不是它的全部家底。

九、小结

说实话,我觉得这件事最重要的意义,不是"816B"这个大数字,而是它把门槛往下拉了一档。

以前,这个量级的模型只属于数据中心。现在,权重可以直接下载,主流推理框架首日支持,书桌上的几台 Mac 也能装下。

能装下,就意味着数据可以不出门,意味着可以断网运行,意味着可以自己改、自己测。

总之,MoE 决定了它算得动,量化决定了它装得下,带宽决定了它跑多快,许可证决定了你能拿它做什么。

如果你手边正好有足够内存的机器,又在找一个能跑长程 Agent 任务的开源权重模型,可以试试它。

(完)

来源:Mark Zuckerberg 帖。“首个可用两台 M5 Ultra 运行”、3.7× 吞吐、1.03–3.95× 内核加速等均为 Meta 自报;Meta 未公布 Mac 实测速度;内存估算为作者自算;许可证条款以官方 model card 为准。