abc小站

2026-10-20

文字不一定要从左往右写(Inception Mercury 3:扩散式大模型跑到每秒 1,068 个 token)

Inception 发布扩散式大模型 Mercury 3:官方称每秒 1,068 个 token、1M 上下文,不再一个字一个字往外吐。

大多数人默认,语言模型就该一个字一个字往外吐。

这个默认值,很少有人质疑。

因为我们自己就是这么说话的,这么打字的,这么读书的。

从左到右,一个接一个。

但这只是人类的习惯,不是文字本身的规律。

10 月 19 日,Inception 在官方博客发布了 Mercury 3。

这是一个扩散式大语言模型。

它不按顺序一个个吐 token,而是把一整段文字并行地“去噪”出来。

官方给出的速度是:在 NVIDIA GPU 上,每秒 1,068 个 token。

如果你只把它当成“又一个更快的模型”,你就错过了真正值得想清楚的东西。

默认路径的代价

先说清楚主流做法。

今天你用的大部分聊天模型,是自回归的。

意思是:先生成第一个 token,再根据它生成第二个,再根据前两个生成第三个。

每一步都要等上一步。

这条路走了很多年,也确实走得通。

问题在于,它把“慢”写进了结构里。

回答越长,你等得越久。

Agent 跑的步骤越多,等待就一层层叠上去。

大家的应对方式,通常是在这条路上继续优化:更好的硬件,更巧的推理技巧,更小的模型。

这些都有用。

但它们都没有动那个最底层的假设。

扩散换掉的是什么

扩散模型的思路,你可能在图像生成里见过。

先有一团噪声,然后一轮一轮把它修干净,直到图像浮现出来。

把这个思路搬到文字上,大意是这样:

不是一个字一个字往后接,而是先给出一段粗糙的草稿,再并行地把整段修正到位。

(这是对扩散 LLM 思路的通俗解释,Mercury 3 的具体实现细节以 Inception 官方说明为准。)

换句话说:

自回归是排队过闸机,一个人过完下一个人才能过。

扩散更像是一群人同时从几道门进场,然后各自找到座位。

这个比喻不精确,但它说明了一件事:

速度不是从“更用力地跑”里来的。

是从“换一种走法”里来的。

当你一直在优化一条路径,很容易忘了问,这条路是不是唯一的路。

为什么这次值得认真看

扩散 LLM 不是新概念。

过去它的问题很直接:快是快,但不够聪明。

快而笨的工具,没人真的愿意拿来干活。

Inception 这次给出的说法,正是在回应这一点。

以下全部是 Inception 官方自报,我没有看到第三方复现:

如果这些数字站得住,那意味着扩散 LLM 第一次在能力上追到了主流快模型那一档。

注意那个“如果”。

厂商自己报的成绩,是起点,不是结论。

startupfortune 的报道标题用的也是“claims”,这个用词很准确。

速度到底改变了什么

很多人看到速度,第一反应是:省时间。

这没错,但太浅了。

速度真正改变的,是什么样的产品变得可以做。

Inception 自己列的场景是:语音和聊天客服、实时辅导、数据工程、浏览器 Agent。

你会发现,这几件事有一个共同点:

人在等。

或者,下一步在等。

1) 语音和实时对话

在语音场景里,延迟不是体验问题,是生死问题。

对方说完一句话,你停顿太久,对话就不像对话了。

所以对语音产品来说,模型快一点,不是锦上添花,而是能不能上线的分界线(这是我的判断,不是官方原话)。

2) 实时辅导

辅导的价值,在于即时反馈。

学生刚卡住,提示就该到了。

等太久,注意力就散了。

3) 数据工程

数据工程往往不是一次调用,而是一批又一批。

单次快一点,乘上批量,节省的就不是几秒钟。

4) 浏览器 Agent

浏览器 Agent 要看页面、做判断、点下一步、再看页面。

每一步都要调一次模型。

步骤越多,模型的延迟就越像是整个系统的天花板。

换句话说:

当生成足够快,你设计产品时就可以假设“模型几乎不用等”。

这个假设一旦成立,很多以前不划算的交互方式,就开始划算了。

价格和入口

速度之外,Inception 这次把门槛也放得很低。

据官方博客:

入口也很多:Inception 自己的 API、OpenRouter、Baseten,以及 Vercel AI Gateway。

据 Vercel 的更新日志,在 AI Gateway 上的模型名是 inception/mercury-3。

接口兼容 OpenAI API。

这意味着,如果你的代码本来就在调 OpenAI 格式的接口,切过来试一试的成本很低。

还有一个容易被忽略的细节:

Mercury 2 和 Mercury 2.5 已经对新用户下架,老客户可以用到 11 月 15 日。

如果你的产品现在跑在旧版本上,这个日期值得写进日历。

快的陷阱

这里有一个容易踩的坑。

速度是最容易被感知的指标。

你一打开就能看到字刷地出来,那种爽感很直接。

但速度也是最容易让人放松警惕的指标。

一个快速给出错误答案的模型,只是让你更快地犯错。

所以,评估一个快模型,至少要分开看三件事:

官方的说法覆盖了第一件,也用基准测试回应了第二件。

第三件,只有你自己跑了才知道。

换句话说:

别让速度替你做判断。

速度应该是你做完判断之后,才拿来享受的东西。

真正的问题

所以,你应该马上把所有调用都换成 Mercury 3 吗?

不。

那是另一种形式的默认路径:看到新东西就追。

更好的问题是:

你的产品里,哪些环节是因为“模型太慢”才被设计成现在这个样子的?

如果答案是有,那就拿你自己的真实任务去测一遍。

不是测官方的基准,是测你的任务。

看它在你的场景里,快多少,错多少。

速度本身不是护城河。

能看清“速度改变了什么”,然后重新设计产品的人,才有护城河。

大多数人会继续沿着默认路径优化。

少数人会停下来问:这条路是不是唯一的路。

Mercury 3 能不能兑现它的承诺,现在还说不准。

但它至少提醒了一件事:

文字从来没有规定,必须从左往右写。

来源:Inception 官方博客(2026-10-19);Vercel 更新日志;startupfortune。速度、参数规模、基准对比与价格均为 Inception 自报,未见第三方复现;首发折扣与 Mercury 2 / 2.5 下架时间以官方为准。