再看一眼的本事:Elorian Glimpse 和「看清楚」这件慢功夫
Elorian 发布视觉推理模型 Glimpse(研究预览):推理途中回头放大、慢放、追踪,把“再看一眼”做成可见的过程。
人看东西,很少是一眼定终身的。远远瞥见街对面有个熟人模样的身影,下意识会眯一下眼睛,往前凑两步,等对方转过脸来才敢抬手打招呼。看合同也是一样,扫一遍大意之后,总要回到某一行小字上,把那几个数字再对一次。这些动作太平常了,平常到我们从来不觉得它是一种本事,但如果没有这一下「再看一眼」,人这一辈子大概要认错很多人,签错很多字。
所以看到 Elorian 在 10 月 16 日放出 Glimpse 的时候,我觉得它说的事情很朴素,朴素到有点让人意外。据 Elorian 官方博客,这是一个视觉推理模型,目前是研究预览,通过 API 和聊天界面可以用,Vercel 的 AI Gateway 同一天也上架了它。它要解决的问题,说穿了就是让机器学会人那一下眯眼睛:推理到一半,觉得哪里没看清,就回过头去,把那一块放大了重看,把那一段视频放慢了重看,盯住同一个东西在不同时刻的位置。
以往的多模态模型,在我这个外行看来,做法有点像让一个人隔着门听别人描述一幅画。图片先被转成一串文字式的理解,后面的推理就在这串理解上打转,画本身再也不回头去看了。描述得好,推理也就跟着好;描述漏了一处,后面再聪明也补不回来。Glimpse 换了一个思路,官方的说法是,推理的过程里模型可以反复回到图像和视频本身,放大局部,用更密的帧率看一小段,跨时间跟踪同一个特征,而平台会把这些动作摊开给用户看,叫作「visual scratch space」,翻成大白话,就是视觉上的草稿纸。
官方博客里有两个例子,我觉得比任何形容词都说得明白。一个是判断一段镜头到底是平移还是硬切,模型先以约 8 fps 把整段看一遍,找到那个说不清的地方,再对其中 0.9 秒的关键区间以约 14 fps 重看。另一个是判断火车有没有在减速,模型盯住同一个窗沿,看它从 2.2 秒到 5.13 秒之间的位移。这两件事放在人身上,就是先扫一眼,觉得不对劲,再凑近去看,或者干脆盯着一个点不放。没有什么玄妙之处,只是这个顺序本身,就是看清楚的全部秘诀,句号。
据官方介绍,它能做的还不止看。模型可以写代码,可以变换图像,可以看视频,还能派生出子 Agent,彼此交换文本、视觉产物和内部表示。官方举的用途里,有几样很实在:在遥控操作的数据里数出每一次抓起和放下,并且给出时间戳;数工地上有多少辆车,同时把依据所在的时间点一并交出来;在一段手机拍的视频里一只只数小狗,镜头移开再移回来,编号也不会乱。这些活计说起来都不体面,属于那种没人愿意干、干了也不会有人夸的细致活,但机器人公司、做视频的人,每天都被这些活拖住腿。
再说说这家公司。据 TechCrunch 的报道和官方介绍,Elorian 的创始人 Andrew Dai 是前 Google 研究员,公司 4 月才从隐身状态走出来,融了 5500 万美元,出资方里有 Striker、Menlo、Altimeter,NVIDIA、Jeff Dean 等也参与其中。我比较留意的是另一句话:官方说团队只用了几百张 GPU,是在一个开放权重的基座模型上做的后训练。这年头动辄以多少万张卡论英雄,听到一个几百张卡的故事,有一种在一群开重卡的人中间看见有人骑自行车的感觉,未必更快,但路线选得很清楚。
价格和成绩,官方也都摆出来了,我照抄,不加作料。据 Elorian 官方,输入每百万 token 0.60 美元,输出每百万 token 3 美元,官方称比 GPT-6 Astra 低 94%,比 Claude Opus 5.5 低 85%。官方自报的对比里,Glimpse 对 GPT-6 Astra,WGO Bench 是 42.70 对 39.42,FSC-147 计数是 83.36 对 82.02,UGC-VideoCap 是 82.66 对 80.32,CharXiv-R 是 92.90 对 92.10,ERQA 两边持平,都是 83.75。官方同样写明,在 Video-MME v2、TOMATO、BabyVision 这几项上,Glimpse 低于 Astra。肯把自己输掉的那几项也列出来,这份坦白我愿意记一笔。
机器人那一段,是我觉得最值得多看一眼的地方。官方让 Glimpse 给 Physical Intelligence 的 π0.5 VLA 策略当规划器,跑 LIBERO 任务,每个 episode 的规划成本是 0.035 美元,Astra 是 0.249 美元,两边都完成了任务。可是官方紧接着就说了,标定重建和机器人控制,还是未来的工作。也就是说,它现在负责的是「看明白之后说该做什么」,至于手怎么伸、力怎么使,那是另一回事,暂时不归它管。
Foundra 的评论写得很冷静,大意是:研究预览不等于在工厂或者实验室里验证过,买方要自己去测任务级的成本。我觉得这句话应该贴在所有发布会的门口。基准上的分数,是在别人搭好的考场里考出来的;单价便宜,也只是每一次调用便宜,一件活要调用多少次,要回头看多少眼,只有自己的活计才知道。你家的工地不是官方演示里的工地,你家的遥控数据也未必像演示里那么干净,这些都得亲手试过才算数。
这里不妨设想一个场景,说明一下,这是假设,不是哪家公司的真事。一个做机器人数据整理的小团队,手上有一堆遥控操作录像,要从里面标出每一次抓和放。用 Glimpse 这一类模型,真正该算的账不是单价表上那一行,而是一段录像里它要回头重看几次,重看的时候用了多密的帧率,派生了几个子 Agent,最后标出来的时间戳有几成要人工返工。这些东西官方替不了你,也不该替你,因为它们取决于你自己的录像拍得稳不稳,光线好不好,桌面乱不乱。
我还注意到一个细节,就是那张视觉草稿纸是摊开给人看的。机器说它看见了什么,人可以顺着它放大过的区域、重看过的片段去核对,看它是不是真的盯住了那个窗沿,还是盯错了另一根柱子。这和过去只给一句结论的做法很不一样,结论错了,你只知道它错了;过程摊开了,你才知道它错在哪一眼。对于要拿结果去干活的人来说,后者要友好得多。
说到底,Glimpse 让我感兴趣的,并不是它在哪一项上多考了几分,而是它把「再看一眼」从一种藏在模型肚子里的东西,变成了一个摆在桌面上、可以被人看见的过程。人类社会里,靠得住的判断大多带着这种痕迹:医生会再看一眼片子,会计会再对一遍账,老师傅拧完螺丝会再摸一下。快不是本事,敢于慢下来回头看,才是。机器要是也学会了这一点,那么在它说「我看清楚了」的时候,我们至少能翻开它的草稿纸,看看它到底看了哪里。这比一句漂亮的结论要让人安心得多,不是么?
来源:Elorian 官方博客;TechCrunch;Vercel 更新日志。Glimpse 为研究预览;基准、价格对比与 LIBERO 规划成本均为 Elorian 自报,型号名照官方博客原文。