网易首页 > 网易号 > 正文 申请入驻

一次“模型三连发”的背后,杭州正悄悄长出一张物理AI的网

0
分享至


文 | 童蔚

你有没有发现,这一年多来,AI越来越“开窍”了。它不光能看懂你发的表情包,还能听明白语音里的潜台词,甚至开始透过电脑屏幕和摄像头,打量周围的世界。

可一旦从数字世界进入物理世界,问题就来了。天上的无人机在飞,产线上的机器人在移动,商超便利店里的摄像头一直在记录……现实世界不会按暂停键,AI来不及说“你等一下,我先算算”。

对这些设备来说,AI需要的不是偶尔“聪明”,而是持续在场。比如持续接收视频流,并更新对环境的理解,然后在任何需要介入的时刻,做出几乎同步的响应。

这就是物理AI要解决的第一个问题:让AI在动态世界里不掉线。

这两天,一款来自杭州的多模态模型提供了解题的新思路。


从感知、定位到行动的能力链

6月27日至29日,联汇科技VLX端侧流式多模态模型系列连续三天面向全球发布。它包含三款模型,VLX-Flow、VLX-Seek和VLX-Go,分别对应实时感知、精准定位与行动执行,构成一条完整的能力链。

VLX = Vision-Language-eXecution,也就是“视觉-语言-执行”一体化多模态模型。

VLX-Flow,它负责持续感知。人在走,车在跑,视角在切换,没有什么是静止等待分析的。传统的视频理解,通常是等视频录制完毕后再整体分析。VLX-Flow改变了这一模式,视频像流水一样不断进入,模型边接收边更新理解,实时记忆“刚才发生了什么”。


VLX-Flow 处理连续输入的视频片段,并维护视觉缓存与语义记忆以支持低延迟交互。

传统方法每隔一段抽一帧分析,好比看连环画,中间的动作连贯性容易丢失。VLX-Flow将视频切分为连续的小片段,按顺序处理,保证了动作的连续性。你随时提问,它都能随时作答。处理一路视频最快仅需0.06秒,还能同时处理好几路。

第二个VLX-Seek,负责精准定位。要让机器人“把桌上那个红杯子拿过来”,它需要在画面中精确锁定杯子的位置。VLX-Seek采用一种“区域匹配”的方式替代传统的坐标预测,定位效率更高。


最后是VLX-Go,负责行动执行。理解与定位后,还需要转化为实际行动,比如前进、转向、避障、跟随等。


这三个模型共享同一基座,在同一条视频流上协同工作,形成“感知→定位→行动”的完整闭环。这也与6月初CVPR 2026(IEEE国际计算机视觉与模式识别会议)上的趋势不谋而合。在会上,实时感知和精准定位成为热门关键词。

(了解三个模型的更多技术详情:

https://github.com/om-ai-lab/VLX-Flow,https://github.com/om-ai-lab/VLX-Seek,https://github.com/om-ai-lab/VLX-Go)


无人机和手机上也能跑

VLX最值得关注的地方,在于它的整套设计思路。

行业的主流做法是:先训练一个巨大的云端模型,再通过压缩、蒸馏等方式移植到端侧。你可以理解为,先建一栋摩天大楼,再拆解搬运到别处重建。

VLX走的则是另一条路,从出生之日起,就按照端侧的算力边界来设计整个系统。这相当于直接在目标位置建造一栋合适的房子。

结果就是“小而准”在实际场景中,可能比“大而全”更有效。


它不依赖网络连接,数据无须上传云端,隐私安全更有保障,响应速度也更快。此外,当视频流持续输入时,历史信息不断累积,传统模型会越来越慢。VLX-Flow通过双层记忆机制,解决了这个问题。一层保留近期画面细节,另一层维护长程的语义上下文,使响应延迟始终保持稳定,不会因为看得久了就变迟钝。

手机算力有限,还要同时跑App,留给AI的空间本就不多;无人机、机器人、摄像头更是如此,一丢丢延迟都可能影响任务成败。在有限算力下持续理解环境、完成行动闭环,这是它们共同的刚需,也是VLX的着力点。

那么具体到实际场景,VLX能做什么?

工业流水线上,质检机器人可以一边盯着产品流动,一边实时找出瑕疵品;工程现场,无人机飞过就能同步识别安全隐患,不用等降落后再回传分析;安防场景里,系统不再“被动等查询”,人员突然闯入、物体遗留、异常动作发生等,它都能主动触发提醒。


多模态领域的老玩家

支撑VLX落地的,是一支在多模态赛道深耕多年的团队。

联汇科技位于滨江区互联网产业园,公司CEO兼首席科学家赵天成毕业于卡耐基梅隆大学(CMU)语言技术研究所,核心团队来自CMU、清华、浙大等高校。


赵天成(资料图,摄影 陈中秋)

这家公司切入多模态领域的时间点,比大多数人意识到的都要早:2021年,推出国内最早的视觉语言大模型之一;2022年,取得工信部大模型检测的001号证书;2023年“百模大战”全面打响时,抢先发布自研OmModel多模态大模型的V3版本,以及国内首批大模型驱动的智能体应用。

去年,他们将DeepSeek-R1的强化学习推理范式引入机器视觉领域,开源项目VLM-R1上线仅一周便在GitHub上获得2.7k Star,成绩堪称亮眼。


杭州的物理AI版图正在成形

当物理AI和世界模型已经成为全球科技巨头公认的下一座金矿,在视觉硬件、大模型、先进制造等领域有长期产业积累的杭州正在编织一张大网。

除了联汇科技,这里还站着一批各具特色的玩家,各自从不同角度切入这场变革:

群核科技:旗下酷家乐平台积累超4.8亿个3D模型,以此为基础搭建具身智能虚拟训练场,让机器人在模拟环境中提前学会在物理世界干活。已与智元机器人、银河通用等企业达成合作。如果说大多数公司是在具体场景中应用物理AI,群核科技的定位则更偏底层,它想成为物理AI时代的“基础设施提供者”。


空间理解模型SpatialLM运行原理

凌迪科技:以自研柔性仿真引擎为核心,能让数字布料在虚拟世界中的垂坠感、褶皱、光泽无限接近真实世界。这恰好是物理AI最需要、也最难攻克的一环——形变体物理仿真。目前已服务全球超3000家时尚企业,并成为英伟达Newton物理引擎平台全球唯一形变体模拟引擎合作伙伴。


机器人抓取柔性面料的仿真训练

影身智能:公司自研原生4D世界模型,从数据源头直接构建“三维空间+时间维度”的建模能力。聚焦“双柔性”制造场景,涂胶和压底机器人已在“中国鞋都”晋江制鞋产线上实现1:1替代人工,不改产线、不停工。目前已获近亿元融资,在手柔性智造订单超2亿元。


制鞋产线上的压底机器人

智澄AI:创始人兼CEO胡鲁辉2024年4月首次提出“物理智能”概念,专注物理智能世界模型与通用机器人研发。去年至今已完成三轮融资,累计签约订单近15亿元,覆盖智能制造、安防巡检、生化检测等场景。


智澄AI的人形机器人TR5 PRO

肇观智能:前AMD核心团队创立,专攻端侧视觉感知芯片VPU。如果说大模型是物理AI的“大脑”,他们做的就是“视网膜”,把光信号转化为空间感知,在端侧完成实时的三维感知和环境识别。产品已覆盖200多个下游场景,近期将总部迁至杭州。


风语筑具身智能:6月刚刚入驻滨江的国家人工智能应用中试基地(具身智能)。基于近20年积累的三维空间资产,构建“真实场景采集-数字场景构建-仿真训练验证”的物理AI训练体系。


恩和生物科技:物理AI驱动的生物制造公司,3月发布全球首个面向生物制造领域的物理人工智能平台SAION AI。它就像一个能思考、会动手,还能自我进化的“AI科学家”,能将研发目标拆解为可执行方案,并直接驱动实验设备运行。已与新和成、伊利、珀莱雅等企业深度合作……



“中国第二好”的投资人投了DeepSeek

不玩虚的,国产“世界模型”已能让机器人进厂打工

考察完“AI六小虎”,杭州投了智谱

点喜欢

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
在中国,你的存款高于“这个数”,恭喜!已经超过中国大多数家庭

在中国,你的存款高于“这个数”,恭喜!已经超过中国大多数家庭

别人都叫我阿腈
2026-09-08 11:03:16
养老金月入过万群体的心声:年轻人不生娃,不交社保,自私自利,还拖垮了社会养老体系

养老金月入过万群体的心声:年轻人不生娃,不交社保,自私自利,还拖垮了社会养老体系

舒山有鹿
2026-08-09 11:56:27
英国政府要求民众提前存粮存水,呼吁家家户户储备罐头食品,确保为国家紧急情况做好准备

英国政府要求民众提前存粮存水,呼吁家家户户储备罐头食品,确保为国家紧急情况做好准备

第一财经资讯
2026-09-07 19:51:03
鲁本推对方教练?马雷斯卡:我全场抗议0次,对方教练呢?

鲁本推对方教练?马雷斯卡:我全场抗议0次,对方教练呢?

懂球帝
2026-09-09 06:25:10
当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

鹤羽说个事
2026-09-02 16:51:59
张纪中老婆想拼生5胎,称越生越聪明,75岁张纪中在旁低头不语

张纪中老婆想拼生5胎,称越生越聪明,75岁张纪中在旁低头不语

草莓解说体育
2026-09-08 15:29:41
华东师范大学终身教授许世远逝世,曾获中国地理学界最高荣誉

华东师范大学终身教授许世远逝世,曾获中国地理学界最高荣誉

澎湃新闻
2026-09-08 19:28:27
百万粉丝吃播网红“干饭莹莹猝然离世,年仅24岁!从发文提醒到去世仅3天…

百万粉丝吃播网红“干饭莹莹猝然离世,年仅24岁!从发文提醒到去世仅3天…

大风新闻
2026-09-08 08:59:07
网传一瓶瘦三斤,萧山很多人跑去山姆抢购!真有用?

网传一瓶瘦三斤,萧山很多人跑去山姆抢购!真有用?

萧内网
2026-09-08 22:26:13
闹大了!上海赛车事故发酵,吴彦祖王一博表态,扯下主办方遮羞布

闹大了!上海赛车事故发酵,吴彦祖王一博表态,扯下主办方遮羞布

林轻吟
2026-09-08 22:02:50
“出卖”父亲后果凄凉?傅作义之女傅冬菊为何至今仍被黑得如此惨?

“出卖”父亲后果凄凉?傅作义之女傅冬菊为何至今仍被黑得如此惨?

舆图看世界
2026-09-06 11:40:12
碾压 B 费!曼联弃将王者归来!红魔头号核心或将易主

碾压 B 费!曼联弃将王者归来!红魔头号核心或将易主

澜归序
2026-09-08 09:20:25
这下麻烦大了!郭德纲被罚不到1天,再迎3大"噩耗",个个戳他心窝

这下麻烦大了!郭德纲被罚不到1天,再迎3大"噩耗",个个戳他心窝

卷史
2026-09-08 08:46:42
美国法庭炸锅了!9月2号,被美军抓捕拘押在美国的马杜罗,他的律师团队抛出了一个惊人的逻辑死局,直接把美国法官都给搞懵了。

美国法庭炸锅了!9月2号,被美军抓捕拘押在美国的马杜罗,他的律师团队抛出了一个惊人的逻辑死局,直接把美国法官都给搞懵了。

回京历史梦
2026-09-06 20:35:03
哈兰德双响!随着曼城2:0完胜波尔图,一战诞生三大不争的事实!

哈兰德双响!随着曼城2:0完胜波尔图,一战诞生三大不争的事实!

田先生篮球
2026-09-09 06:18:53
网红Tiny在接受阴茎增大手术后死亡,遗体运回伦敦,用74万美元的黄金棺材下葬

网红Tiny在接受阴茎增大手术后死亡,遗体运回伦敦,用74万美元的黄金棺材下葬

江山挥笔
2026-09-07 21:40:02
袁腾飞去了美国,梁宏达去了加拿大?

袁腾飞去了美国,梁宏达去了加拿大?

十柱
2026-09-06 12:32:39
“4岁男童被指摸臀事件”当事女子账号已被禁止关注;此前回应“蹭流量”称我干自媒体需要流量,但不会颠倒黑白

“4岁男童被指摸臀事件”当事女子账号已被禁止关注;此前回应“蹭流量”称我干自媒体需要流量,但不会颠倒黑白

扬子晚报
2026-09-08 18:06:07
CBA重磅消息!广东男篮正式敲定新外援,2.01欧洲主力国手锋线,ABA联赛MVP、得分王、篮板王,即将抵达国内跟球队汇合

CBA重磅消息!广东男篮正式敲定新外援,2.01欧洲主力国手锋线,ABA联赛MVP、得分王、篮板王,即将抵达国内跟球队汇合

凯丰侃球
2026-09-09 04:06:07
特斯拉新车官宣:9月18日,国内亮相

特斯拉新车官宣:9月18日,国内亮相

科技堡垒
2026-09-07 11:39:20
2026-09-09 06:43:00
九千光年 incentive-icons
九千光年
90后00后看世界探未来
1967文章数 5599关注度
往期回顾 全部

科技要闻

小米再次背水一战

头条要闻

太子奶创始人李途纯北京离世 曾被羁押身陷囹圄15个月

头条要闻

太子奶创始人李途纯北京离世 曾被羁押身陷囹圄15个月

体育要闻

韩旭:我一定会再次走出去

娱乐要闻

郭德纲被处罚,郭麒麟被曝恋情瓜

财经要闻

智谱六连跌失守1000大关,发生了什么?

汽车要闻

领克20 领克的纯电小钢炮这次更运动了

态度原创

亲子
本地
手机
艺术
公开课

亲子要闻

倒贴200万无人要,我求奶奶收留我!

本地新闻

宁波,中国制造的隐藏大佬

手机要闻

华为Mate XT 2被拆:麒麟9050 Pro的丝印和架构细节,被逐一确认!

艺术要闻

毛泽东写给蒋的钢笔信,硬笔书法天花板!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版