网易首页 > 网易号 > 正文 申请入驻

魔法原子具身 Agent 框架拿下 MolmoSpaces 全球第一 让 VLA 从“演示可用”逼近“产线可用”

0
分享至

近日,在由艾伦人工智能研究所(AI2)发起的全球权威具身智能零样本评测基准 MolmoSpaces 最新榜单上,魔法原子旗下面向通用机器人操作的 VLM Agent 框架 EchoPolicy-0 以 75.4%的机器人操作平均成功率位列 MolmoSpaces Combined 榜单全球第一,覆盖全部 4 个 v1 任务。

同一榜单、同一分组下,魔法原子自研具身智能 Agent 框架 MagicBrain 凭借 3.4B 参数规模,以 72.4%的机器人操作平均成功率位列 MolmoSpaces Combined 榜单全球第四,其抓取成功率达到 94.4%,远超行业平均水平。



魔法原子旗下具身智能 Agent 框架 EchoPolicy-0 位列 MolmoSpaces 榜单第一

MolmoSpaces 榜单是目前全球具身智能领域最具公信力的零样本评测基准,面向操作、导航与更长程的具身任务。MolmoSpaces 生态包含超过 23 万个室内环境、约 13 万个物体资产,为评测提供了丰富的变化来源。机器人需要面对超出固定演示环境的情况,在不同背景、几何结构与物体分布下寻找目标,并根据局部条件完成任务。

同时,MolmoSpaces 包含可移动的刚体物体和带关节的交互对象,机器人不仅要在图像中找对目标,还必须通过真实的仿真接触改变对象状态,让机器人的作业任务具有实质难度。

MolmoSpaces 的基准明确给出初始场景、机器人与相机配置、任务指令和成功条件,完整清单、统一计分与公开结果能够把零散演示转化为可比较的数据。魔法原子 EchoPolicy-0 与 MagicBrain 框架参与的四项务分别涉及自由物体抓取、关节物体交互和多阶段操作,从不同侧面考察具身智能 Agent 框架的系统能力,而不是只看一个单项指标。

2026 年以来,具身智能正从演示阶段走进真实产线,竞争重心上移到机器人的“大脑”——具身智能大模型。随着机器人运动控制能力快速提升,机器人的身体更灵活、更耐用,大脑的实际应用也随身体边界的打开而快速演进。相应地,市场的研究方向正在转向:如何完成更复杂的任务,如何快速上手新任务。MolmoSpaces 的评测,也同样关注具身智能大模型的泛化能力。

魔法原子研发实验室 MagicLab Studio 负责人表示:“在具身大脑路线的选择上,我们认可分层架构这种方式,并发现指令遵循能力是当前模型在通用任务上遇到的一个难点。EchoPolicy 通过 Agent 框架及轨迹打分的方式来保证指令遵循能力;MagicBrain 通过端到端视觉引导的方式来优化指令遵循效果,两者均取得了较好的结果。”

EchoPolicy-0 :让机器人多任务共享一套思考与行动方式

机器人要完成一项任务,需要把语言目标、视觉观察与物理动作持续连接起来。例如抓住物体之后,要判断是否真的拿稳;打开柜门之前,要找到可交互的位置;一次动作没有达到预期,机器人需要根据新情况调整计划。

这些动作看起来不同,但属于具身智能机器人跨任务需要面对的共通问题:目标在哪里,当前状态是什么,应该调用哪种能力,动作是否达到目的,以及失败后如何继续。

魔法原子 MagicLab Studio 围绕这些跨任务共通的问题,将视觉语言模型、几何操作工具与通用动作策略组织为统一的 VLM Agent 框架 EchoPolicy-0 ,让观察环境、理解目标、选择能力、执行动作,以及观测验证结果形成闭环。不同任务共享这套机制,具体的接触和运动由相应执行器完成。

EchoPolicy-0 框架研发负责人表示:“ EchoPolicy-0 的通用性体现在让能力能够被统一调用、组合和验证。 EchoPolicy-0 当前版本已在 Franka 单臂平台上完成四类操作验证。”

在 VLA 的使用方式上,魔法原子 MagicLab Studio 引入了 VLM 目标引导的多候选轨迹选择:让动作模型先提出多种可能的运动,将候选投影到图像平面,再依据 VLM 指定的目标选择更匹配的轨迹,并在执行后持续验证。高层视觉理解由此参与低层动作选择,而不仅停留在任务分解。



EchoPolicy-0 VLM 框架多候选轨迹选择原理

EchoPolicy-0 框架在 MolmoSpaces 的四项操作任务上完成了 3915 局全量评测,取得了 75.4% 的四项任务等权平均成功率,截至 2026 年 10 月 13 日,位列 MolmoSpaces Combined 榜单球第一。

魔法原子 MagicLab Studio 将 EchoPolicy-0 框架在 MolmoSpaces 上的四项评测视为统一框架的一次系统验证,同时用逐局结果指导后续迭代。EchoPolicy-0 展示了一条面向通用机器人操作的系统路线,统一 Agent 框架能够组织不同类型的操作能力:由 VLM Agent 组织语义目标和任务状态,由几何工具提供可检查的空间交互,由通用动作策略生成候选,通过 VLM 目标引导的轨迹选择约束动作方向,再由持续验证把它们连接起来。

EchoPolicy-0 针对具身智能模型落地场景,回答了一个问题:模型提出来的动作,怎么保证选的是对的那一个。 它不改模型的输入,而是在模型给出的多套候选动作里,按视觉目标筛出更匹配的一条,并在执行后持续验证。对下游客户而言,这条路线的价值不在单点成功率上——新增一类任务时,不必再从零搭一套系统,只要把能力接进同一套框架即可。

自研大脑:MagicBrain 让模型能“看见” 从“演示可用”逼近“产线可用”

具身智能 Agent 框架 MagicBrain 来自魔法原子 MagicLab Studio ,在 MolmoSpaces 的抓取、抓取放置、打开与关闭四项操作任务上, MagicBrain 完成了 3915 局全量评测,四项 v1 任务平均成功率全球第四。其中,抓取(Pick-v1)、抓取放置(Pick & Place-v1)两项任务均拿下了所在任务榜单的全球第一,抓取任务成功率更是高达 94.4%。

视觉-语言-动作(VLA)是当前具身智能领域备受关注的一类模型架构,其语言跟随能力是行业内一个由来已久的共性问题。让模型执行“把苹果放进篮子”这类指令,包含了两件对它并不容易的事:先理解“苹果”这个名词,再在像素层面找出哪个是“苹果”。

魔法原子 MagicLab Studio 在研发测试中发现,抓取失败的案例里,绝大多数不是动作执行不稳,而是抓错了对象,或者放错了位置。换句话说,VLA 在动作学习上已经足够强,真正的短板在把名词短语绑定到图像区域,这也是它训练信号最稀疏的一环——想抓“苹果”却抓成旁边的“梨”,错不在手,而在眼睛。

实际上,VLA 对视觉信号的跟随能力,强于对语言指令的跟随:“听懂话”是 VLA 的短板,“看懂图”才是长板。为此,MagicBrain 采用了一套被称为 In-Context Visual Guidance(上下文视觉引导)的技术路线,VLA 只负责做动作,找目标这件事,交给更擅长看图的 VLM Agent。



具身智能Agent框架 MagicBrain 三层架构层级图

未来,这套视觉引导技术也可以迁移到交互等更多场景——毕竟,给模型“画”出该看的东西,不只适用于抓取。MagicBrain 提供了一个更省力的分工范式。语言说清“做什么”,像素说清“是哪个、在哪里”,把两路信息各交给擅长的模型,它没有引入新的模型结构,没有堆砌更大的参数量,只是重新排布了信息的传递路径。

“我们在 VLA 理解语言的基础上,让它进一步去‘看见’,并且知道该看什么”,魔法原子 MagicLab Studio 负责人表示,这一技术路线不依赖提升参数规模来换取大模型性能,此次参与评测的模型参数规模仅为 3.4B。

这意味着,任何具备基础数据能力的团队都能低成本复现,不卷模型大小也能拿到增益——在具身智能走向规模化的路上,“组合而非全能”的分工思路,或许比“一个模型通吃”更接近现实。

行业层面,魔法原子回答了一个备受关注的问题:VLA 到底能不能用得起、用得上。抓取与放置是具身智能从实验室走向真实场景的高频基础动作——工厂分拣、仓储搬运、家庭整理都依赖它。抓取成功率从此前 70% 到 94.4% 的跨越,意味着 VLA 正从“演示可用”逼近“产线可用”的临界线。对行业而言,每一点成功率提升,都在扩大可商业化的场景边界。

魔法原子的 “具身大脑” 设计哲学

“在 MolmoSpaces 榜单上拿到了全球第一,但魔法原子关心的,是榜单背后那个真正的问题:具身智能机器人的大脑,到底应该怎么长,长在哪里。”魔法原子 MagicLab Studio 负责人表示。

魔法原子认为,具身智能应沿着分层协同的技术路线推进:由上层模型负责理解、规划与纠错,由底层模型负责将任务意图转化为可靠的物理动作。

上层模型要承担视觉理解、任务分解、规划决策、错误修正和记忆管理。目前前沿基础模型在这些方面已有较好基础,但仍需针对具身场景中的空间关系、物理约束和持续交互做适配。上述负责人认为,行业短期应重点建设围绕模型运行的 Harness,将上下文管理、工具调用、执行反馈和评测机制组织起来,并探索以反馈驱动的迭代优化,包括 RSI 方向;长期则需要依托真实场景数据开展自主训练与后训练,逐步增强模型本身的具身理解和决策能力。

该负责人表示,承担动作生成与控制执行的底层模型,可以采用 VLA、WAM 或其他混合架构。架构选择应服务于实际任务,重点考察指令遵循、动作精度、执行效率及泛化能力。

目前,分层架构本身在行业内已被广泛讨论,其中一个关键问题仍未得到充分解决:上层的任务意图,如何被底层准确理解并稳定执行。

魔法原子 MagicLab Studio 在实验中发现,现有动作模型在分布外(OOD)场景下仍容易出现目标选择错误、空间约束理解偏差等情况。为此,团队尝试了两种互补的解决思路。

第一种是本次拿下 MolmoSpaces 榜单第一的 EchoPolicy-0,通过 Agent 调度、候选选择和闭环验证,提高执行与指令的一致性。其中,上层模型将任务分解为明确的子目标,系统对底层模型生成的多条候选动作轨迹进行评估,选择更符合当前指令的候选;执行后,再依据新观测判断进展,决定继续、重试、重规划或回退,并按需调用几何工具完成特定操作。

这一技术路线的优势在于可以在不重新训练底层模型的情况下,通过改进调度、选择和验证机制快速迭代,提升已有模型的任务完成能力。

MagicBrain 的思路是通过显式视觉引导和配套训练,提高动作生成阶段的目标对齐能力。

其中值得借鉴的是上下层之间的视觉引导机制。MagicBrain 将上层识别出的交互目标、放置区域以及短期运动历史,以视觉标记的形式注入底层模型的观测,让任务意图直接对应到图像中的具体位置。该方法无需改变 VLA 的网络架构,通过配套后训练,使模型学会将视觉标记与操作语义、动作行为联系起来,从而降低仅依赖语言指令时的歧义。

两种思路分别作用于“动作生成”与“执行、选择、验证”两个环节,具有较强的互补性:视觉引导帮助底层生成更符合目标的动作,Agent 调度则负责选择、执行、检查和纠错。

此次 EchoPolicy-0 拿下第一、MagicBrain 拿下第四,两条路径的有效性都得到了验证。

谈及未来,魔法原子表示:“下一阶段,我们将进一步探索二者结合,形成从任务理解到物理执行的完整反馈闭环,并进入真实工业场景,持续检验任务成功率、运行稳定性和部署成本,并在这一过程中完善数据与模型平台。将经过验证的能力沉淀为可复用的技能模块、标准接口和解决方案,同时系统积累成功、失败及人工纠正数据,建立“部署—采集—训练—评测—再部署”的持续迭代机制,推动工程经验转化为基础模型能力。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国民党彰化大造势 ,王惠美谢衣凤现身,宋楚瑜不装了?不简单

国民党彰化大造势 ,王惠美谢衣凤现身,宋楚瑜不装了?不简单

DS北风
2026-10-17 18:54:03
中国当前最危险的,可能不是台湾,更不是美日!真正致命的,是一双藏在暗处的手,正在不声不响地扼住我们的咽喉

中国当前最危险的,可能不是台湾,更不是美日!真正致命的,是一双藏在暗处的手,正在不声不响地扼住我们的咽喉

扶苏聊历史
2026-10-12 10:16:50
布伦特福德vs利物浦:伊戈尔-蒂亚戈、凯莱赫首发,范戴克、阿利松出战

布伦特福德vs利物浦:伊戈尔-蒂亚戈、凯莱赫首发,范戴克、阿利松出战

懂球帝
2026-10-17 20:59:50
伊朗硬刚美国:你敢对我动手,我就把你“2万亿命根子”全炸了!

伊朗硬刚美国:你敢对我动手,我就把你“2万亿命根子”全炸了!

麓谷隐士
2026-10-16 00:05:04
首次突破、历史新高!一组数据感受中国经济澎湃动能

首次突破、历史新高!一组数据感受中国经济澎湃动能

环球网资讯
2026-10-17 07:45:01
威马官微发帖讨薪:请发我们工资!车机App疑似停摆,官网已无法打开;“白衣骑士”深圳翔飞难圆“复活梦”?

威马官微发帖讨薪:请发我们工资!车机App疑似停摆,官网已无法打开;“白衣骑士”深圳翔飞难圆“复活梦”?

每日经济新闻
2026-10-16 19:09:06
方季惟:我56岁仍是处女,一生从未谈过恋爱,不寂寞也不遗憾!

方季惟:我56岁仍是处女,一生从未谈过恋爱,不寂寞也不遗憾!

尺素a
2026-10-06 14:56:02
4个冠军点全推迟!成都夺冠仍“大局已定”,大连雨夜6万球迷值得掌声

4个冠军点全推迟!成都夺冠仍“大局已定”,大连雨夜6万球迷值得掌声

汪星人哟
2026-10-17 21:12:23
浙江男子晚上抓黄鳝,却摸上来一条毒蛇:狠狠咬住手不放!提醒:伪装性极强,严重可致残

浙江男子晚上抓黄鳝,却摸上来一条毒蛇:狠狠咬住手不放!提醒:伪装性极强,严重可致残

扬子晚报
2026-10-17 09:08:27
外蒙古面积缩水30万平方公里?从180万到150万,原因你绝对想不到

外蒙古面积缩水30万平方公里?从180万到150万,原因你绝对想不到

抽象派大师
2026-09-21 16:40:31
恩爱23年难抵残酷现实?,53岁蔡少芬瘦成皮包骨,,丈夫心梗险让她守寡

恩爱23年难抵残酷现实?,53岁蔡少芬瘦成皮包骨,,丈夫心梗险让她守寡

深度解析热点
2026-10-14 16:10:31
10.17-10.31运势上上签,三大生肖机会主动上门,横财大奖惹不起!

10.17-10.31运势上上签,三大生肖机会主动上门,横财大奖惹不起!

毅谈生肖
2026-10-17 12:02:56
深中通道通车两年,中山翠亨从3万跌回9000,深圳客熬不住了

深中通道通车两年,中山翠亨从3万跌回9000,深圳客熬不住了

爱看剧的阿峰
2026-10-17 08:58:30
发现没?凡是长期不祭祖的家庭,过个十年八年,往往会出现变化

发现没?凡是长期不祭祖的家庭,过个十年八年,往往会出现变化

兴趣知识
2026-10-17 01:39:10
中超冠军悬念继续!英博3比1胜新鹏城 斯坦丘闪击

中超冠军悬念继续!英博3比1胜新鹏城 斯坦丘闪击

体坛周报
2026-10-17 21:00:22
“黑客杀死了我的一缸鱼?”

“黑客杀死了我的一缸鱼?”

中国新闻周刊
2026-10-14 10:56:28
法国总统候选人:法方已无力资助乌克兰

法国总统候选人:法方已无力资助乌克兰

每日经济新闻
2026-10-17 09:32:40
饶毅立功!Cancer Cell启动第三方独立调查,调查主编Steve Mao涉嫌索贿百万发论文

饶毅立功!Cancer Cell启动第三方独立调查,调查主编Steve Mao涉嫌索贿百万发论文

东东趣谈
2026-10-17 10:24:57
成都一男子为儿子签学校回执单,因字迹稚嫩,和10岁儿子高度相似,被老师怀疑是孩子代签;妈妈:真是孩子爸爸签的,父子俩这字确实得练练

成都一男子为儿子签学校回执单,因字迹稚嫩,和10岁儿子高度相似,被老师怀疑是孩子代签;妈妈:真是孩子爸爸签的,父子俩这字确实得练练

潇湘晨报
2026-10-17 16:57:08
今年中国冬天变了!厄尔尼诺增强到历史罕见,寒潮可能杀个回马枪

今年中国冬天变了!厄尔尼诺增强到历史罕见,寒潮可能杀个回马枪

兴趣知识
2026-10-17 01:29:52
2026-10-17 21:31:00
雷科技 incentive-icons
雷科技
专注AI硬科技
38080文章数 812439关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

男子服刑七年 出狱后发现账户里数十万资金仅剩6.43元

头条要闻

男子服刑七年 出狱后发现账户里数十万资金仅剩6.43元

体育要闻

高级货,真高级

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

特斯拉会飞?全新Roadster亮相

态度原创

亲子
时尚
教育
健康
军事航空

亲子要闻

顺产还是没有顺手快呀

降落伞裤的3组搭配,打破秋冬沉闷感!

教育要闻

云南这所乡村小学把成长种在大地上

看着很健康的人,怎么会突然猝死?

军事要闻

“星盾”限速事件加剧美乌裂痕

无障碍浏览 进入关怀版