网易首页 > 网易号 > 正文 申请入驻

具身智能开始卷系统了:RoboFoundry让机器人自主进化

0
分享至



同一个 GPT-5.5,放进不同的系统里,做具身任务的表现可以相差悬殊。在 EmbodiedBench 上,直接使用 GPT-5.5 的平均成功率是 56.9%;模型参数一个不改,只让它周围的系统持续进化,这个数字变成了 72.7%。

差别来自模型之外:哪些信息会被送到模型面前,哪些经验会被保留下来,决策又如何变成机器人的物理动作。真正在环境里执行的具身策略,从来不只是一个模型,而是模型加上它所在的整套系统。

大模型在机器人系统中的角色一路上移:从高层规划器,到 Code-as-Policy 中把感知与控制原语组合成程序的决策核心。但围绕模型的那套系统,大多仍是人工搭建、部署后固定不变的。已有工作往往只改进记忆、技能、交互 harness 中的某一个组件;执行中暴露的问题也多半只用于评测或人工调试,同样的弱点会在一个又一个回合里重复出现。

由此引出一个问题:具身智能体能否把自己的整套系统当作策略,诊断出系统在哪里限制了行为,再从具身经验中进化对应的部分?

来自新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、上海交通大学、云蝶科技等机构的研究团队提出了 RoboFoundry,并将其定位为首个把智能体系统本身形式化为「自进化的系统即策略」(Self-Evolving System-as-Policy)的具身智能体框架:基座模型保持冻结,进化发生在模型周围的上下文系统、技能系统与执行接口上,并借助一层共享的语义接口在不同机器人之间复用。

实验中,RoboFoundry 在 EmbodiedBench 上让五个基座模型全部取得提升;在长程记忆基准 RoboMemArena 上,任务成功率比所有基线至少高出 39.0%;在 LIBERO-PRO 的扰动测试中,比 CaP-Agent0 高出 243.8–679.7%。在真实机器人上,展示了跨机器人、跨任务的零样本迁移,以及部署后的在线进化。



  • 论文标题:RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents
  • 论文链接:https://arxiv.org/abs/2609.32862
  • 项目主页:https://jingsongliang.com/robofoundry



图 1:RoboFoundry 总览。包含 “执行 — 反思 — 修复 — 晋升” 的进化闭环;三个基准的结果,以及接入前后六项系统能力均有大幅提升。

模型冻结,系统进化:

像维护代码库一样改写自己

RoboFoundry 不更新基座模型的参数,被优化的是支撑模型完成任务的系统。这套系统以文件形式存在,模型可以像开发者维护代码库一样,用 cat、grep 查看,用 add、modify、delete 修改。系统分为两层:服务当前任务的任务级系统,和跨任务、跨本体持续保留的通用系统

进化以内外两层循环进行:内循环执行任务、记录执行轨迹;外循环根据轨迹提出修改,再交给后续执行检验。修改作用在两个 “进化面” 上:

  • 上下文面:管理当前回合的活跃上下文和跨回合的文件系统记忆,通过 SAVE、RETRIEVE、UTILIZE 三类操作决定记什么、取什么、怎么用。
  • 技能面:从原子技能,到 “移动 — 抓取 — 放置” 这样的组合流程,再到失败恢复树。执行出现失败时,系统会从一个仍然有效的状态重新规划。

两个进化面之下还有一层共享语义接口。语义层只处理跨本体共享的任务逻辑;执行层把决策适配到具体机器人上,后端可以是冻结的 VLA(如 π0.5)、编码智能体生成的函数,或 CuRobo 等视觉运动接口。由于进化作用在语义一侧,在一台机器人上进化出的系统,换一套执行适配就能在另一台机器人上复用,也可以接到不同的基座模型上。



图 2:RoboFoundry 方法框架。(a) 内循环执行任务并产生轨迹;(b) 通用系统以文件目录的形式,提供可复用的规则与技能;(c) 外循环诊断能力缺口:能修复当前任务的修改更新任务级系统,进一步通过其他任务上保持检验的修改,进而晋升进通用系统。

有诊断、有验证的进化闭环,

而不是无约束的自我重写

执行中出现的失败或低效,会先被归因到六种能力之一:感知、推理、规划属于决策能力,保存、检索、利用属于记忆管理能力。系统只在对应的进化面上提出修改;只有修复了当前任务的失败,修改才会被提交。

RoboFoundry 先把成功的修改抽象成候选规则,再找出其他任务中同类能力缺口的修复记录,回放这些任务修复前的状态,让应用该候选规则的系统重新给出修复方案。随后由系统自身充当验证者,把新方案与当时实际奏效的修复比较打分。只有平均得分不逊于原有修复,候选规则才会被写入通用系统。

图 3 是一次进化过程示例,在 EB-Habitat 的空间关系子集上,基座模型为 GPT-5.5,共经过六次候选评估:

  • 前三次修改被提交,held-in 成功率从 21.4% 升至 50.0%;
  • 接下来两个候选只达到 42.9%,未被采纳;
  • 最后一个候选把成功率推到 78.0%,并通过了 held-out 检查,被标记为晋升进通用系统。



图 3:EB-Habitat 空间关系子集上的一次进化轨迹(GPT-5.5),下方是各次候选的 held-out 检查结果。

被接受的修改会落成文件里的具体改动。例如针对 “把水槽里的清洁剂全部移到沙发上” 这条指令,系统规则被改写为:



新规则里没有出现清洁剂、水槽、沙发等任何具体物体,因此可以跨任务共享。整个进化过程则记录在 .robofoundry/ 目录里,论文称之为 “进化账本”(Evolution Ledger),可以回溯查看。

五个基座模型全部提升,

基座之间的差距明显缩小

EmbodiedBench 包含四个环境中的 1,128 个任务,覆盖高层语义规划与底层动作执行。所有设置使用相同的任务流和交互预算,从第一个计分回合就开始进化,进化过程中的每一条轨迹都计入成绩。



注:EmbodiedBench 四个环境的平均成功率(%),提升值与论文图 1 一致;因舍入,个别提升值与两列直接相减可能相差 0.1。

  • GPT-5.5 相对提升 27.8%。进化后的 GPT-5.5(72.7%)已经高于未经进化的 GPT-6 Astra(71.9%)。
  • 基座之间的差距明显缩小。五个基座原始成绩的最大差距为 19.6 个百分点,接入 RoboFoundry 后缩小到约 11.5 个百分点。
  • 最强的模型同样受益。GPT-6 Astra 相对提升 8.5%。

消融实验显示,通用进化是关键:以 Qwen3.7-Plus 为基座时,完整版比只保留任务级修改的 Lite 版相对高出 11.2%。把上下文预算从 4K 扩到 16K 后,原始模型的成绩有升有降;在 16K 设置下,RoboFoundry 依然让参与测试的四个基座相对各自基线再提升 7.9%–13.1%。

长程记忆与分布偏移:

进化不只是提示词

RoboMemArena 是长程记忆基准,共 26 个任务,分为搬运、遮挡、计数、顺序四类。以 Qwen3.7-Plus 为基座的 RoboFoundry 取得了 53.5% 的任务成功率(TSR)和 72.8% 的累计成功率(CSR),四类任务全部领先。它的 TSR 比所有基线至少高出 39.0%,对比对象中包括借助 Qwen3-VL-8B-Instruct 管理记忆的 PrediMem。

在这一基准上,进化修改的不只是提示词,还有决定 “保留什么状态、检索什么证据、如何呈现给模型” 的机制。例如,把任务进度转成当前子目标,以及明确规定 “尝试过的指令不能作为物理成功的证据”。



图 4:RoboMemArena 长程记忆结果,每项为 TSR / CSR(%)。

LIBERO-PRO 用来检验系统在物体布局和任务设定变化下的鲁棒性。在不使用特权物体位姿的方法中,RoboFoundry 的平均成功率最高,为 91.9%,Harness VLA(CC)为 87.8%;它比 CaP-Agent0 高出 243.8%–679.7%(相对值)。

进化后的系统还会把改进分成两种时间尺度:可复用的组合技能被长期保留进共享系统;某次试验中临时生成的恢复逻辑,只留在当次试验中。



图 5:LIBERO-PRO 扰动测试结果,每项为位置扰动 / 任务扰动下的成功率(%)。† 表示使用特权物体位姿。

真机上零样本迁移、边做边进化

真机实验要回答的是:通用的 RoboFoundry 系统能否迁移到物理机器人上,并在部署后继续进化。实验中,RoboFoundry 以 GPT-5.5 为基座模型,以 π0.5 为操作执行后端;为保证公平,RoboFoundry 与单独使用的 π0.5 在对应任务上使用同一个微调 checkpoint。RoboFoundry 起始时不做任何任务级的系统适配;每个任务测试 10 次,用于在线进化的试验也计入成功率,系统更新只发生在两次试验之间。

  • 套娃:在线进化。在松灵 AgileX COBOT MAGIC 平台上,套娃既要求从小到大排序,也要求精确插入。第一次试验以掉落告终,系统加入对准检查(技能面修改);第二次试验改用带对准的插入,但执行丢失了任务进度,系统再加入进度追踪(上下文面修改),让执行能从最后完成的子任务继续;第三次完整完成。最终 RoboFoundry 的成功率为 70%,单独使用的 π0.5 为 30%。
  • 叠毛巾:零样本迁移。叠毛巾技能只在蓝色毛巾上进化,随后直接用于外观、几何形状和材质都不同的绿色、粉色毛巾。在不做额外适配的情况下,RoboFoundry 的成功率超过 80%,π0.5 则低于 20%,需要进一步微调。
  • 人形机器人:从操作到导航。 在宇树 G1 人形机器人上,RoboFoundry 借助共享语义接口,把 “找到饮用水”(Find drinking water)这条指令对应到 RGB 画面中识别出的饮水机,再由本体相关的执行绑定转换成导航动作。
  • 化学实验:跨子任务的长程依赖。 六个相互依赖的子任务依次是:把漏斗插入锥形瓶、放置称量皿、天平去皮、用药匙加粉末、放回药匙、向锥形瓶倾倒粉末。RoboFoundry 用任务状态记录串起整个流程,最后的倾倒步骤会读取几个子任务之前写下的 “漏斗已就位” 状态来指导执行;单独使用的 π0.5 则难以完成整个流程。



视频链接:https://mp.weixin.qq.com/s/uJw9E0-rEnribpib08C6kg

图 6:真机进化与迁移。(a) 套娃任务中先后加入对准与进度追踪;(b) 叠毛巾技能迁移到未见过的毛巾;(c) 宇树 G1 上的语义导航。



图 7:长程化学实验中,任务状态记录连接六个相互依赖的子任务。

结语:

从 “训练更强的模型”,

到 “让模型所在的系统持续变强”

从语言模型规划,到代码即策略的执行,再到系统即策略的进化,大模型在具身系统中的角色一直在向上层迁移。RoboFoundry 给出了一种具体做法:基座模型保持不变,由执行轨迹决定系统的哪一部分需要修改;每一次修改都要先在当前任务上验证能修复失败,只有在其他任务的同类能力缺口上同样被验证有效的改进,才会沉淀为通用能力,服务后续任务。当基础模型越来越强,具身智能的进步也许不只来自 “训练一个更强的模型”,也来自 “让模型所在的系统持续变强”。

作者信息

本研究由新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、云蝶科技与上海交通大学的研究者合作完成。共同第一作者为梁靖松(新加坡南洋理工大学,博士生)和廖书昊(北京航空航天大学,博士生)。通讯作者为吴文峻(北京航空航天大学,教授)、李万华(新加坡南洋理工大学,南洋助理教授)与吕辰(新加坡南洋理工大学,副教授)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
雅思考试大面积取消,有考生在考场外崩溃大哭:offer待确认,急需语言成绩;多方最新回应

雅思考试大面积取消,有考生在考场外崩溃大哭:offer待确认,急需语言成绩;多方最新回应

91.6陕西交通广播
2026-10-10 21:49:56
存款大局定调了?从2026年10月起,银行存款利率,或面临3大变化

存款大局定调了?从2026年10月起,银行存款利率,或面临3大变化

浩渺青史
2026-10-12 01:06:44
社保缴费22年7个月,个人账户8.24万,湖北武汉退休,没有视同缴费年限能拿多少钱?

社保缴费22年7个月,个人账户8.24万,湖北武汉退休,没有视同缴费年限能拿多少钱?

平静话社保
2026-09-21 09:02:44
郑钦文夺冠仅1夜 传来3消息:创36年尴尬纪录 锁定明年澳网种子席位

郑钦文夺冠仅1夜 传来3消息:创36年尴尬纪录 锁定明年澳网种子席位

侃球熊弟
2026-10-12 00:25:40
闹大了!王楚钦大V粉不服:两小只是财神,是我们饭圈养活国乒

闹大了!王楚钦大V粉不服:两小只是财神,是我们饭圈养活国乒

李絙在北漂
2026-10-11 15:56:09
原国防部长耿飚的长女,巨额资产被封后赴美,她立誓要东山再起

原国防部长耿飚的长女,巨额资产被封后赴美,她立誓要东山再起

扬平说史
2026-10-06 23:32:39
萨拉命悬一线?菲律宾议长紧急发声:暂停弹劾,先批7.2万亿

萨拉命悬一线?菲律宾议长紧急发声:暂停弹劾,先批7.2万亿

爱看剧的阿峰
2026-10-12 04:03:31
尊界的历史机遇,江淮汽车蒸发1万多台尊界销售额

尊界的历史机遇,江淮汽车蒸发1万多台尊界销售额

TMC动力
2026-10-10 17:22:45
长鑫业绩大超预期,主力却不计成本踩踏,中国存储的硬考来了

长鑫业绩大超预期,主力却不计成本踩踏,中国存储的硬考来了

慧眼看世界哈哈
2026-10-12 14:25:16
洗衣凝珠千万别捏!女子撕开粘连凝珠:液体溅眼腐蚀角膜

洗衣凝珠千万别捏!女子撕开粘连凝珠:液体溅眼腐蚀角膜

快科技
2026-10-12 17:12:13
比赖清德更狂的人出现了,如果她当台湾地区领导人,我军该怎么办

比赖清德更狂的人出现了,如果她当台湾地区领导人,我军该怎么办

阿器谈史
2026-10-11 17:43:00
医学重大突破:这2种癌症,已实现临床治愈目标,别再恐慌

医学重大突破:这2种癌症,已实现临床治愈目标,别再恐慌

叙说医疗健康
2026-10-12 09:00:47
中国再获重大突破!治疗糖尿病或许不再需要打胰岛素,首例已成功

中国再获重大突破!治疗糖尿病或许不再需要打胰岛素,首例已成功

云霄纪史观
2026-10-11 00:50:15
中超冠军+降级一个名额还有悬念!压力也是轮到上海双雄海港跟申花身上

中超冠军+降级一个名额还有悬念!压力也是轮到上海双雄海港跟申花身上

80后体育大蜀黍
2026-10-12 12:42:16
坐一趟北京 983 路才明白,原来北京城远比想象中大

坐一趟北京 983 路才明白,原来北京城远比想象中大

记录生活日常阿蜴
2026-10-12 01:49:03
《兰香如故》最现实一幕:演员演满47集,却没人记住她的脸

《兰香如故》最现实一幕:演员演满47集,却没人记住她的脸

春之寞陌
2026-10-12 11:30:44
吃相难看,英达小儿子曝出猛料,英达和巴图“撕破脸”,宋丹丹气愤

吃相难看,英达小儿子曝出猛料,英达和巴图“撕破脸”,宋丹丹气愤

仙味少女心
2026-10-11 15:30:04
皇马小胜黄潜,穆帅尝试让小将居莱尔踢罗德里的位置,但居莱尔尚不具备控场能力

皇马小胜黄潜,穆帅尝试让小将居莱尔踢罗德里的位置,但居莱尔尚不具备控场能力

福酱的小时光
2026-10-12 08:52:26
深圳APEC峰会临近,日方首相高市表态,中国是重要邻国

深圳APEC峰会临近,日方首相高市表态,中国是重要邻国

生活魔术专家
2026-10-12 15:56:27
真没想到!郑钦文夺冠仅1天,荒唐事情接连上演,李娜无辜被牵连

真没想到!郑钦文夺冠仅1天,荒唐事情接连上演,李娜无辜被牵连

阿器谈史
2026-10-12 17:27:44
2026-10-12 18:28:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14181文章数 142748关注度
往期回顾 全部

科技要闻

尊界:10月底确认制动踏板支架升级方案

头条要闻

8千元小狗遭仅退款 商家驱车600公里上门顾客称狗已死

头条要闻

8千元小狗遭仅退款 商家驱车600公里上门顾客称狗已死

体育要闻

一周吃6顿披萨的胖子,也能单防姆巴佩?

娱乐要闻

张艺谋身体状况曝光 陈婷不再顾及体面

财经要闻

尊界,是江淮的救命车还是失血引擎?

汽车要闻

全新smart精灵2号来了 两门两座 传承经典纯电进化

态度原创

房产
家居
旅游
艺术
亲子

房产要闻

等了半年!今年海口最值得期待的新盘,即将亮相!

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

国家植物园“穆帅点芳”火出圈,用真花草“上妆”有何难度?

艺术要闻

2026新时代首都美术展 入围油画选 31幅

亲子要闻

儿童肿瘤之王药物开发迎来新突破!一药双靶,复旦儿科李凯教授团队联合上科大白芳教授团队创新研究成果转化

无障碍浏览 进入关怀版