网易首页 > 网易号 > 正文 申请入驻

登顶 RoboDojo-Agent,Manifold AI 流形空间给「机器人自进化」技术路线立标杆

0
分享至


GPT-6 Astra 才拿了28.97分,而 WorldScape R²SI 把分拉到 46.58!

作者丨幸丽娟

编辑丨岑 峰

一把尺子,三个积木,任务是用尺子把积木对齐。

机器人做完了,但在 RoboDojo 的记分规则里,它没拿到分。

原因不在结果,在过程:这项任务给的预算是 200 个原生动作步,它用了 215.1 步。超支,在记分表上和没做成算同一件事。

然后它做了一件机器人此前无法做到的事:回看自己的失败轨迹,改。

改用张开的夹爪推动尺子;把"接近"和"调整姿态"原本分开的两步合并成一个动作;减少细小的试探动作;在旋转手腕之前先把夹爪抬高。

改完,它在同样的 8 种布局上重新考了一次。8 次全部在预算内完成,平均步数从 215.1 降到 140.4。

中间没有换模型,没有重新训练,也没有工程师替它改过一行控制代码。变的,是它“做事”的方式。

这套系统叫WorldScape R²SI(Recursive Robot Self-Improvement,机器人递归自进化),来自 Manifold AI 流形空间。

它做的事可以概括成一句:让每一次执行,变成下一次的经验,然后“越做越强”。

这套框架,在号称 “具身智能界的珠穆朗玛峰”RoboDojo(Agent Track) 上成功登顶。宏观进度分数达到46.58 分,再度刷新 RoboDojo 榜单的分数上限。


01


46.58 分的“含金量”

在理解 46.58 分的含金量,我们先要看,RoboDojo 这张卷子的特别之处。

RoboDojo 今年 7 月才发布,由香港大学多媒体实验室(MMLab)牵头,联合清华、UC 伯克利等全球近二十所机构共建,背后是知名仿真基准RoboTwin的原班人马。

RoboDojo 仿真部分 42 个任务、真机 18 个任务,覆盖三种双臂平台,考察机器人的五个能力维度:泛化、精细操作、长程执行、记忆、开放语义理解。

简单来说,就是换了没见过的物体还认不认得、拧瓶盖插钥匙这类手上的功夫过不过关、连续干十几步还能不能记住自己在干什么、以及听得懂一句从没听过的指令。

发布那天,它给整个具身行业泼了一盆冷水。团队评测了 30 个代表性策略,仿真榜第一的平均成功率只有 8.80%,真机榜第一 12.8%。

而同一套任务交给人类专家,仿真 76.03%,真机 100%。人和机器之间,隔着 67 个百分点。而RoboDojo 也被行业公司称作 “具身智能界的珠穆朗玛峰”。

峰已在此,此后模型厂商开始“攀登竞速”。一直到三个月后的今天,Manifold AI 流形空间用 WorldScape R²SI 直接把 Agent track的分数拉到46.58 分,成功率达到39.35%。

值得一说的是,Agent 这个赛道考的不是某个策略模型的手上功夫,而是一整套 Agent 系统能不能把活从头干到尾:模型自己看场景、自己做决策、自己调用工具去操作。


对比之下,此前冲榜出圈的GPT-6 Astra,在这个赛道上仅拿了28.97分,其中精细操作成功率只有 4%,长程任务 8.25%,还有 16 项任务一次都没成功过。

而 WorldScape R²SI 在精细操作成功率上达到15.5%,翻了接近4倍;长程任务 34.25%,翻了4倍有余。

最为出彩的是它的泛化能力,达到 35.83%,把第二名及以后的模型甩下了一个身位。

这恰好是一个 Agent 系统该有的样子:手上功夫可以慢慢练,把没见过的任务听懂、记住、干完的能力,才是这次登顶真正量出来的东西。

这些突破背后,离不开两大功臣:R²SI ,以及 Manifold AI 流形空间早在三个月就开始技术布局的 ICL 能力。

02


R²SI :让机器人“执行经验中持续改进”

R²SI 是WorldScape R²SI 登顶背后的核心框架。它没有给机器人换一个大脑,而是加了一层“执行—复盘—再验证-自进化”的闭环。


WorldScape R²SI 框架

这个闭环由内外两层 Agent 构成:

内层是 Robot Reactive Agent,负责理解当前任务、组织记忆和技能、调用动作模型与工具,也就是真正在干活的那层。

具体的“干活”步骤是:以多视角 RGB 图像、机器人本体状态、任务描述和回合记忆作为上下文做决策,按任务加载相应的 Skill 干活。

其中,调用反应式模型(WSP,即 WorldScape Policy)也是 Skill 的一种——加载后,Robot Agent 依据观测调用 WSP,WSP 执行一个动作块就把控制权交回来,Robot Agent 再根据新的观测决定下一步,如此往复。

外层 Recursion Reflective Agent则负责跨轮次“复盘”执行记录,修订 Skill,并以 Harness 更新的形式作用于内层。

对于使用 WSP 的任务,外层还将执行记录组织为训练数据,训练并更新该模型。各类更新均须通过测试,方可自动发布并纳入版本管理。

以下通过两个案例,分别来看内、外层的工作机制:

▎案例一:push_T,外层改进 Skill

在 RoboDojo 的 push_T 任务中,机械臂需将 T 形物体沿桌面推入目标区域,使位置、朝向与接触状态同时满足要求,预算是 600 个原生动作步。该过程中完全不使用 WSP。

首轮执行中,Robot Agent 的夹持方向和物体形状不匹配,平移时还同步转向,物体一路偏移;对齐之后一次性松开夹爪,又把位姿晃偏了。723 步,超支 123 步,按未完成计。

外层 Recursion Agent “复盘”出来的问题很具体:夹持方式不对、平移和转向耦合、释放时机太急。

随后据此修订 Skill:调整夹持方向;将平移与转向解耦,先平移、后分段转向;分阶段释放夹爪,并逐段检查物体是否偏移。

修订版本通过测试后,自动发布至内层 Robot Agent。

更新后的 Skill 首次在预算内取得原生满分,耗用 596 步。而经后续迭代,同一布局下的原生动作步数进一步降至 389,降幅约 35%。

持续优化的结果,恰恰说明这种外层“复盘”的价值,不仅仅在于一次改对,更在于这种“越改越强”的持续进化能力。

当Skill 冻结,外层停手,Robot Agent 在三种从没见过的随机布局上自主执行——222、312、256 步,全部满分,全部在预算内。

这也意味着,外层改出来的不是针对某个布局的答案,而是一套可迁移的方法。

而整个改进过程,以 Skill 的形式沉淀、呈现,人读得懂、审得了。它不是黑盒里一次看不见的参数漂移,而是一次可以检查、可以回滚的版本更新。机器人第一次有了"改作业"的能力,而且改的每一笔都有据可查。

▎案例二:装箱,内层调用 ,外层“复盘”再训练模型

当任务切换至装箱时,Robot Agent 不仅仅需要外层skill 改进,还需要内层“练功夫”,外层“复盘”后继续对模型进行“功夫训练”。

具体的分工是:Robot Agent 依据观测调用反应式模型 WSP,WSP 执行一个动作块就交还控制权,Robot Agent 再根据新观测决定下一步,如此往复;

外层 Recursion Agent 随后将执行记录组织为训练数据并训练 WSP,更新后的模型继续供内层调用。同一个模型,既在干活,也在外层 Agent 的训练下持续改进。

这种外层、内层两条路径结合起来的思路,让 R²SI 的改进成为一个完整的闭环:外层复盘把经验固化为可审查的 Skill 版本,内层调用把执行记录反哺为 WSP 的训练数据——经验既能“写成规则”,也能“练成功夫”。

机器人在每一次执行、复盘、再验证中持续变强,而不是靠一次换脑或一次调参。

03

R²SI 之外,ICL 的能力边界

R²SI 不是一次孤立的能力布局,ICL 能力同样是WorldScape R²SI 登顶 RoboDojo 背后的技术支撑。

早在三个月前,Manifold AI 就已经发布了具备上下文学习能力的 WorldScape Policy 2.0。


WorldScape Policy 2.0 总体框架

论文链接: https://arxiv.org/pdf/2607.18840

传统做法是每来一个新任务就收集数据、微调、验证,一轮下来,可能得以周计。

有了 ICL,新任务的启动成本被压到“录一段示范”这么短。人类示范被直接“读”了进去,从训练模型的材料直接变成了使用方式。

WorldScape Policy 2.0 用实打实的实验数据,论证了这条路径的有效性:

其中,在记忆依赖的Shell Game 任务中,WorldScape Policy 2.0 达到 75% 成功率,而 π0.5 只有 30%,DreamZero 是 50%。

在跨具身积木堆叠任务中,WorldScape Policy 2.0 在目标图片、视频示范两个版本分别达到60%、70%,π0.5 和 DreamZero 最高的成功率也只有 20%。


WorldScape Policy 2.0 真机评测任务成功率对比

这组数字说明,WorldScape Policy 2.0 的 ICL 能力,在需要“看一遍就会”的场景中,确实与其他模型拉开了差距。

而这次进一步升级到 2.5 , ICL 专项训练数据规模扩展到约 10 万小时,这项能力沿着三个方向往纵深推进:

一是动作迁移,同一个动作在不同物体之间能不能复用。这比听起来难得多。以盖印章为例,不同颜色和形状的印章,不同位置和材质的落款页,在机器人眼里是完全不同的力矩曲线和接触反馈。


而凭借 ICL 能力,机器人成功实现了不同形状、颜色、材质、位置物体动作执行的迁移,超越了对某个物体和固定动作轨迹的简单记忆和模仿。

二是技能组合,把多个阶段串成一条能跑完的长链。单步动作做对和多步连着做对,中间隔着一整个错误累积的问题——第一步偏半毫米,第五步可能就够不着了。


以给鞋子穿鞋带为例,从拿起鞋子到松开鞋带,任务涉及多个衔接的操作阶段。机器人需要根据当前观察调整行为,协调各阶段的操作。

这要求机器人能根据动态过程中每一个动作产生的新的场景和任务要求,组织已有技能,去完成一整个长链动作。

三是长程任务,靠视觉记忆和事件记忆撑住。长程任务的难点往往不在手上,在记性:它得记得自己十分钟前把那个杯子放在了哪一层,还得记得刚才那一步到底算不算干完了。难点中的难点是:前一步的结果会直接影响后续任务,从而容易发生“宕机”。


Manifold AI 流形空间通过给 WorldScape Policy 引入视觉记忆与事件记忆机制,帮助系统保留环境变化、任务进度等关键信息。

其中长期事件记忆,把历史 VLM 输出组织成三种视图——Global-History 汇总完整轨迹,Local-Active 保留当前事件细节,Event-Boundary 捕捉子任务切换的关键节点,给出“我在做什么、我做过什么”的参照。

而视觉记忆则留住接触、运动这些局部动态,“刚刚发生了什么”的信息不会丢。

面对预训练已知的任务,ICL 已显著超越 VLA 模型。更值得一提是,面对未知任务,两者正确率差距进一步拉大。


这也恰好对应了 WorldScape R²SI 在榜单上拿下泛化第一,且远高于同榜其他模型的底层原因。

04

ICL 、R²SI

两项能力,为何要“并驾齐驱”

ICL 和 R²SI 看着是两件独立的技术能力,应对的却是机器人面对一个新任务,要完成的两道前后衔接的关卡。

第一道关卡是“看一遍就会”,第二道关卡是“干一遍就比上一遍好”。ICL 管第一道,R²SI 管第二道。

而恰恰在R²SI 这道关卡,面临的一个重要问题是:如果在“边做边改”过程中,还要等新一轮微调、一次验证、一次部署,“递归进化”就大打折扣。

而 ICL 提供的正是这个热插拔接口,让“改完的技能”不用重新训练,下一次执行时就当作上下文读进去生效。循环能力,因此能在同一个任务上转起来。

反过来也成立。ICL 能把新任务启动起来,但示范只覆盖示范者做过的那一种做法;示范之外的偏差、换了物体之后的力矩差异、多步串联时的误差累积,光靠ICL 解决不了,得靠 R²SI 一轮轮“磨”出来。

从这个层面来看,只有两条技术路线同时往前走,才把“一次示范”的能力放大成“N 次自我迭代”:新任务照样一次上手,上手之后,每一次执行都在将下一次执行的起点垫得更高。

05


模型登顶背后的公司:Manifold AI 流形空间

这 46.58 分背后,是国内最早将自研世界模型作为具身基座模型、成立仅一年半的创业公司,Manifold AI。


团队由国内学术界最早布局世界模型的研究组清华 FIB 实验室,以及工业界最早落地世界模型的一线从业者组成。

创始人兼 CEO 武伟博士,曾任商汤科技高管,曾带队连续两年拿下 Waymo SimAgents 挑战赛冠军。

从具体业务布局来看,Manifold AI 流形空间的技术版图远不止基模。它要做的还有从数据到评测的一整套“基础设施”生态:

基模方面,WorldScape 世界模型是底座,曾用比其他模型小一个量级的参数,在 WorldScore 上坐了两个月榜一,力压谷歌、英伟达;后续推出的WorldScape Policy 世界-动作模型又分别在 RoboTwin、WorldArena 上登顶。

R²SI 是模型底座最新长出来的一项核心能力,基于 WorldScape Policy 做自进化,如今在 RoboDojo Agent track 总分第一。

数据基建方面,通过自研 Ego-centric、UMI、硬件在环 RL 等多种数采设备与数据管线,已积累数十万小时高质量数据。

评测也参与共建。清华牵头、联合普林斯顿等数十家机构的 WorldArena,Manifold AI 是核心共建方,核心成员在论文作者名单里。

这几件事都不简单,Manifold AI 流形空间依旧坚持同时做。别人拿开源模型微调一个月就可能发榜,它要从世界模型底座开始,一层层往上搭数据、做模型、建评测。更难也更慢,但每一层都是自己的,系统能力极高。

而这次在 RoboDojo Agent track 登顶、泛化性能甩出其他模型一个身位,正是 Manifold AI 流形空间这种系统化能力的一次集中爆发。

所谓具身智能的泛化能力,说到底就是一件事:机器人到了新场景,不用工程师重新调一遍就能干活。

视频里跑得再漂亮,到了真实产线上还要再调,这道坎,靠刷榜过不去,得靠这种“在每次执行里自己变好”的自我进化能力。

这大概是 WorldScape R²SI 这个“第一”之外,更值得记住的东西。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
胖东来那瓶“日本洗发水”,商标是广州公司2019年注册的:药妆店找不到,日亚9月才上架

胖东来那瓶“日本洗发水”,商标是广州公司2019年注册的:药妆店找不到,日亚9月才上架

听心堂
2026-11-10 12:12:31
出现了比“单身不婚”更严重的现象:一大批失业无爱的中年婚姻,正集体破产

出现了比“单身不婚”更严重的现象:一大批失业无爱的中年婚姻,正集体破产

舒山有鹿
2026-11-10 12:35:37
重要提醒!多趟高铁将停运

重要提醒!多趟高铁将停运

锦绣太原
2026-11-10 22:15:02
花坛藏尸案被告人受审现场曝光,整容痕迹明显!曾改名潜逃

花坛藏尸案被告人受审现场曝光,整容痕迹明显!曾改名潜逃

南方都市报
2026-11-10 15:17:14
“真正的权贵不会这么跳舞”,海淀母女出圈了,内行人却一眼看穿

“真正的权贵不会这么跳舞”,海淀母女出圈了,内行人却一眼看穿

熙熙说教
2026-11-10 17:05:38
黄仁勋什么美女没见过,为什么偏偏是黄乐?

黄仁勋什么美女没见过,为什么偏偏是黄乐?

News脑洞
2026-11-10 10:21:35
脑梗去世的人飙升!医生含泪苦劝:无论多大年纪,天冷坚守5原则

脑梗去世的人飙升!医生含泪苦劝:无论多大年纪,天冷坚守5原则

垚垚分享健康
2026-11-10 21:10:07
争议?泰山0人进中超年度最佳阵!蓉城丢冠罪人入选 挤掉22球银靴

争议?泰山0人进中超年度最佳阵!蓉城丢冠罪人入选 挤掉22球银靴

我爱英超
2026-11-10 21:20:15
“卖鲨鱼卖鲨鱼,4条70元!”

“卖鲨鱼卖鲨鱼,4条70元!”

中国新闻周刊
2026-11-10 16:37:09
江西三本院校,同宿舍6个通信工程男生,毕业7年后的生活现状

江西三本院校,同宿舍6个通信工程男生,毕业7年后的生活现状

那些无名之辈
2026-11-10 19:22:05
爆单!10分钟卖了10万单,董宇辉却被质疑:“一块奶油蛋糕能放9个月,得加多少防腐剂?”客服回应

爆单!10分钟卖了10万单,董宇辉却被质疑:“一块奶油蛋糕能放9个月,得加多少防腐剂?”客服回应

极目新闻
2026-11-10 08:00:38
央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

削桐作琴
2026-11-09 15:29:05
黄乐(Alice Huang)是否为中国公民?外交部回应

黄乐(Alice Huang)是否为中国公民?外交部回应

新快报新闻
2026-11-10 16:17:04
黄乐早年嫩照曝光:在A搞股空壳业务,在新加坡倒卖显卡

黄乐早年嫩照曝光:在A搞股空壳业务,在新加坡倒卖显卡

木蹊说
2026-11-10 18:24:45
田联公布奥运直通标准:陈妤颉有差距吴艳妮几乎无望,严子怡已经稳了

田联公布奥运直通标准:陈妤颉有差距吴艳妮几乎无望,严子怡已经稳了

杨华评论
2026-11-11 02:41:37
张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

唠叨说历史
2026-11-09 15:37:04
黄仁勋栽在黄乐身上:科技名媛,究竟有什么魔力?

黄仁勋栽在黄乐身上:科技名媛,究竟有什么魔力?

半耳聆
2026-11-10 15:49:12
黄仁勋与黄乐的瓜算力圈6月就知道了:老黄是个好人,保全了女方

黄仁勋与黄乐的瓜算力圈6月就知道了:老黄是个好人,保全了女方

西游日记
2026-11-10 16:18:39
黄仁勋风波持续发酵,黄乐同学发声:湖南校花,当年班级群哗然

黄仁勋风波持续发酵,黄乐同学发声:湖南校花,当年班级群哗然

人间烟火记事本
2026-11-11 00:31:00
“借运”不是迷信:这五样东西,再熟的人开口也别给,守住是护身

“借运”不是迷信:这五样东西,再熟的人开口也别给,守住是护身

小鹿姐姐情感说
2026-11-10 01:16:27
2026-11-11 05:24:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7793文章数 20796关注度
往期回顾 全部

科技要闻

最强Claude来了!8天从零写出电脑系统

头条要闻

男子与情人发生关系后第二天猝死 妻子索赔超百万

头条要闻

男子与情人发生关系后第二天猝死 妻子索赔超百万

体育要闻

金球先生无缘世界最佳阵容,为什么?

娱乐要闻

W盛典:章子怡缺席,谷爱凌无缘主桌

财经要闻

黄奇帆之子黄然非,魏桥集团商业往事

汽车要闻

雨中的埃安Ray7,有点上头

态度原创

数码
旅游
家居
本地
公开课

数码要闻

苹果连甩两张牌:折叠屏二代补长焦,国行iPad/Mac终于能用AI了

旅游要闻

北京博物馆通票发售 全年零售价120元

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版