网易首页 > 网易号 > 正文 申请入驻

地瓜机器人开源世界模型仿真平台Uranus:跨本体、多视角连续推演,闭环策略评测相关性达0.98

0
分享至

亮点

· 一套模型,支持7种主流本体:以统一动作表示连接不同机器人,支持多相机视角同步生成。

· 从3秒训练片段到60秒稳定闭环:持续接收动作、生成观测,让策略在虚拟环境中连续运行与测试。

· 四步去噪,提升交互推演效率:结合流式推理与历史缓存复用,降低连续生成的计算开销。

· 闭环策略评测相关系数达0.98:在RoboTwin五个任务、九个策略的实验中,与原仿真环境的策略成功率高度相关,为策略筛选提供参考。

· 技术报告/代码/SDK/权重开放:全球开放 100个早期体验名额,邀请开发者与研究者共同探索。

· 项目主页:d-robotics-ai-lab.github.io/large-model-team/blog/uranus

· 推理代码:github.com/D-Robotics-AI-Lab/Uranus-OSS

· SDK代码:github.com/D-Robotics-AI-Lab/Uranus-SDK

· 模型权重:huggingface.co/collections/D-Robotics/uranus

机器人策略的迭代,需要大量可重复的交互与验证。真机实验受到设备、时间和安全条件的限制,传统仿真则需要投入较多资源构建三维资产、场景与物理模型。如何让策略更便捷地测试动作、观察结果、比较表现,是机器人开发中的重要问题。

围绕这一难题,地瓜机器人大模型团队此前推出并介绍了世界模型仿真平台Uranus,探索从真实交互数据中学习动作与环境变化,让机器人策略在虚拟环境中持续运行、测试与比较。

Uranus以未来关节轨迹为条件,采用自回归扩散架构,并配套构建覆盖数据处理、模型训练、流式推理与服务部署的基础设施。 给定参考画面、相机参数、机器人本体描述与后续关节轨迹,模型能够逐步生成动作对应的多视角观测。策略根据生成观测调整动作,模型继续预测环境变化,形成持续运行的交互回路,支持策略测试与比较。



图1:Uranus整体框架与闭环交互演示

如今,Uranus技术报告正式公开,推理代码、SDK及两个版本的模型权重已开源,并面向全球开放100个早期体验名额。 开发者与研究者可通过报名链接,或点击文末「阅读原文」填写申请,获取体验资格。

本文将进一步介绍跨本体、多视角、长时程推演背后的技术设计与实验结果,欢迎开发者与研究者参与体验,共同探索机器人仿真与策略评测,让智能机器人更易构建。

单臂、双臂、移动操作,一套模型统一支持

从单机械臂到双臂机器人,再到移动操作平台,不同本体的关节数量、连杆结构、末端执行器与相机布局各不相同。Uranus将这些差异转换为统一的动作与空间表示,使多种机器人能够接入同一套模型。

具体而言,Uranus根据本体描述与关节状态执行前向运动学,计算三维关键点和末端位姿,再通过相机参数投影为二维骨架图。夹爪开合、末端位姿等信息也被编码到骨架条件中,让模型能够以统一方式理解不同机器人的运动。

相机条件则采用由标定参数计算得到的Plücker射线嵌入,描述各像素对应的空间观察关系。固定相机和随机器人运动的相机由此接入统一的几何条件通道,模型再通过交替式空间—时间注意力融合多视角信息和时序信息、建模动作过程。



图2:不同机器人转换为统一骨架表示

在交互过程中,Uranus每次接收未来四个时刻的关节位置,预测一个潜在帧,解码为每个相机对应的四帧连续画面,与输入轨迹的时间戳逐一对齐。生成观测返回上游策略,支持下一轮动作决策。

这一接口预测给定运动轨迹下的视觉后果,适用于输出关节轨迹的策略与控制器。统一表示为跨本体应用提供了基础,面对训练中未出现的机器人,精确交互能力仍需进一步验证。

四步去噪,支持分钟级多视角连续推演

持续交互要求世界模型不断使用自身生成的画面预测后续变化。随着推演时间增长,早期误差可能逐步放大,导致物体外观变化、相机漂移或交互偏差。生成速度与长时程稳定性,需要同时解决。

Uranus从预训练阶段即采用因果架构,确保每个目标帧只访问参考观测与有效历史。同时,参考帧始终保留在缓存中,为场景外观、物体身份与相机布局提供稳定的视觉锚点;历史信息则通过滑动窗口管理,控制连续推演的缓存开销。



图3:流式自回归生成示意图

在此基础上,团队引入基于学生自回归推演的蒸馏,让模型在训练阶段接触自身生成的历史,缓解训练与实际推理之间的分布差异。通过分布匹配蒸馏与分阶段一致性正则,每个潜在帧的生成被压缩至四步去噪,再通过一次独立计算更新历史缓存。

配套的流式推理机制只解码新增内容,并复用历史时序特征;服务系统以会话为单位维护状态,减少连续调用中的重复计算,为分钟级多视角推演提供支持。

闭环评测相关系数达0.98,让策略比较有据可依

世界模型用于策略评测,关键在于能否准确反映不同策略的相对表现。团队在RoboTwin的5个任务、9个策略上开展闭环实验,每个策略在各任务中运行15个episode。策略持续读取Uranus生成的观测并输出动作,由模型推进环境变化。

经过针对RoboTwin的领域适配,实验取得以下结果:

· 成功率相关系数达0.98:各策略在Uranus与RoboTwin干净环境中的平均成功率高度相关;

· 排序指标MMRV为0.01:策略间的相对表现保持较高一致性,为策略比较与筛选提供参考。



图4:长时程生成对比与闭环策略评测结果

在WorldOlympiad机器人评测设置下,Uranus的综合得分为0.722、交互得分为0.730,均为所比较模型中的最高值。考虑到各模型的应用目标存在差异,该结果作为参考性评估。



图5:九个策略在Uranus与RoboTwin中的成功率对比

上述实验验证了Uranus在特定任务与适配条件下的评测价值,其结果向真机迁移的有效性仍需进一步验证。

代码/SDK/权重开放,全球开放100个体验名额

让世界模型服务机器人开发,需要建立从生成质量到闭环有效性的评价标准。 动作能否及时得到反馈、连续交互是否稳定、策略排名是否可信,都直接影响它在开发流程中的实用价值。

Uranus将模型与系统协同设计,并通过闭环策略评测检验效果,为这一方向提供了可复现的起点。接下来,地瓜机器人大模型团队将重点提升精确交互与跨任务泛化能力,进一步验证虚拟环境中的评测结果能否迁移至真机。

随着代码、SDK与模型权重开放,地瓜机器人期待与开发者共同积累更多可复现的交互案例和评测依据,让世界模型逐步成为机器人研发中可用、可信的基础工具。

来源:地瓜机器人

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女主播在缅甸视频流出:状态涣散,眼神无助,可惜了这么好的身材

女主播在缅甸视频流出:状态涣散,眼神无助,可惜了这么好的身材

皮蛋儿电影
2026-09-23 10:51:15
美国经济为什么会被AI绑架?

美国经济为什么会被AI绑架?

小眼睛小世界
2026-11-04 04:20:21
“我考不成公了啊”“我这几年废了啊”,男子被抓时距国考仅剩37天,警方在他家中发现大量考公书籍

“我考不成公了啊”“我这几年废了啊”,男子被抓时距国考仅剩37天,警方在他家中发现大量考公书籍

晋江电视台
2026-11-05 00:52:29
化身程序员、下地摘枸杞……法国博主发帖“求P图”意外走红,下一站想来南京打卡!

化身程序员、下地摘枸杞……法国博主发帖“求P图”意外走红,下一站想来南京打卡!

扬子晚报
2026-11-03 23:02:35
真该把这张照片裱起来,挂在“娱乐圈意难平”展览馆的第一墙

真该把这张照片裱起来,挂在“娱乐圈意难平”展览馆的第一墙

舞指飞扬
2026-11-01 11:05:27
46.9%:21.3%!民调碾压,郑丽文喜讯砸来,蒋万安这一战打出王炸了!

46.9%:21.3%!民调碾压,郑丽文喜讯砸来,蒋万安这一战打出王炸了!

小莜读史
2026-11-04 09:31:51
曼联更衣室危机?卡里克催促染红的库尼亚赶快离场 后者甩手很不满

曼联更衣室危机?卡里克催促染红的库尼亚赶快离场 后者甩手很不满

风过乡
2026-11-04 06:53:16
35岁只打2场,莱昂纳德继续缺阵猛龙战掘金

35岁只打2场,莱昂纳德继续缺阵猛龙战掘金

热血体育社
2026-11-05 00:58:10
闹大了!九寨沟打人老夫妻正脸曝光,被打情侣满脸血,目击者发声

闹大了!九寨沟打人老夫妻正脸曝光,被打情侣满脸血,目击者发声

无人倾听无人倾听
2026-11-04 07:36:13
柳叶刀:2023中国最富20%家庭拿走43.7%医保报销,最穷20%仅得6.8%

柳叶刀:2023中国最富20%家庭拿走43.7%医保报销,最穷20%仅得6.8%

可达鸭面面观
2026-11-03 11:07:50
挺好的训练装,硬是穿出不协调的感觉!

挺好的训练装,硬是穿出不协调的感觉!

穿的像个人样
2026-10-15 07:52:49
太突然!广州这间19年超市宣布:即将停业

太突然!广州这间19年超市宣布:即将停业

广州生活美食圈
2026-11-04 16:41:15
乌克兰口碑一夜崩塌!基辅西郊一栋别墅被曝关了40多人,有人被打断脊椎,还有14岁少年,武装人员抗法,直到特警赶来才救出

乌克兰口碑一夜崩塌!基辅西郊一栋别墅被曝关了40多人,有人被打断脊椎,还有14岁少年,武装人员抗法,直到特警赶来才救出

林杰论事
2026-11-04 23:01:05
惊天逆转 科技大反攻 明天重点

惊天逆转 科技大反攻 明天重点

趋势巡航
2026-11-04 15:00:55
广东男篮换帅,新主帅基本确定,卢卡弗格离队,朱芳雨有望回归!

广东男篮换帅,新主帅基本确定,卢卡弗格离队,朱芳雨有望回归!

中国篮坛快讯
2026-11-04 09:00:23
珠海官方回应华发债务风波:当前面临的是行业周期下行叠加历史包袱造成的阶段性挑战,已落地支持资金超400亿元,后续再统筹近700亿元资源

珠海官方回应华发债务风波:当前面临的是行业周期下行叠加历史包袱造成的阶段性挑战,已落地支持资金超400亿元,后续再统筹近700亿元资源

投资者内参
2026-11-04 18:54:49
风水师:旧物不可乱丢,旧衣不送人,3个处理方法,守住你的财气

风水师:旧物不可乱丢,旧衣不送人,3个处理方法,守住你的财气

古怪奇谈录
2025-09-11 14:21:18
1979年对越自卫反击战,基辛格直言此战输得最惨的不是越南,历史证明他说对了,而那个真正的输家一直鲜少被提及

1979年对越自卫反击战,基辛格直言此战输得最惨的不是越南,历史证明他说对了,而那个真正的输家一直鲜少被提及

磊子讲史
2026-11-04 15:34:10
外交部:当前中东局势紧张升级,中方愿意同沙特、伊朗等地区国家加强沟通对话

外交部:当前中东局势紧张升级,中方愿意同沙特、伊朗等地区国家加强沟通对话

澎湃新闻
2026-11-04 16:19:38
阿姨虽然戴着口罩,但是看她的打扮就知道她是个很有魅力的女人

阿姨虽然戴着口罩,但是看她的打扮就知道她是个很有魅力的女人

美女穿搭分享
2026-11-03 18:04:36
2026-11-05 01:40:49
松果财经 incentive-icons
松果财经
专注商业研究,挖掘新商业机会
5874文章数 4918关注度
往期回顾 全部

科技要闻

国行苹果AI上手实测:苦等两年,成色如何

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

体育要闻

老板豪言建队五年必夺冠 球员:保守了

娱乐要闻

甩掉周一围嫁富豪,童蕾今负债亿元,

财经要闻

苹果“躺赢”了英伟达

汽车要闻

省钱 它是认真的!银河星耀6EF每公里成本只要2毛

态度原创

游戏
健康
家居
艺术
教育

老大,让国民偶像唱首歌真能拐到玩家来游戏里打枪吗?"/> 主站 商城 论坛 自运营 登录 注册 简体中文 简体中文 English 老大,让国民...

痘痘长到25岁还没完?查查内分泌

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

吴冠中《碧海松风》,树被海风吹得如驼背的老人

教育要闻

好课出炉,文脉相传!第三届 "蓉城方志好课" 获奖名单正式揭晓

无障碍浏览 进入关怀版