网易首页 > 网易号 > 正文 申请入驻

地瓜机器人开源世界模型仿真平台Uranus:跨本体、多视角连续推演,闭环策略评测相关性达0.98

0
分享至

亮点

· 一套模型,支持7种主流本体:以统一动作表示连接不同机器人,支持多相机视角同步生成。

· 从3秒训练片段到60秒稳定闭环:持续接收动作、生成观测,让策略在虚拟环境中连续运行与测试。

· 四步去噪,提升交互推演效率:结合流式推理与历史缓存复用,降低连续生成的计算开销。

· 闭环策略评测相关系数达0.98:在RoboTwin五个任务、九个策略的实验中,与原仿真环境的策略成功率高度相关,为策略筛选提供参考。

· 技术报告/代码/SDK/权重开放:全球开放 100个早期体验名额,邀请开发者与研究者共同探索。

· 项目主页:d-robotics-ai-lab.github.io/large-model-team/blog/uranus

· 推理代码:github.com/D-Robotics-AI-Lab/Uranus-OSS

· SDK代码:github.com/D-Robotics-AI-Lab/Uranus-SDK

· 模型权重:huggingface.co/collections/D-Robotics/uranus

机器人策略的迭代,需要大量可重复的交互与验证。真机实验受到设备、时间和安全条件的限制,传统仿真则需要投入较多资源构建三维资产、场景与物理模型。如何让策略更便捷地测试动作、观察结果、比较表现,是机器人开发中的重要问题。

围绕这一难题,地瓜机器人大模型团队此前推出并介绍了世界模型仿真平台Uranus,探索从真实交互数据中学习动作与环境变化,让机器人策略在虚拟环境中持续运行、测试与比较。

Uranus以未来关节轨迹为条件,采用自回归扩散架构,并配套构建覆盖数据处理、模型训练、流式推理与服务部署的基础设施。 给定参考画面、相机参数、机器人本体描述与后续关节轨迹,模型能够逐步生成动作对应的多视角观测。策略根据生成观测调整动作,模型继续预测环境变化,形成持续运行的交互回路,支持策略测试与比较。



图1:Uranus整体框架与闭环交互演示

如今,Uranus技术报告正式公开,推理代码、SDK及两个版本的模型权重已开源,并面向全球开放100个早期体验名额。 开发者与研究者可通过报名链接,或点击文末「阅读原文」填写申请,获取体验资格。

本文将进一步介绍跨本体、多视角、长时程推演背后的技术设计与实验结果,欢迎开发者与研究者参与体验,共同探索机器人仿真与策略评测,让智能机器人更易构建。

单臂、双臂、移动操作,一套模型统一支持

从单机械臂到双臂机器人,再到移动操作平台,不同本体的关节数量、连杆结构、末端执行器与相机布局各不相同。Uranus将这些差异转换为统一的动作与空间表示,使多种机器人能够接入同一套模型。

具体而言,Uranus根据本体描述与关节状态执行前向运动学,计算三维关键点和末端位姿,再通过相机参数投影为二维骨架图。夹爪开合、末端位姿等信息也被编码到骨架条件中,让模型能够以统一方式理解不同机器人的运动。

相机条件则采用由标定参数计算得到的Plücker射线嵌入,描述各像素对应的空间观察关系。固定相机和随机器人运动的相机由此接入统一的几何条件通道,模型再通过交替式空间—时间注意力融合多视角信息和时序信息、建模动作过程。



图2:不同机器人转换为统一骨架表示

在交互过程中,Uranus每次接收未来四个时刻的关节位置,预测一个潜在帧,解码为每个相机对应的四帧连续画面,与输入轨迹的时间戳逐一对齐。生成观测返回上游策略,支持下一轮动作决策。

这一接口预测给定运动轨迹下的视觉后果,适用于输出关节轨迹的策略与控制器。统一表示为跨本体应用提供了基础,面对训练中未出现的机器人,精确交互能力仍需进一步验证。

四步去噪,支持分钟级多视角连续推演

持续交互要求世界模型不断使用自身生成的画面预测后续变化。随着推演时间增长,早期误差可能逐步放大,导致物体外观变化、相机漂移或交互偏差。生成速度与长时程稳定性,需要同时解决。

Uranus从预训练阶段即采用因果架构,确保每个目标帧只访问参考观测与有效历史。同时,参考帧始终保留在缓存中,为场景外观、物体身份与相机布局提供稳定的视觉锚点;历史信息则通过滑动窗口管理,控制连续推演的缓存开销。



图3:流式自回归生成示意图

在此基础上,团队引入基于学生自回归推演的蒸馏,让模型在训练阶段接触自身生成的历史,缓解训练与实际推理之间的分布差异。通过分布匹配蒸馏与分阶段一致性正则,每个潜在帧的生成被压缩至四步去噪,再通过一次独立计算更新历史缓存。

配套的流式推理机制只解码新增内容,并复用历史时序特征;服务系统以会话为单位维护状态,减少连续调用中的重复计算,为分钟级多视角推演提供支持。

闭环评测相关系数达0.98,让策略比较有据可依

世界模型用于策略评测,关键在于能否准确反映不同策略的相对表现。团队在RoboTwin的5个任务、9个策略上开展闭环实验,每个策略在各任务中运行15个episode。策略持续读取Uranus生成的观测并输出动作,由模型推进环境变化。

经过针对RoboTwin的领域适配,实验取得以下结果:

· 成功率相关系数达0.98:各策略在Uranus与RoboTwin干净环境中的平均成功率高度相关;

· 排序指标MMRV为0.01:策略间的相对表现保持较高一致性,为策略比较与筛选提供参考。



图4:长时程生成对比与闭环策略评测结果

在WorldOlympiad机器人评测设置下,Uranus的综合得分为0.722、交互得分为0.730,均为所比较模型中的最高值。考虑到各模型的应用目标存在差异,该结果作为参考性评估。



图5:九个策略在Uranus与RoboTwin中的成功率对比

上述实验验证了Uranus在特定任务与适配条件下的评测价值,其结果向真机迁移的有效性仍需进一步验证。

代码/SDK/权重开放,全球开放100个体验名额

让世界模型服务机器人开发,需要建立从生成质量到闭环有效性的评价标准。 动作能否及时得到反馈、连续交互是否稳定、策略排名是否可信,都直接影响它在开发流程中的实用价值。

Uranus将模型与系统协同设计,并通过闭环策略评测检验效果,为这一方向提供了可复现的起点。接下来,地瓜机器人大模型团队将重点提升精确交互与跨任务泛化能力,进一步验证虚拟环境中的评测结果能否迁移至真机。

随着代码、SDK与模型权重开放,地瓜机器人期待与开发者共同积累更多可复现的交互案例和评测依据,让世界模型逐步成为机器人研发中可用、可信的基础工具。

来源:地瓜机器人

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
自带“青霉素”的3种蔬菜,建议:天冷后常吃,提高免疫力少生病

自带“青霉素”的3种蔬菜,建议:天冷后常吃,提高免疫力少生病

江江食研社
2026-11-03 22:30:07
延大一副教授投湖,遗书曝光:教30年钢琴,算不过15万经费的账

延大一副教授投湖,遗书曝光:教30年钢琴,算不过15万经费的账

社会日日鲜
2026-11-04 14:07:24
老特成跛脚总统,新泽西州长:谁敢卸货俄柴油要重罚,俄击中乌核电站,乌克兰多处停电 | 狼叔看世界

老特成跛脚总统,新泽西州长:谁敢卸货俄柴油要重罚,俄击中乌核电站,乌克兰多处停电 | 狼叔看世界

狼叔看世界
2026-11-04 15:57:22
香港演员尹天照感叹中山房价:350万能买两三百平米的大房子,笑称“请工人干活都能把他累倒”

香港演员尹天照感叹中山房价:350万能买两三百平米的大房子,笑称“请工人干活都能把他累倒”

南方都市报
2026-11-04 19:36:07
共和党输掉参众两院,鲁比奥和马斯克怎么办?

共和党输掉参众两院,鲁比奥和马斯克怎么办?

山河路口
2026-11-04 17:43:03
谷歌指控深圳厂商给超130万台电视盒子装后门,拿用户家里宽带赚钱

谷歌指控深圳厂商给超130万台电视盒子装后门,拿用户家里宽带赚钱

西虹市闲话
2026-11-04 18:12:05
民主党夺回参众两院,乌克兰抗战柳暗花明

民主党夺回参众两院,乌克兰抗战柳暗花明

名人苟或
2026-11-04 16:51:10
全美49个州爆发抗议

全美49个州爆发抗议

格隆汇
2026-11-03 20:05:38
王滨代理惠州市人民政府市长职务

王滨代理惠州市人民政府市长职务

南方都市报
2026-11-04 17:53:00
易建联和“京城乔姐”冲上热搜,吃瓜群众该信谁?

易建联和“京城乔姐”冲上热搜,吃瓜群众该信谁?

麦杰逊
2026-11-04 15:52:25
陕西省教育厅通报“延安大学一副教授去世留疑似遗书”:成立联合调查组

陕西省教育厅通报“延安大学一副教授去世留疑似遗书”:成立联合调查组

界面新闻
2026-11-04 22:59:32
日本向世界宣布,不许中国改变现状,不到24小时,中方宣布行动

日本向世界宣布,不许中国改变现状,不到24小时,中方宣布行动

娱乐圈的笔娱君
2026-11-04 03:32:30
输掉参众两院,特朗普为战争付出惨重代价

输掉参众两院,特朗普为战争付出惨重代价

公评世界
2026-11-04 13:58:14
中央候补委员郭宁宁履新职,多省迎来代省长

中央候补委员郭宁宁履新职,多省迎来代省长

上观新闻
2026-11-04 17:20:40
横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

扶苏聊历史
2026-10-28 15:47:11
美国前财政部高官:新冠病毒在乌克兰实验室制造,后被运到武汉释放

美国前财政部高官:新冠病毒在乌克兰实验室制造,后被运到武汉释放

不掉线电波
2026-11-04 13:44:45
法国总统稳拿了?勒庞对华态度明确,中法开新局势,欧盟投鼠忌器

法国总统稳拿了?勒庞对华态度明确,中法开新局势,欧盟投鼠忌器

共工之锚
2026-11-04 00:42:11
随着傅家俊3-6,赵心童3-6,斯诺克国锦赛4强全部诞生:中国2将在列

随着傅家俊3-6,赵心童3-6,斯诺克国锦赛4强全部诞生:中国2将在列

俯身冲顶
2026-11-04 22:52:21
“已经8天了还没到账”,不少人吐槽用鲲鹏支付,收款不到账,公司承认未按时到账;这家老牌支付公司业务遍及北京、上海、深圳、广州等地

“已经8天了还没到账”,不少人吐槽用鲲鹏支付,收款不到账,公司承认未按时到账;这家老牌支付公司业务遍及北京、上海、深圳、广州等地

南方都市报
2026-11-04 22:19:40
“认清现实吧,你是妇女,不是少女!”宝妈跟孩子比美,眼前一黑

“认清现实吧,你是妇女,不是少女!”宝妈跟孩子比美,眼前一黑

世界圈
2026-11-04 14:22:37
2026-11-04 23:56:49
松果财经 incentive-icons
松果财经
专注商业研究,挖掘新商业机会
5874文章数 4918关注度
往期回顾 全部

科技要闻

国行苹果AI上手实测:苦等两年,成色如何

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

体育要闻

老板豪言建队五年必夺冠 球员:保守了

娱乐要闻

甩掉周一围嫁富豪,童蕾今负债亿元,

财经要闻

苹果“躺赢”了英伟达

汽车要闻

省钱 它是认真的!银河星耀6EF每公里成本只要2毛

态度原创

时尚
数码
本地
旅游
房产

秋天怎么穿衣才更有气质?用针织衫搭配连衣裙,高级显瘦又大方

数码要闻

华为MatePad Mini小平板获HarmonyOS 7.0.0.111 SP16升级,互助通信共享功能下放

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

秋假亲子游好去处,济宁方特“时空奇遇夜”开启趣味狂欢

房产要闻

7宗核心靓地蓄势待发!荔湾、番禺、黄埔、白云齐上阵

无障碍浏览 进入关怀版