网易首页 > 网易号 > 正文 申请入驻

大晓机器人联合南洋理工大学发布最新成果:Mundo,构建可自由探索、可物理交互的机器人世界模型

0
分享至

近日,大晓机器人联合南洋理工大学S-Lab发布面向具体环境构建,可探索、可交互的世界模型——Mundo。Mundo 支持与 Atlas 类似的场景重建、自由视角探索和时空模拟能力。相较于Atlas来说,Mundo可以将物体的质量、摩擦等物理属性纳入场景程序,通过物理引擎计算运动、接触与碰撞。同时,Mundo 支持调用智能体,通过代码编辑场景中的物体、属性与动作,将少量影像转化为可自由探索、可编程交互、可用于机器人导航与操作训练的三维世界。

Mundo 将三维场景表示、物理仿真与视频生成相结合,结合Astra打造全新空间理解能力,先通过影像场景与物体,并可以通过代码实现场景可以编辑,再通过代码定义、编辑物体属性和动作。物理引擎计算运动与碰撞,视频模型结合参考影像渲染结果,形成从场景重建、代码编辑到交互模拟的完整流程。场景既能被看见,也能响应动作、记录变化,进而成为机器人训练与测试的环境。

这一能力为机器人进入具体商业场景提供了支持。在大晓机器人以 Kairos 为核心的世界模型技术体系中,Mundo 补充环境建模、训练数据生成与仿真训练能力,帮助机器人完成场景适配和策略优化。

Project:

https://mundo-world-model.github.io/

Blog:

https://huggingface.co/blog/Luo-Yihang/mundo-world-model

少量图像构建专属世界模型,支持跨空间长路径生成

Mundo 将少量图片或者视频,拓展为可持续探索的三维空间,同一组参考图像可以支持多条相机路径;面对更大场景,还可动态选择上下文,连续生成数十秒至分钟级的探索画面。

具体来看,Mundo从真实场所的上下文影像出发,先建立三维代理,确定不同视图之间的空间关系,再沿指定相机路径生成新视角。在此次展示的场景中,输入1至12张图像,即可围绕房间中的家具和空间结构展开探索。同一组参考图像可以服务于多条路径,让观察位置和角度自由变化。建模过程中,三维检测器为主要物体提供初始位置与范围,视觉语言模型智能体进一步调整代理场景,通过渲染、比较和修正,让场景结构与输入影像相互对应。



例如,一间办公室可以从桌面旁绕到窗边,一处住宅可以从庭院进入室内。相机移动时,输入图像约束已经拍到的布局、外观和细节,模型则对没有被拍到的区域进行推断补全。增加参考视图,就能为场景提供更多真实依据,减少补全的不确定性。

这种能力也能从一张生成图像或画作开始,将其中的结构和视觉风格延伸到新的视角。对于真实场所,更多观测帮助模型接近现场;对于创意场景,单张图像则提供了构建可探索空间的起点。面对更大的环境,Mundo 使用数十张上下文图像,支持数十秒至分钟级的长路径生成。它沿同一个三维代理分段生成画面,为每一段选择相关参考视图,并通过重叠帧衔接前后片段,使局部外观和全局空间拥有共同依据。



Mundo 将拍下来的一个个视角,组织成可以持续进入和探索的空间。对于机器人场景适配,这意味着现场影像能够成为构建任务环境的入口,为后续导航和交互训练提供空间基础。

物体具备物理属性,推拉碰撞都有可计算的响应

要让机器人在场景中练习,环境必须能够响应动作。抽屉被拉开、椅子被推动、物体落到地面,都需要对应的位置变化和接触关系。

Mundo 可以通过代码编辑世界,通过场景程序描述物体的名称、尺寸和位姿,并为其配置质量、摩擦等物理属性。脚本定义动作和施加的力,物理引擎计算物体在重力与接触约束下的响应,得到运动轨迹、接触位置和碰撞力。随后,Mundo 结合环境参考图像,将这些变化渲染到对应场景中。



这让环境拥有了明确的操作入口。用户可以拖动垃圾桶、推动显示器、拉动椅子或打开抽屉,也可以改变物体材料与重力条件,观察不同设置下的响应。物理过程中的速度、接触点和冲击力等状态,还能与生成画面同步展示。



在这一过程中,三维代理与场景程序负责记录“物体在哪里、发生了什么变化”,物理引擎负责计算运动,视频模型负责呈现与环境相符的视觉结果。几何、物理与外观各自承担明确职责,共同构成可交互环境。

让每次交互都有可追踪的状态、可计算的过程,是场景从可观看走向可使用的关键。 Mundo 将物理交互引入重建环境,为机器人练习动作及分析结果提供了具体依据。

在同一环境贯通导航、操作与四维模拟,构建机器人训练场

在同一个定制场景中,Mundo 进一步支持机器人移动和操作,将环境重建连接到机器人测试与训练。

导航方面,三维代理提供物体类别、位置、障碍物和可通行区域等信息,路径规划器据此寻找路线。Mundo 可以生成不同机器人沿路线行进的第一人称和第三人称画面,将空间布局与机器人沿途观察联系起来。



操作方面,Mundo 为参与交互的物体建立几何和物理属性,让不同形态的机器人尝试同一任务,例如将苹果放入碗中、将罐子放上托盘或堆叠积木。系统生成外部视角以及机器人头部、腕部相机视角,同时保留任务轨迹与物理交互状态,为训练数据生成和仿真测试提供支持。



视觉观测与交互状态相互对应,使研究人员能够结合机器人“看到什么”和“做了什么”分析执行过程,并在进入真实场景前比较、调整策略。

Mundo 还将空间探索拓展到时间维度。对于多相机记录的动态事件,可以从新视角呈现过程;对于基于图像构建的模拟事件,则通过重力和接触动力学计算运动。在选定时刻暂停时间,再移动相机,即可从多个角度观察同一瞬间,形成“子弹时间”效果,辅助查看动作细节和遮挡关系。

从导航到操作,再到四维时空观察,Mundo 为机器人提供了可反复演练、可多角度检查的环境。在酒店应用中,团队已利用它重建楼层与洗衣区域,为导航提供空间和语义信息,并模拟洗衣机开门等交互,为机器人理解任务与开展训练提供支持。

世界模型的产业价值,要由它对真实任务的贡献来体现。 在大晓机器人以 Kairos 为核心的世界模型技术体系中,Mundo 补充具体环境建模与仿真训练能力,连接现场采集、数据生成和策略优化,服务于机器人进入实际工作场景。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
文伽昊45岁,重庆的物流协调员,月薪几千。父亲文强被执行死刑那年他29岁,独自领回了骨灰。

文伽昊45岁,重庆的物流协调员,月薪几千。父亲文强被执行死刑那年他29岁,独自领回了骨灰。

回京历史梦
2026-11-17 14:24:56
时间定了,中方宣布安排,就在11月19日这天,高市能如愿以偿吗?

时间定了,中方宣布安排,就在11月19日这天,高市能如愿以偿吗?

古书奇谈
2026-11-17 10:27:11
比普京特朗普先到深圳的,是两架军用大飞机,信号不一般

比普京特朗普先到深圳的,是两架军用大飞机,信号不一般

赵探长TALK
2026-11-17 11:02:02
记者惊呼Amazing APEC媒体包都有啥?

记者惊呼Amazing APEC媒体包都有啥?

看看新闻Knews
2026-11-17 14:08:28
77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

回京历史梦
2026-11-17 14:24:26
国足连追2球2-2巴林!40年交手不败 王钰栋造2球 张玉宁连场破门

国足连追2球2-2巴林!40年交手不败 王钰栋造2球 张玉宁连场破门

我爱英超
2026-11-17 22:03:10
再这么搞下去,中国烟草员工的内退潮或将无可避免

再这么搞下去,中国烟草员工的内退潮或将无可避免

别人都叫我阿腈
2026-11-17 04:40:56
法国总统候选人梅朗雄11日晚表示:“中国从地图上被抹去,因为我们欧洲人对中国人发动了战争,摧毁了他们...而现在他们回来了”

法国总统候选人梅朗雄11日晚表示:“中国从地图上被抹去,因为我们欧洲人对中国人发动了战争,摧毁了他们...而现在他们回来了”

扶苏聊历史
2026-11-17 16:26:33
腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

21世纪经济报道
2026-11-17 07:38:59
美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

风向观察
2026-11-17 12:57:36
昆明一外卖员捅伤执勤辅警,警方回应:外卖员拒检并辱骂辅警、气急败坏下捅人,辅警暂无生命危险,行凶者已交给派出所处置

昆明一外卖员捅伤执勤辅警,警方回应:外卖员拒检并辱骂辅警、气急败坏下捅人,辅警暂无生命危险,行凶者已交给派出所处置

极目新闻
2026-11-17 21:16:50
突然,直线拉升!英伟达,重磅来袭!

突然,直线拉升!英伟达,重磅来袭!

证券时报
2026-11-17 20:54:06
邵佳一遭批:还不如伊万科维奇!赶紧下课吧 早点把安东尼奥换上来

邵佳一遭批:还不如伊万科维奇!赶紧下课吧 早点把安东尼奥换上来

念洲
2026-11-17 20:49:10
大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

云霄纪史观
2026-11-17 03:55:10
网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

潇湘晨报
2026-11-17 11:31:12
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
出租车司机遇害,凶手翻供称“作案时被害人未死亡”,检察官锁定一个细节:死亡勃起

出租车司机遇害,凶手翻供称“作案时被害人未死亡”,检察官锁定一个细节:死亡勃起

方圆
2026-11-09 09:56:31
如今的股票市场成了一个天大的笑话,现在买中国股票的人可笑到什么程度?

如今的股票市场成了一个天大的笑话,现在买中国股票的人可笑到什么程度?

星语者056
2026-11-17 08:45:38
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
局势迎来重大反转!中美建交47年来,从未有在任美国总统踏上台湾,特朗普一旦破例,就是公然触碰红线,这件事引发全网热议

局势迎来重大反转!中美建交47年来,从未有在任美国总统踏上台湾,特朗普一旦破例,就是公然触碰红线,这件事引发全网热议

磊子讲史
2026-11-17 15:28:33
2026-11-17 22:40:49
光锥智能 incentive-icons
光锥智能
来这里,看千行百业的数字化、智能化。
1222文章数 142关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:黄仁勋辞任CEO带来隐患 英伟达没有"二号人物"

头条要闻

媒体:黄仁勋辞任CEO带来隐患 英伟达没有"二号人物"

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

数码
手机
艺术
健康
军事航空

数码要闻

华为星芒OSTA O1 Pro突然上架:砍超广角、砍无线充,高端技术照样下放

手机要闻

13500mAh的电池,荣耀先给了7英寸中端机!

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

医生眼里"很伤腰"的椅子,很多人天天坐

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版