网易首页 > 网易号 > 正文 申请入驻

从人类视频到机器人技能,大晓HSImul3R打通Real-to-Sim-to-Real

0
分享至

一段人坐上椅子的视频,对人类而言再普通不过。我们不仅能看见“人坐了下来”,还天然理解椅子承受人体重量,人与椅面形成接触并最终稳定,这些重力、接触与作用关系共同构成真实世界中的物理交互。但对今天的三维重建系统而言,“看见动作”与“重建真实交互”仍是两回事。一个视觉上准确坐在椅子上的人体,进入物理仿真后,椅子可能因结构缺失倒下,人体也可能与椅面严重穿模。视觉上成立,并不意味着物理交互上成立。

近日,大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布全新人–场景交互重建研究 HSImul3R,直指三维视觉长期存在的“感知—仿真鸿沟”,推动三维重建从“视觉正确”走向“物理可执行”。该成果已被全球计算机视觉顶级会议 ECCV 2026 正式接收。不同于传统方法主要关注人和场景是否重建得像、是否对齐,HSImul3R 将重力稳定性、真实接触与交互稳定性纳入核心评价标准。团队将其定义为首个面向非标定稀疏视角输入、实现稳定可仿真(Simulation-Ready)人–场景交互重建的框架,并进一步支持单目视频输入。与此同时,团队构建了面向人–场景交互的 HSIBench,直接检验重建结果能否在物理仿真中稳定交互。HSImul3R 在 Easy、Medium、Hard 三档任务中的交互稳定率分别达到 53.68%、30.56% 和 13.92%,显著高于 HSfM 的 10.52%、4.50% 和 2.66%,并将人–场景三维穿模率从 69.51% 降至 22.90%。

为实现这一目标,HSImul3R 提出物理闭环(Physics-in-the-Loop)双向优化框架,让物理仿真器从最终检验工具变成重建过程中的主动监督者。一方面,通过面向场景的强化学习(Scene-targeted Reinforcement Learning)优化人体运动,使其既物理可行,又能与当前场景稳定交互;另一方面,通过直接仿真奖励优化(Direct Simulation Reward Optimization,DSRO),利用交互后的仿真反馈反向优化三维场景。最终,团队将优化后的人体动作迁移至 Unitree G1 人形机器人,贯通日常图像/视频 → 三维人–场景交互重建 → 物理仿真优化 → 人形机器人动作迁移 → 真实机器人执行的完整链路,让人类视频中的交互经验从视觉信息进一步转化为可仿真、可学习、可执行的机器人技能资产。

  • Paper:《HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human–Scene Interactions》
  • ArXiv: https://arxiv.org/abs/2603.15612
  • Project: https://yukangcao.github.io/HSImul3R/
  • GitHub: https://github.com/yukangcao/HSImul3R

从“视觉正确”到“物理成立”:重新定义三维重建

近几年,三维重建、人体运动估计与人–场景交互建模持续发展,机器从图像和视频中恢复三维世界、理解人类行为的能力不断提升。但传统方法大多仍以几何准确、姿态还原和视觉对齐为主要标准,回答的更多是“人和场景重建得像不像”。问题在于,机器人最终面对的是一个由重力、碰撞、摩擦与接触共同决定的物理世界。一个视觉上高度可信的场景,进入仿真器后可能立即失效:椅子可能因为结构缺失无法站稳,人体与物体也可能发生穿模,原本看似正确的交互因此无法真正成立。



HSImul3R 概览图

HSImul3R 因此将评价标准从“视觉正确”进一步推进到“物理成立”,把重力稳定性、真实接触和交互稳定性纳入重建过程。它不再只要求人和场景在画面中对齐,而是要求重建结果能够真正进入物理仿真,并保持原有的人–场景交互关系。更关键的是,HSImul3R 并非先完成重建、再用仿真器验证,而是提出物理闭环(Physics-in-the-Loop)双向优化机制,让仿真反馈直接参与重建。正向过程优化人体,反向过程修正场景,物理仿真器由最终的“裁判”转变为整个重建过程中的主动监督者。

不只是动作可行,更要让交互真正成立

物理闭环的第一步,是让恢复出来的人体运动真正适应当前场景。传统动作跟踪与强化学习通常更关注人体自身是否稳定、动作是否接近原始轨迹,但即使人体动作在物理上成立,也可能已经偏离原有的人–物交互关系。例如,一段“坐在椅子上”的动作经过普通运动优化后,人体可能为了保持平衡而偏离椅子。人虽然没有摔倒,但“坐椅子”这一原本的交互已经消失。对于具身智能而言,只做到“动作可行”显然还不够。



去除面向场景的强化学习,仿真中出现非预期的物体位移,且难以稳定交互

为此,HSImul3R 提出面向场景的强化学习(Scene-targeted Reinforcement Learning),在运动跟踪基础上进一步加入场景交互约束。系统通过人体关键接触点与物体表面的空间关系,使优化后的动作既忠实于原始观测,又能与当前场景保持正确、稳定的接触。也就是说,HSImul3R 优化的不是一条抽象意义上“符合动力学”的人体轨迹,而是一段能够在特定场景中真正成立的物理交互。“坐下”意味着人必须真实坐到这把椅子上,而不是只在空间中复现一个相似动作。

用真实交互反过来优化三维世界

但仿真失败并不一定意味着“人动错了”,也可能是场景本身没有重建正确。尤其在人类遮挡严重、桌腿或椅腿等结构较细的场景中,图像生成三维模型(Image-to-3D)容易产生结构缺失或几何畸变,即使人体动作合理,也无法支撑真实交互。针对这一问题,HSImul3R 在反向过程中提出直接仿真奖励优化(Direct Simulation Reward Optimization,DSRO),直接利用物理仿真的交互结果作为监督信号,反向优化三维物体生成模型。评价标准也由“物体自己能不能站稳”,进一步提升为“人与它交互之后还能不能稳定”。



图像到三维物体重建的定性对比

团队将仿真反馈划分为从“物体在重力下失稳”到“人与物体实现稳定交互”的四种状态。只有当物体自身稳定、交互后仍保持稳定,并且人与物体之间确实形成有效接触时,重建才被认为真正成立。因此,一把椅子即使单独放在地面上不会倒,如果人坐上去就倾覆,或者人与椅子最终完全分离,它仍然没有被真正“重建对”。HSImul3R 由此把评价标准从“物体自身是否物理合理”推进到“物体在人–场景交互中是否物理合理”,让人类交互本身成为优化三维世界的重要监督信号。

HSIBench:不只看“像不像”,更要看“能不能交互”

为了验证这一新的评价体系,团队进一步构建了面向人–场景交互的 HSIBench。数据集包含 19 个场景物体、超过 50 段人体动作序列和 300 个独立交互实例,由 3 名参与者完成,每个案例均从 16 个视角同步采集。与传统三维重建基准更多关注几何误差不同,HSIBench 将人–场景交互稳定性(Stability-HSI)作为核心指标之一,不仅判断物体在重力下能否稳定,还要求整个交互进入仿真后保持稳定,并保留有意义的人–物接触。换句话说,三维重建不仅要通过“视觉和几何考试”,还要真正通过“物理实操”。





HSIBench 示例及 HSImul3R 对应的仿真结果

实验结果显示,在 Easy、Medium 和 Hard 三档任务中,HSImul3R 的人—场景交互稳定率分别达到 53.68%、30.56% 和 13.92%,而 HSfM 分别为 10.52%、4.50% 和 2.66%;人—场景三维穿模率也从 HSfM 的 69.51% 降至 22.90%。这些结果意味着,当三维重建真正服务于具身智能时,“渲染得足够真实”已经不再是终点。重建出来的世界,还必须能够承受机器人真实的动作与交互。

从人类视频到真实机器人,让交互经验真正被“学会”

如果 HSImul3R 最终只停留在稳定的物理仿真,它仍然只是完成了从真实世界到仿真的迁移(Real-to-Sim)。这项工作的另一关键一步,是进一步将经过物理优化的人体动作迁移到真实人形机器人上,实现从仿真到真实世界(Sim-to-Real)。团队首先将优化后的人体运动重定向至 Unitree G1,再以这些动作作为先验,在仿真环境中训练全身控制策略,最终直接部署到真实 G1 上,使机器人能够在现实环境中复现相应的人—场景交互。



部署于 Unitree G1 人形机器人上的仿真到真实(Sim-to-Real)结果

至此,一段人类视频中的行为完成了完整转换:从图像或视频中恢复三维人—场景关系,通过物理仿真修正那些“视觉上合理、物理上无法成立”的部分,再将人体动作转化为机器人能够学习的动作先验,最终由真实机器人重新执行。这也打开了一条更具想象力的路径。互联网中已经存在规模巨大的人类行为视频,如果其中的人–场景交互能够被持续重建、物理验证并迁移到不同机器人本体,这些视频就不再只是供机器“观看”的视觉数据,而可能成为机器人学习真实物理技能的重要来源。

当然,这条路线仍处于早期阶段,复杂交互、多物体场景和动态环境依然存在大量挑战。但 HSImul3R 已经给出一个重要方向:机器人从人类视频中学习的,不应只是“人看起来怎么动”,更应该是这个动作为什么能够在真实物理世界中成立。从视觉重建到可仿真重建,从人体动作到人—场景交互,再从真实世界到仿真、最终回到真实机器人,HSImul3R 正在推动人类视频从视觉信息进一步转化为可仿真、可学习、可执行的机器人技能资产。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
同样是打腊子口,中央红军绝境赌命,红四方面军为何轻松破关

同样是打腊子口,中央红军绝境赌命,红四方面军为何轻松破关

孙缡北漂拍客
2026-11-18 19:56:56
SpaceX美股盘前跌幅扩大至5%

SpaceX美股盘前跌幅扩大至5%

每日经济新闻
2026-11-20 20:09:07
U17国足争议判罚!邝兆镭拉人送点,FVS挑战失败,名记开炮

U17国足争议判罚!邝兆镭拉人送点,FVS挑战失败,名记开炮

奥拜尔
2026-11-20 22:47:03
《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

娱乐故事
2026-11-19 23:25:20
3-0荡气回肠!男单爆大冷!就在刚刚,WTT星球赛:21岁陈垣宇淘汰日乒世界冠军!国乒男单再破8强魔咒!林诗栋迎利好

3-0荡气回肠!男单爆大冷!就在刚刚,WTT星球赛:21岁陈垣宇淘汰日乒世界冠军!国乒男单再破8强魔咒!林诗栋迎利好

篮球热嗖
2026-11-20 19:03:39
领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

罗说NBA
2026-11-20 07:13:18
接连打破纪录!速度滑冰世界杯日本站:廉子文宁忠岩摘金夺银

接连打破纪录!速度滑冰世界杯日本站:廉子文宁忠岩摘金夺银

全景体育V
2026-11-20 15:36:53
台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

人生录
2026-10-31 00:55:04
兹维列夫脚踝出现伤情!ATP总决赛四强已出3席,阿卡轻伤不下火线

兹维列夫脚踝出现伤情!ATP总决赛四强已出3席,阿卡轻伤不下火线

排球黄金眼
2026-11-20 08:58:27
半场21分!赛季最佳一战,终于打出来了,杨瀚森危险了……

半场21分!赛季最佳一战,终于打出来了,杨瀚森危险了……

体育新角度
2026-11-20 18:56:20
泰山冬窗引援思路曝光!300万薪资空间这么花,斯帅的惊喜要来了

泰山冬窗引援思路曝光!300万薪资空间这么花,斯帅的惊喜要来了

体坛小鹏
2026-11-20 20:11:36
80年NBA绝无仅有,19岁弗拉格又创纪录,二年级已是巨星

80年NBA绝无仅有,19岁弗拉格又创纪录,二年级已是巨星

大西体育
2026-11-19 15:20:30
3年套现15亿?和17家公司完成切割,如今隐居上海,自称全职妈妈

3年套现15亿?和17家公司完成切割,如今隐居上海,自称全职妈妈

墨策讲历史
2026-11-18 23:11:36
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
APEC峰会谈芯片断供,董明珠:没有自己的芯,巨头也纯是替人打工

APEC峰会谈芯片断供,董明珠:没有自己的芯,巨头也纯是替人打工

哄动一时啊
2026-11-20 09:55:29
普京在深圳说的六句话,句句有分量,最后一句最耐人寻味

普京在深圳说的六句话,句句有分量,最后一句最耐人寻味

林子说事
2026-11-20 00:34:09
江浙沪,被托举的一代开始崩溃了

江浙沪,被托举的一代开始崩溃了

二胡的岁月如歌
2026-11-20 22:12:12
又一部高颜值韩剧,狗血又上头

又一部高颜值韩剧,狗血又上头

来看美剧
2026-11-20 22:11:13
450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

浯江孤舟
2026-11-20 15:21:39
刘涛峨眉素颜爬山被拍,不粉黛没替身引猜测,这底气究竟多足

刘涛峨眉素颜爬山被拍,不粉黛没替身引猜测,这底气究竟多足

情感大头说说
2026-11-20 12:54:13
2026-11-20 23:00:49
光子星球 incentive-icons
光子星球
细微之处,看见未来!
1702文章数 2159关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
时尚
教育
旅游
公开课

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

《后会友期》的癫,还得她们治

教育要闻

小鹿爱学,开启 AI 教育普惠时代

旅游要闻

寻迹须弥山——藏在丝路古道上的石窟密码

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版