Talk预告 | CMU牛雅儒：机器人全身灵巧操作的规模化学习

本期为TechBeat人工智能社区第805期线上Talk。

北京时间11月5日(周四) 20:00，CMU博士生，NVIDIA Research 研究实习生牛雅儒的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是：机器人全身灵巧操作的规模化学习。届时他将从全身灵巧操作的挑战出发，围绕 Humanoid Touch Dream、Human2LocoMan 和 EgoX，介绍触觉预测、人类示范迁移与跨本体学习，并结合真实机器人实验讨论策略的鲁棒性与泛化能力。

Talk·信息

主题：机器人全身灵巧操作的规模化学习

嘉宾：CMU·博士生
NVIDIA Research 研究实习生 - 牛雅儒

时间：北京时间11月5日(周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

机器人要完成长时程、接触丰富的操作，既要保持全身稳定，也要处理灵巧手与环境的交互。本次分享从触觉预测、人类示范迁移和跨本体学习出发，介绍如何组织多模态数据、设计模块化策略，并用真实机器人实验分析鲁棒性与泛化能力的提升。

Talk大纲

1. 全身灵巧操作的挑战

长时程任务为何需要同时考虑全身稳定、灵巧手操作与接触感知，以及真实机器人数据采集的成本。

2. Humanoid Touch Dream

介绍解耦的底层控制与遥操作系统、融合视觉和触觉的模块化 Transformer，以及预测未来关节力与触觉潜在表征的训练方法。结合操作实验与消融，讨论为何加入触觉输入并不必然改善策略。

3. Human2LocoMan

通过统一坐标系与模态对齐组织人类、四足机器人的示范数据，采用人类数据预训练与机器人数据微调。结合单臂、双臂和工具使用任务，分析模块化架构对跨本体迁移、数据效率及泛化的影响。

4. EgoX

将人类、真实机器人和仿真机器人数据放在统一的本体框架，在共享 Transformer 中保留各本体的感知与控制接口，通过未来具身潜在表征预测学习本体相关动力学。分析数据多样性、预测目标与模块化设计如何影响跨本体迁移，并讨论现有方法的局限。

Talk·预习资料

[1] Learning Versatile Humanoid Manipulation with Touch Dreaming

论文链接：

https://arxiv.org/abs/2604.13015

代码仓库：

https://github.com/chrisyrniu/humanoid-touch-dream

[2] RSS 2025 | Human2LocoMan: Learning Versatile Quadrupedal Manipulation with Human Pretraining

论文链接：

https://arxiv.org/abs/2506.16475

代码仓库：

https://github.com/chrisyrniu/Human2LocoMan

项目主页：

https://human2bots.github.io/

[3] EgoX: Egocentric Cross-Embodiment Manipulation with Embodiment Dreaming

论文链接：

https://egox-dream.github.io/assets/egox.pdf

项目主页：

https://egox-dream.github.io/

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

牛雅儒

CMU·博士生
NVIDIA Research 研究实习生

牛雅儒现为卡内基梅隆大学机械工程系 Safe AI Lab 博士生，师从 Ding Zhao 教授，同时在英伟达研究院（NVIDIA Research）的 DAIR 和 LPR 团队担任研究实习生。他的研究聚焦机器人灵巧操作的规模化学习，探索利用人类示范、多模态感知和仿真数据，学习能够适应不同机器人本体与任务的操作策略。代表工作包括 Human2LocoMan、Humanoid Touch Dream 和 EgoX，相关成果发表于 RSS、ICRA、IROS、ICML 等会议，并获 IROS 2026 Physical World Models for Scaling Embodied AI Workshop 及 ICCV 2021 MAIR2 Workshop 最佳论文奖。

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk