李飞飞和姚班大神，给机器人造了个数据流水线，还能自己进化

平均成功率达63.6%，是性能最优对照基线模型的3.5倍。

作者 | 周加琦

编辑 | 漠影

机器人前瞻10月15日报道，近日，斯坦福和哥伦比亚大学联合发布机器人灵巧操作框架DexAgent，李飞飞、吴佳俊和李昀烛等参与其中。

此前，。

吴佳俊，本科就读于清华姚班，连续三年以接近满分的成绩居年级第一。他本科期间已在CVPR发表多篇论文，并获邀担任审稿人，曾获得清华大学特等奖学金，现任斯坦福大学计算机科学系助理教授（兼任心理学系助理教授）。

另外两名作者分别是Youhui Wang，康奈尔大学本科生，在斯坦福视觉与学习实验室做研究实习生；Huang Huang，目前是斯坦福大学的博士后研究员，师从李飞飞和吴佳俊。

DexAgent是一种基于自进化工具库的Agent框架，能够将单条人类第一视角视频与任务描述，转化为多样化的机器人训练数据。与直接模仿视频中人类动作不同，DexAgent借助AI Agent，在仿真环境中重建物体及其物理交互关系，生成符合物理约束的机器人运动轨迹。

在这个过程中，该框架能够根据任务和物体特性，自主调用已有的工具或开发新的技能与校验器，并将其保留在工具库中，持续积累和复用。

在11项真实任务测试中，基于DexAgent生成数据训练出的机器人策略，平均成功率达63.6%，是性能最优对照基线模型的3.5倍。

arxiv链接：https://arxiv.org/pdf/2609.35318

技术博客：https://dexagent1.github.io/

01.

从人类示范到真机训练，

DexAgent打通四个环节

对于人类来说，拧开瓶盖是再简单不过的动作：一只手固定瓶身，另一只手旋转瓶盖，将其取下。但对机器人来说，即使看到人类操作视频，也不一定能够完整复现这一动作。

视频只能呈现手部和物体的运动，但无法告诉机器人使用力的大小、瓶盖螺纹结构与旋转之间的关系，以及双手如何配合。即便机器人成功复现了演示动作，但也不一定学会不同姿势、不同物理状态下处理瓶子。

DexAgent要解决的，就是如何将一条人类操作视频，转化为符合物理规律、可适应不同初始条件的机器人训练数据。研究团队设计了一套由AI Agent驱动的自动化流程，将人类视频到机器人数据的转换分为四个阶段。

1、理解人类操作视频，识别任务中的物体及其交互关系

DexAgent首先分析输入的视频和任务描述，识别需要操作的物体、物体关键属性，以及完成任务所需的具体步骤。

以拧瓶盖为例，Agent需要理解瓶盖需要相对瓶身旋转，才能向上脱离。同时，还要识别双手的不同分工，一只手负责固定瓶身，另一只手负责操作瓶盖。

随后，Agent将整个任务拆解为多个子目标，生成结构化的场景描述，明确每一步需要完成的动作及其成功条件。

2、重建仿真环境，还原物体的物理属性

传统的三维重建更多的是关注物体的几何形状，但对于机器人操作而言，还需要还原物体如何运动、不同部件之间如何相互作用。例如，重建瓶盖时，需要建立旋转与向上移动之间的对应关系；重建抽屉时，需要设置正确的滑动方向和运动范围。

DexAgent会根据前一阶段生成的场景描述，从工具库中选择合适的重建工具和校验器。若现有工具无法满足要求，Agent还可以重新编写Python函数。对于新开发的重建工具，该框架还会使用三组不同参数进行测试，通过后才保存到工具库。

3、根据人类动作生成适合机器人执行的运动轨迹

完成场景重建，DexAgent开始为机器人生成具体操作动作。该框架将人类动作作为参考，结合机器人手部结构和任务要求，生成相应的抓取姿态和操作路径。

此外，DexAgent会在仿真环境中测试不同的候选姿态。如搬运任务，通过抬起、晃动物体来验证抓取是否稳定；对于机械结构操作，会检查动作能否完成预期的旋转或滑动。完成验证后，Agent会将各子目标对应动作连接起来，结合人类动作引导的优化方法与代码生成的运动，形成完整的机器人操作轨迹。

如果前一步动作导致后续任务无法继续，Agent可自行修改前面动作，而不是沿用原有轨迹。

4、将可执行轨迹扩展为机器人训练数据

获取一条有效的机器人轨迹只是开始。该框架会在仿真环境中改变物体的初始位置、机器人状态等，针对不同配置调整运动轨迹，再验证操作是否可完成。

在研究团队的策略训练实验中，DexAgent为每项任务生成了500条经过验证的机器人操作轨迹。与此同时，为缩小仿真与现实的差距，该框架还会对生成的画面进行处理。

首先将原始人类视频中的手和被操作物体移除；其次将仿真生成的机器人手部与物体画面合成到原始场景；最后通过渲染调整视觉外观，使其能够生成视觉逼真的机器人训练数据，且保持物理交互上的一致。

最终，研究团队利用这些生成的数据微调预训练模型π0.5，让机器人学习不同初始条件下的操作方式。

02.

拥有可持续扩充的自进化工具库

DexAgent的一项关键设计，是构建了可持续扩充、随时被调用的工具库，具体能力被拆分为两个部分：技能和校验器。

其中技能负责执行具体操作，包括物体重建、抓取姿态生成和运动轨迹规划等。校验器负责检查执行结果是否符合要求，如物体是否有正确的运动约束、抓取是否稳定等。

更重要的是，DexAgent不局限于预先编写好的工具。遇到现有工具无法处理新任务时，Agent可自行编写Python扩展工具库，实现自进化。随着处理任务的增加，工具库能不断积累新的技能，该框架会变得越来越高效。在整个实验中，工具库包含了103项技能和188个验证器。

此外，研究团队还使用EgoDex数据集中的100条视频进行了独立测试，并将DexAgent与GPT-6 Astra、V2D两种方法进行对比。

结果显示，DexAgent处理第一条视频耗时4.3h。随着工具库的积累和技能复用，单条视频的处理时间降至2.2h；若复用此前构建的物体，处理时间可缩短至13.1min。

在整个100条视频的实验中，DexAgent平均每条视频的处理时间为2.1小时，GPT-6 Astra和V2D则分别需要3.3小时和3.7小时。相比之下，DexAgent的平均处理时间分别缩短了36.4%和43.2%。

这表明，DexAgent的工具库不仅能够支持不同类型的物体重建和操作任务，还能够通过复用已有工具减少重复开发工作，提高后续训练数据的生成效率。

03.

平均成功率为63.6%，

最高成功率达90%

该团队开展了11项灵巧操作任务测试，用的是一台拥有两只Sharpa多指灵巧手的双臂机器人。

任务涵盖电池插入、剪刀裁剪、绳子打结、计算机组装等，涉及刚性物体、关节结构、柔性物体，以及工具使用和长时序复杂任务。在评测中，每项任务进行10次测试，并随机改变物体的初始摆放位置，检验机器人的操作能力。

最终结果显示，基于DexAgent生成数据训练的机器人策略，在11项任务中的成功率均处于领先地位。

其中，DexAgent在杯子放置任务成功率最高，达到90%，比表现最好的对照方法成功率高出20%。另外，其整体平均成功率达到63.6%，相比较最强对照基线模型SPIDER18.2%的成功率，DexAgent是SPIDER的3.5倍。

具体来看，DexAgent在涉及物体运动约束和柔性物体操作的任务中，也取得了一定效果。例如，在将玩具放入抽屉的任务中，DexAgent训练出的策略成功率达到80%，而对照方法中的最高成功率为50%。

在绳子打结任务中，DexAgent训练出的策略成功率达到50%，而参与比较的其他基线方法均未成功。

此外，研究团队还直接测试了DexAgent生成的运动轨迹在真实机器人上的执行效果。在这项实验中，机器人不经过策略模型学习，而是直接按照生成的运动轨迹执行操作。每项任务测试10次，只要其中至少一次成功，就视为该任务通过测试。

结果显示，DexAgent生成的运动轨迹在11项真实任务中均至少成功执行过一次，而SPIDER、V2D和GPT-6 Astra分别只有6项、5项和5项任务达到这一标准。

04.

结语：机器人灵巧操作的数据难题

有了新解法

机器人灵巧操作的训练数据一直面临获取难、不同任务之间难以复用等问题。DexAgent的研究探索了一条新的技术路径，通过AI Agent将人类操作视频转化为多样化的机器人训练数据，并利用自进化工具库持续积累和复用已有能力，提高数据生成效率。

尽管仿真与现实之间仍存在差距，复杂操作中的精细接触与物理交互也有待进一步优化，但DexAgent已在多项真实机器人任务中验证了这一技术路线的可行性。

随着工具库不断扩充、仿真与真实环境的差距逐步缩小，这种由Agent驱动、能够持续积累能力的数据生成方式，有望降低机器人灵巧操作的训练门槛，为更多复杂操作技能的学习提供支持。