真机示教太贵？银河通用这篇新论文，想让机器人看视频就“学会”新环境

©有界UnKnown原创

作者丨山茶

编辑｜钱江

关于机器人的泛化能力，行业正在探索一条成本更低的新路径。

近期，北京大学、银河通用、清华大学和中国科学院自动化研究所联合发布论文《WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time》，提出 WAM-TTT 框架，让机器人在部署阶段通过观看少量人类示范视频，快速适应新的环境、物体配置和任务变体。

过去，机器人进入新场景后，往往需要重新采集真机操作数据、进行任务微调，或加入更长的示范上下文。这些方式不仅成本高，完整微调还可能影响模型原有能力。

人类视频虽然更容易获得，却无法直接转化为机器人动作。WAM-TTT 的思路是，不再将人类动作转换成机器人轨迹，而是把示范视频写入模型的临时记忆，仅更新轻量参数，以减少对机器人示教数据、人工标注和全模型微调的依赖。

它试图解决的核心问题是，机器人部署之后，能否用更低成本学会适应新环境和新要求。

什么是WAM-TTT？

在正式讲WAM-TTT框架之前，需要先讲另一个问题。

即WAM-TTT并不是一项孤立的研究，该团队在今年初还曾发布另外一篇论文《LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion》，提出LDA-1B模型。

这个模型的价值在于，它试图突破许多基于行为克隆的VLA模型对高质量、带动作标签数据的依赖，使不同质量和不同来源的数据能够以不同方式参与训练。

一直以来，行业中大量具身数据因为质量不够高、没有精确动作标签或来自不同机器人，无法被传统VLA有效利用。因此，LDA-1B引入“预测世界”的能力，让不能直接用于动作模仿的数据，也能用于学习环境变化和物理交互规律。

比如现在大家提的比较多的世界模型，普遍偏向预测世界接下来怎么变化，普通动作模型则偏向决定机器人接下来应该怎么做，而LDA-1B将“预测世界”与“控制机器人”统一到一个模型中，让机器人在理解动作后果的基础上采取行动。

我们今天讲的WAM‑TTT建立在LDA‑1B工作提出的LDA世界—动作模型架构之上，进一步解决“模型部署后如何通过人类视频快速适应”的问题，两项研究团队中的核心人员也大致相同。

好，回到正题。

WAM-TTT框架要解决的是另一个问题，就是如何让机器人低成本学习用户的新要求，这一直都是通用机器人走向真实家庭和商业场景的关键问题。

前面提到，传统方法要么重新采集数据，要么对模型进行微调；要么成本高，要么影响模型能力。所以该研究团队提出，基于LDA-1B，在模型中加入了一块可快速更新的“自适应记忆”。

论文提到，整个方法分为两个阶段。

首先是元训练阶段，即利用配对的人类示范视频和机器人操作数据，建立人类任务过程与机器人行为之间的关联。

具体就是让人类完成一项任务，机器人也完成相应任务，然后系统按照任务进度对齐人类视频和机器人轨迹，最后让模型逐渐学习人类视频中的视觉变化，对应机器人应该采取什么行为。

然后进入部署阶段，用户提供一小批未经标注的人类第一视角视频。此时系统不需要人手姿态标注、不需要把人手动作转换成机器人动作、不需要新增机器人演示数据、也不用修改机器人基础模型，只更新一组轻量级的“快速权重”，机器人可以在元训练能力范围内，通过目标场景中的人类示范，适应新的环境、物体配置和任务变体。

这其中，这组快速权重相当于把人类视频压缩成一块任务记忆，并将其放在了LDA-1B工作中提出的LDA世界—动作模型架构的视觉分支部分。

与普通VLA模型直接预测动作不同，WAM会同时理解当前画面是什么状态，执行动作后画面可能如何变化，为了实现这种变化，机器人应该采取什么动作。

因此，人类视频写入视觉侧记忆后，会改变模型对任务过程和未来状态的判断，进而间接引导动作生成。由于部署时基础WAM和动作模块保持冻结，该机制降低了适配新示范时破坏原有动作能力的风险。

论文共采集了2286组人类—机器人配对数据，覆盖Unitree G1人形机器人、Galbot双臂夹爪机器人、Galbot Sharpa双臂灵巧手机器人三种。

实验涉及收拾桌面、递送饮料、倒水、盖章、翻牛排和杯子堆叠等9项操作任务，并在训练环境和未见过的家庭环境中分别测试。

从效果来看，在光照、桌面高度、物体和场景同时变化的新环境中，WAM-TTT平均任务进度达到46.2%。 （需要注意，46.2%是包含部分任务步骤得分的“任务进度”，不能直接理解为完整成功率）

作为对比，原始LDA模型任务进度为32.5%， 人类—机器人联合训练为25.3%；EgoScale为15.0%；π0.5为14.8%；直接把人类视频放入上下文为7.1%。表明将人类视频写入模型的临时记忆，比直接作为上下文输入更加有效。

此外，论文也证明了使用WAM-TTT框架在保持相近效果的情况下，人类视频可以替代一部分昂贵的机器人示教数据帮助机器人以更少的真机数据和更低的训练成本适应新环境与任务变体的可能性。

在3项任务的数据实验中，使用200条机器人数据，平均任务进度为73.7%；使用100条机器人数据＋100条人类视频，平均为74.1%。

但当机器人数据减少到10条时，即使增加到190条人类视频，平均成绩也只有51.4%。说明人类视频能够降低机器人数据需求，但还不能完全取代机器人数据。

此外，WAM-TTT框架也仍然存在一些可提升的部分。

比如，基于WAM-TTT框架的机器人在部分复杂任务中仍然表现较弱。

例如新环境中的盖章只有8.3%，杯子金字塔堆叠只有10.4%，说明它距离稳定掌握精细、长链条操作还有明显差距。

另外，作者也承认，该方法依赖人类与机器人任务阶段的对齐；如果新任务与元训练数据差异过大，快速记忆还能发挥多大作用，目前没有给出明确边界。

以上，就是这篇论文的全部核心内容。

聊一聊银河通用

最后，说回这个论文的核心贡献者，银河通用这家机器人公司。

对于银河通用来说，WAM-TTT并不是一项孤立的技术尝试，而是其“数据—模型—场景”路线中的一环。

这家成立于2023年的公司，有着非常鲜明的激进和务实的特点。

首先是激进，放在今天的人形机器人赛道，银河通用是典型的“模型派”。

它希望采用类似大语言模型的思路，把机器人能力做成“基础模型”，再用少量数据适配具体任务，让同一套机器人能够在工业、商业、医疗等不同场景执行任务。

这一点，无论是今天提到的WAM-TTT框架，还是其之前推出的三款模型，GraspVLA （ 物体抓取） 、GroceryVLA（零 售场景 任务执行）和TrackVLA （ 移动） ，目的都是如此。

当然，所有的模型派都避免不了一个问题，那就是数据。

所以银河通用在合成数据的探索和使用就十分激进，其为训练机器人抓取模型就构建了一套超大规模合成数据集SynGrasp-1B。

前面提到的GraspVLA就是这套数据集的成果之一，主要用合成抓取动作数据预训练，随后在真实机器人上验证零样本抓取和少样本适配能力。

这里面当然也存在争议，即合成数据能够显著扩大训练规模，但仿真到现实的差距仍然存在。

最近普渡大学与美国 Robotics and AI Institute 团队提交的一篇论文就提到，一个完全基于合成机器人示范训练的世界—动作模型，在无需真实机器人示范的情况下，四项真机任务平均成功率为35%。这个指标远远达不到真实部署的条件。

而且，这个35%不是每个任务都达到35%。

具体是，抓香蕉50%、抓砖块50%、开抽屉20%、草莓放进碗20%。即任务稍微复杂一些，成功率就明显下降。

具体到银河通用，虽然该研究与GraspVLA在模型、机器人和任务设置上均不相同，二者不能直接横向比较，但仍然说明一些问题。

行业里也将GraspVLA的效果，普遍归纳为它聚焦的“识别物体—移动机械臂—完成抓取”任务相对明确有关，相关综述也将其能力主要归纳为适合准静态抓取场景。

甚至于，从我们的实际感受上看也是如此，在「有界UnKnown」经历的银河通用的多次现场演示中，其机器人的稳定性并未表现出明显优势。不过，由于不同演示的任务、环境和测试次数并不一致，这种观察不能替代标准化成功率评测。

当然，银河通用也有务实的一面，其务实的点在于，专注于零售和工业搬运场景。

这个场景虽然看起来没有叠衣服、做饭那么炫酷，但任务标准明确，很容易计算人工替代价值。

银河通用目前公开展示的机器人产品包括G1 Lite、G1和S1，其中G1主要面向通用操作，S1主要面向工业重载与物流搬运。

在定位上，这两款的分工大致是G1解决精细操作问题，如抓商品、拣药、分拣小型物料；S1解决工业重载问题，如搬运、上下料、转运大型物料。

现在S1已经进入宁德时代智慧产线，在电池模组和电池包生产环节承担物料转运等任务，这一直是银河通用着力宣传的。

从这些技术研究和产品布局中，可以看到银河通用相对清晰的一条路线：用合成数据扩大训练规模，用LDA提高不同类型数据的利用效率，再通过WAM-TTT降低机器人进入新环境后的适配门槛，最后将这些模型能力落到零售、工业等具体场景中。

但需要注意的是， WAM-TTT 也不是让机器人“看一遍就学会任意新任务”，而是尝试改变机器人部署后的能力适配方式：通过人类示范和轻量记忆，减少对新增真机数据和全模型微调的依赖。

这条路径仍处于早期阶段，它需要前期的人类—机器人配对数据，适配能力也受元训练范围限制，在精细操作和长链条任务上的表现仍不稳定。

而这条路线最终能否形成真正的商业壁垒，仍要看它能否在真实场景中转化为更高的成功率、更低的部署成本，以及可以持续复制的规模化能力。

* 文中配图均来自网络