从RDT-1B到Liber-0，两年间，基模走了多远？

机器之心发布

2024 年 10 月，机器之心曾报道过清华团队的一项基模工作：RDT-1B。

当时，还是清华在读博士生的 00 后特奖刘松铭作为一作提出了 RDT-1B，早于一个月后发布的 π0，将大规模多机器人数据预训练与 Diffusion Transformer 结合，率先把双臂机器人扩散基础模型推进到十亿参数级。

RDT-1B 展示出未见物体和场景的 Zero-shot 泛化，以及新技能的 Few-shot 学习能力，成为具身智能探索大规模预训练范式的代表性工作。

两年后，刘松铭创立的物理 AI 公司 LiberAI 发布了新一代世界动作模型 Liber-0。

变化的不只是模型架构：从百万条机器人示范，到 220 万小时人类经验；从双臂夹爪，到高自由度灵巧手；从未见物体和场景的泛化，到复杂多步骤任务的 Zero-shot 执行，研究问题正在向更第一性处推进。

视频链接：https://mp.weixin.qq.com/s/kkO9nCc2Wr8df9Eu67fgUQ

这一次，LiberAI 还公布了一份实验细节相当丰富的技术报告（https://www.liberai.com/blog/liber0/）。

除了 Zero-shot 真机测试，报告还系统研究了不同数据源的 Scaling 效率、人类示教向机器人迁移新技能的能力，以及本体形态多样性对模型性能的影响。

它试图回答的，不只是机器人今天能完成多少任务，而是一个更根本的问题：海量人类经验，能否沿着一条可验证、可扩展的 Scaling 路径，持续转化为机器人的真实操作能力？

01

GPT 随机出 60 道题

Zero-shot 开始跨越长程灵巧操作

机器人究竟有没有泛化能力，一个直接的测试方式，就是让它执行没有专门练习过的新任务。

LiberAI 这次将出题权交给了 GPT-6。

团队让 GPT-6 生成 60 项任务，按操作难度分为三个等级，每组 20 项。

第一组是 Pick-and-Place（PnP），测试基础的抓取、移动与放置能力。

第二组是 Non-PnP，涉及更复杂的物体交互，包括按压、推拉、开合、折叠等操作。

第三组则进一步升级为挑战性的多步骤长程 Non-PnP 任务，机器人需要连续协调多个灵巧动作，才能完成最终目标。

测试的关键限制是：没有针对这些目标任务采集的机器人示范训练

每项任务进行 10 次真机实验，总计 600 次。

Liber-0 最终取得了63.5%、34.0% 和 10.5% 的分组成功率，总体成功率为 36.0%

其中最值得关注的是第三组。

对机器人而言，多步骤任务远不只是动作数量的增加。每一次接触都会改变物体状态，前一个动作还要为后续操作创造条件。抓握位置、接触姿态与运动误差，都可能决定最终能否完成整个流程。

例如，在食品打包任务中，机器人需要先撑开柔软的纸袋，双手配合保持袋口，再逐一放入不同形状的物品，最后整理并折合袋口。

纸袋会随着接触不断变形，机器人必须在连续操作中调整动作，而不是简单执行一段固定轨迹。

虽然 10.5% 的成功率仍处于早期阶段，但这已经说明：在没有目标任务机器人示范的条件下，模型开始能够完整执行一些具有挑战性的长程灵巧任务。

Zero-shot 泛化正在从单一动作，向更加复杂的操作过程延伸。

团队还将 Liber-0 与 GPT-6 Astra 直接作为机器人策略的表现进行了对照。

在同一组任务中，Astra-only 的三组成功率分别为 8.3%、5.0% 和 1.7%。

实验显示，通用推理模型虽然能够理解任务与规划步骤，但直接承担精细物理操作时，仍然面临接触控制、动作精度与实时反馈等挑战。

Liber-0 已支持与 Astra 等上层 Agent 协同，由 Agent 跟踪任务状态、调整中间目标，再由 Liber-0 生成具体动作。

当通用规划能力与可泛化的物理执行能力结合，机器人自主完成未知复杂任务的技术路径，开始变得更加具体。

02

不止公开测试结果

LiberAI 还把 Zero-shot 模拟器开放给了所有人

这次发布还有一个颇有意思的设计。

除了 60 项真机 Zero-shot 评测，LiberAI 还上线了一个在线交互式模拟器：

• 模拟器链接：https://sim.liberai.work/

相比模型 API，在线模拟器的使用门槛更低。

只需通过网页上传物体图片，生成桌面场景，选择目标与移动位置，就能运行模型推理，观察 Liber-0 在仿真环境中的操作表现。

从自定义测试物体，到观察模型完成任务，整个过程都可以直接在浏览器中完成。

这意味着，模型的测试对象不再完全由开发团队预先选择。

用户可以自己上传物体，测试模型对不同形状和物体组合的适应能力。

当然，这套模拟器与前面的 60 项真机测试并不相同。官方报告说明，模拟器使用经过 100 小时仿真遥操作数据后训练的模型，主要考察物体级 Zero-shot 迁移，而非复杂长程任务的真机泛化。

但两者恰好形成互补。

一边是任务分级明确、具有量化成功率的真机 Benchmark；另一边是用户能够自定义物体、直接交互的开放测试环境。

LiberAI 还公开了的 Zero-shot 评测展示页面（https://reel.liberai.work/），提供更多真机任务表现供外界查看。

不只是展示几个成功 Demo，而是给出测试方法、量化结果和开放交互入口，让外界有机会进一步观察模型的真实能力边界。

对于一个机器人基础模型，这种可检验性本身就值得关注。

03

1 万小时手套数据

为什么能超过 200 万小时互联网视频？

如果说 Zero-shot 测试回答的是 “模型能做什么”，那么 Liber-0 技术报告中更有价值的一部分，则是对 “能力从哪里来” 的系统研究。

近年来，从 EgoScale 到 DYNA-2，越来越多研究开始使用大规模人类第一视角视频训练机器人。

人类视频拥有丰富的物体、场景和操作经验，而且天然具备规模化潜力。

但 LiberAI 提出了一个更具体的问题：

不同数据对机器人操作能力的贡献究竟有多大？尤其是精细灵巧操作，是否真的能够依靠不断增加视频规模来解决？

团队分别使用互联网人类视频、开源 Ego 数据、供应商 Ego 数据、跨本体机器人数据以及自研手套数据进行预训练，再使用相同的机器人数据进行后训练，比较它们对 PnP 和 Non-PnP 任务的贡献。

实验采用 0—100 分的平均进度分，衡量任务的整体完成程度。

结果出现在一张非常值得关注的 Scaling 曲线上。

在所比较的数据源中，手套数据展现出尤其显著的性能增长。

当手套数据规模从 1,000 小时扩展到 10,000 小时，PnP 和 Non-PnP 平均进度分分别提升 14.7 分和 13.1 分。

更令人意外的是：

1 万小时手套数据，在两类 Benchmark 上的效果均超过 200 万小时互联网人类视频。

两者数据时长相差 200 倍。

这不是说互联网视频没有价值。相反，完整 Liber-0 模型采用多种数据混合训练，整体性能明显超过任何单一数据源。

真正重要的发现是，互联网视频虽然能提供广泛的物理经验，但精细操作还需要另一类关键监督：准确的动作信息。

人类视频可以让模型观察一只手如何转动瓶盖，却未必能够准确还原每根手指的姿态、运动轨迹与接触关系。

尤其面对遮挡、视角变化和细微操作时，仅靠视频重建动作容易产生误差。

LiberAI 的解决方案，是自研 LiberSense Glove。

这套柔性手套厚度仅 0.3 毫米、重量 131 克，通过记录手部姿态和运动轨迹，配合第一视角及双腕部摄像头，同步捕捉人类看到的场景与实际执行的动作。

更重要的是，它不需要机器人在采集现场。

人可以直接佩戴手套，在厨房、办公室、商店和工业环境中完成日常操作，留下高质量的动作数据。

这些数据为缺乏精确动作标注的海量人类视频，提供了可靠的 Action Grounding。

互联网视频负责扩大物理经验的覆盖，高质量手套数据则负责让这些经验真正与可执行动作建立联系。

LiberAI 的实验也由此验证了一个关键判断：对于灵巧操作而言，具备精准动作监督的人类数据，能够展现远高于普通视频的数据效率。

04

手套不只提高性能

还能直接教会机器人新技能

如果说数据 Scaling 实验说明了手套为什么重要，那么接下来的实验，则触及了人类数据能否替代真机示范的问题。

传统机器人学习高度依赖遥操作数据。任务越复杂、灵巧手自由度越高，数据采集成本和难度通常也越大。

LiberAI 设计了一组直接的对照实验。

研究人员把机器人示范减少到原数据池的 25%，再加入手套采集的人类动作数据。

结果显示，25% 真机示范结合完整手套数据，模型表现超过使用 100% 真机示范的基线。

在这组任务和训练条件下，手套数据有效减少了对昂贵真机数据的依赖。

但更有分量的是另一组实验。

团队进一步追问：如果机器人示范中完全没有某一类技能，人类动作数据能否直接把这项技能教给机器人？

实验中，机器人示范只覆盖 PnP，不包含 Non-PnP 类型的操作。

此时，模型在 Non-PnP 任务上的平均进度分只有 2.2。

加入人类手套采集的 Non-PnP 数据后，模型表现大幅提高；进一步增加完整手套数据，Non-PnP 分数达到 54.6，已经接近使用完整机器人示范训练的 56.3。

机器人没有接受对应类别的真机示范，却能够从人类手套数据中学会新的灵巧操作技能。

需要说明，这些技能不是在所有训练数据中都从未出现，而是来自人类动作示范，而非对应的机器人示范。

这个区别恰好是实验的关键。

过去，人类视频往往被看作机器人预训练的辅助数据；而 Liber-0 的实验表明，高质量人类动作数据已经开始承担向机器人直接传递新技能的角色。

如果这一能力能够继续扩展，大量人类熟练掌握、机器人却尚未学会的操作，就有机会通过人类示范进入模型。

从依赖机器人自身积累经验，到直接从人类经验中获取新技能，机器人学习的规模化空间也由此被进一步打开。

05

从身体形态到模型 Recipe

LiberAI 的全栈 Scaling Engine 如何建立？

仅靠高质量动作数据，还不足以完成从人到机器人的迁移。

一个根本问题是：人和机器人拥有不同的身体。

不同人的手掌、手指长度与运动方式存在差异，机器人的几何结构与关节活动范围也不相同。

传统方法往往需要将人类动作重新映射到机器人身上。

LiberAI 则尝试让模型直接学习这些差异。

在 Liber-0 中，团队引入统一 Embodiment 表征，把人体几何、手部构型和机器人运动学信息作为上下文输入模型。

模型不仅学习应该完成什么动作，也学习不同身体应当如何完成相同任务。

团队还设计了一组 Morphology Scaling 实验：保持手套数据总量近似不变，只增加参与示范的人数。

结果，在仅使用手套数据训练的条件下，示范者从 1 人增加至 100 人，机器人平均进度分从 12.7 提高到 40.1。

即使不增加数据总量，仅仅提升身体形态的多样性，也能带来显著的性能增长。

这为 Embodiment 成为新的 Scaling 维度提供了实验依据。

Liber-0 采用 World Action Model 架构，通过语言、视觉、动作三个专家流及 Multimodal Attention，联合预测未来画面和动作。

预训练分为三个阶段：首先通过广泛的人类视频学习视觉预测，随后联合学习视觉与动作，最后进一步提高手套和遥操作数据的训练权重，强化精细灵巧操作。

在第三阶段结束后，模型无需额外真机后训练，PnP 和 Non-PnP 平均进度分已经达到 81.4 和 72.3；继续后训练，分别只提升 2.2 分和 1.5 分。

这说明，在报告测试范围内，相当一部分机器人操作能力已经能够在预训练阶段形成。

从数据质量、动作监督、身体多样性，到模型架构、训练 Recipe 与自研本体，LiberAI 正在把影响人类经验迁移效率的关键环节，整合为一套完整的全栈 Scaling Engine。

更重要的是，这些设计并不只停留在技术主张上，而是分别得到了对照实验的支持。

这也是此次 Liber-0 技术报告最有价值的地方：不只是公布模型效果，还尽可能解释能力的来源，以及哪些因素能够推动模型持续增长。

06

从 RDT-1B 到 Liber-0：

两年间，我们究竟走了多远？

如果把时间拉回 2024 年，再看今天的 Liber-0，会发现一些有意思的变化。

两年前，RDT-1B 尝试通过大规模机器人数据预训练与 Diffusion Transformer，让双臂机器人获得更好的泛化能力。

一年后，RDT2 开始把注意力进一步转向无本体数据。团队改进 UMI 数据采集设备，积累超过 1 万小时的人类操作数据，探索不依赖目标机器人示范的跨本体 Zero-shot 部署。

而到了 Liber-0，技术路线又向前延伸了一步。

数据来源从转向互联网规模的人类经验与高质量手套动作监督的结合；操作终端从夹爪发展为高自由度灵巧手；模型架构从 Diffusion Transformer 演进到 Mixture-of-Transformers 驱动的 World Action Model；机器人的目标，也从完成相对短程的操作，进一步延伸到复杂长程任务的零样本泛化。

从 RDT-1B 到 RDT2，再到 Liber-0，这条技术演进轨迹，某种程度上也是过去两年具身智能发展的一个缩影，核心问题始终清晰：

如何让机器人面对未见物体、未知任务和开放环境，具备更强的指令遵循、零样本泛化、灵巧操作与长程执行能力？

回头再看两年前令人兴奋的 Demo，双臂抓取、倒水和物体操作，如今已不再是行业能力的终点。

今天，大规模预训练已经开始驱动高自由度灵巧操作；机器人开始能够连续完成更复杂的多步骤任务；轻量化拟人本体、可规模部署的人类数据采集设备，以及从采集到训练的完整工程管线，也正在逐渐成熟。

这些不仅是 Liber-0 展示的能力，更是整个具身智能行业过去两年共同向前迈进的结果。

但走了很远，并不意味着已经足够远。

在开放环境中稳定完成复杂长程任务，尤其是面对柔性物体、精细接触、触觉与力觉控制时，机器人依然存在大量尚未解决的问题。

即使 Liber-0 已在挑战性长程 Zero-shot 任务中取得实际成功，10.5% 的成功率也提醒我们，距离可靠、可规模部署的通用灵巧操作，还有不小的距离。

而这条路，恐怕很难只依靠更强的通用推理大模型，直接解决真实世界中的所有精细动作控制问题。

或许正因如此，LiberAI 此次系统性披露的 Scaling 实验才显得重要。

它试图把一些长期停留在技术直觉中的判断，变成可以测量、对照和不断验证的研究问题。

而那段经过少量后训练、一镜到底完成不同订单的奶茶制作视频，也让这些研究与未来应用之间的距离，变得更加直观。

视频链接：https://mp.weixin.qq.com/s/kkO9nCc2Wr8df9Eu67fgUQ

回望来时的路，那些曾经微小的进步，最终汇聚成了今天能够被看到、被测量、被继续扩展的能力。

追寻通用物理智能的道路上，每一步扎实的技术进展，都在让机器人从理解世界，向真正参与世界更近一步。

参考链接：

Liber-0 官方技术 Blog：https://www.liberai.com/blog/liber0/

Liber-0 Zero-shot 评测：https://reel.liberai.work/

Liber-0 交互模拟器：https://sim.liberai.work/

LiberAI 官网：https://www.liberai.com/

RDT-1B 论文：https://arxiv.org/abs/2410.07864

RDT2 项目主页：https://rdt-robotics.github.io/rdt2/