Fable 5.2吃掉机器人？「手感」这块，还得靠具身原生基模来补全

编辑：陈陈、杜伟

又一次，通用大模型在机器人操作领域展现出了惊人的潜力。今天，Anthropic 最新旗舰 Fable 5.2 亮相了！

官方演示中，由该模型控制的机器人可以轻松地完成解魔方、拧瓶盖、画机器人等一系列操作任务。

另外，在公开的 RoboDojo 基准测试中，Fable 5.2 也取得了 64.9% 的成绩。Anthropic 称，这一表现不仅超过了使用相同测试框架的其他前沿模型，也超过了大多数专门为机器人控制而开发的 AI 系统。

从两个多前的 GPT-6 Astra 到现在的 Claude Fable 5.2，它们秀出的花式操作能力，让行业看到了通用大模型驱动机器人的更多可能。

但演示中的成功和仿真测试中的高分，是否就意味着机器人已经掌握了真正通用的物理操作能力？

当机器人「伸出手」，面对一个需要精细操作的任务，考验才刚刚开始。

以拧瓶盖为例，机器人手指要准确找到抓握位置，施加合适的力度，并根据瓶盖转动、指尖打滑的程度及时调整动作。几毫米的位移、细微的受力变化，都决定了一次操作能否成功。

视频链接：https://mp.weixin.qq.com/s/6u78vpxsU_QIch-8oIywog

要完成这类精细操作，机器人需要视觉、空间和触觉等多种物理模态协同工作。对此，具身智能的一条重要技术路线是从机器人本体和真实物理交互出发，构建面向物理世界的具身原生基础模型。

在国内，蚂蚁灵波正沿着这一方向推进。

团队围绕机器人的物理感知、理解和操作需求，持续构建具身原生的模型体系。今日发布的触觉基础模型 LingBot-Touch，便是这条路线在高精度灵巧操作领域的一次具体实践。

过程中，团队收集近 5000 小时的真实触觉数据， 覆盖了磁触觉、压阻式和视触觉三种不同的传感技术，让模型学习不同传感器背后共同的接触规律。这些触觉表征还能够接入不同的机器人动作模型，在不同灵巧手和真实操作任务中复用。

• 项目主页：https://technology.robbyant.com/lingbot-touch
• 技术报告：https://github.com/Robbyant/lingbot-touch/tree/main/paper
• GitHub 地址：https://github.com/Robbyant/lingbot-touch
• Hugging Face：https://huggingface.co/collections/robbyant/lingbot-touch
• 魔搭社区：https://www.modelscope.cn/collections/Robbyant/LingBot-Touch

为此，LingBot-Touch 围绕异构触觉数据预训练、统一表征学习和下游动作模型接入，构建了一套完整的技术方案。

下面从几个关键环节展开。

5000 小时真实数据

让不同机器人的「手感」可以共享

触觉看似只是感知接触，真正要将它做成通用基础模型，却远比想象中复杂。

机器人执行不同操作时，对触觉的需求并不相同。指尖捏取一颗玻璃弹珠，需要精准捕捉细微的接触位置和力度变化；手掌托举较大物体，则需要掌握不同区域的受力分布。不同操作部位、不同任务，对传感器的感知精度、覆盖范围和体积都有不同要求。

目前，触觉传感器存在多种技术路线，LingBot-Touch 本次重点覆盖了三类：视触觉、磁触觉和压阻式触觉。

视触觉通过内部摄像头观察弹性表面的形变，可以捕捉接触位置和轮廓等细节；磁触觉通过软质磁性材料形变引起的磁场变化感知接触和受力；压阻式触觉则通过材料受压后的电阻变化，测量不同位置的压力分布。

三类传感器感知的都是手指与物体接触时产生的物理变化，但底层测量原理和信号表达方式截然不同。不同设备的感测单元数量、空间布局和采样频率也存在差异。

这给触觉基础模型带来了一个难题：如何让不同传感器采集的数据能够共同参与训练？

如果针对每一种传感器分别训练专用触觉模型，一款机器人积累的经验就很难直接迁移到另一款机器人上。即使动作模型已经具备较强的操作能力，也可能因为更换传感器，就需要重新适配触觉信号的处理方式。

团队要解决的是，不同硬件、不同任务积累的触觉经验，如何转化为可以复用的基础能力。

为此，团队设计了一套多分支编码、共享主干的架构，并采用 JEPA（Joint-Embedding Predictive Architecture）思路，针对触觉信号开发了 Tactile-JEPA 训练方法。

首先要解决的是不同传感器之间的空间对齐问题。

不同触觉传感器的 Taxel（触觉感知单元）数量、排列方式和空间分辨率都不相同。如果直接将这些数据输入同一个 Transformer，模型很难知道不同传感器上的某个感知单元究竟对应手指的哪个位置。

团队因此建立了一套统一的标准化指尖几何坐标系，将不同传感器的感知单元映射到共同的三维空间中。

在此基础上，每个触觉 Token 都带有五维地址（时间窗口索引 1 维、手指编号 1 维、三维空间坐标 3 维），由时间窗口索引、手指编号和三维空间坐标组成。这样，模型处理的就不再只是某个传感器上的第几个测点，还能知道触觉响应发生的时间、所属手指及对应的物理位置。

在编码方式上，LingBot-Touch 没有强行要求三种传感器采用相同的原始信号处理方式，而是分别为压阻式、磁触觉和视触觉设计轻量级 Tokenizer，将各自的原始信号转换为统一接口下的触觉 Token。

随后，这些 Token 进入共享的 Haptic Transformer（HaT），由同一套主干网络学习不同传感器信号背后的接触规律。

这种设计保留了不同传感器的测量特点，同时让它们能够共同参与模型训练。传感器之间的差异主要由各自的编码分支处理，更高层的触觉特征则由共享主干学习。

解决了数据如何对齐的问题，接下来还要回答：模型究竟应该怎样学习触觉？

LingBot-Touch 采用 Tactile-JEPA，在潜在空间中进行特征预测。简单来说，模型首先遮挡部分触觉 Token，由 Context Encoder 处理剩余的可见信息；与此同时，Target Encoder 处理完整触觉序列，生成目标特征。随后，Predictor 根据可见信息，预测完整序列各个位置对应的潜在特征，并与目标编码器的输出进行对齐。

其中，Target Encoder 的参数通过 Context Encoder 的指数移动平均（EMA）更新，不直接参与梯度反向传播。模型同时对被遮挡位置和可见位置的预测结果进行监督。

这一设计与触觉数据本身的特点有关。

触觉数据具有很强的稀疏性，大部分时间，手指并没有与物体接触，传感器记录中存在大量接近零的背景信号。如果直接优化原始信号重建，模型可能把大量精力放在预测这些背景数据上。

潜在空间预测则让模型不必花费大量精力还原无接触背景信号，而是通过真实交互数据中的时空关联，学习与接触位置、受力大小及其动态变化相关的特征表示。

而为了训练这套模型，团队还构建了一个多源触觉数据集，累计采集 4,983 小时真实触觉数据，涵盖 464,431 个交互片段、约 13.3 亿帧。

这些数据来自压阻式、磁式和视觉触觉传感器，数据覆盖抓握、旋转、滑动、擦拭、装配、双手协同，以及易碎、易变形物体的操作，包含两种来源：

• 一是佩戴触觉手套的人类操作员生成了数据集的主体部分。
• 另一部分来自遥操作机器人，使用搭载 Sharpa Wave 灵巧手的双臂系统采集。

触觉手套采集的数据占总量的三分之二，遥操作采集的数据占三分之一。

这里有一个值得关注的思路：触觉基础模型的训练，不必完全依赖机器人本体采集数据。

人类佩戴触觉手套，就能在日常操作中积累大量接触经验。再通过机器人遥操作数据补充特定硬件上的真实交互信息，不同来源的数据就有机会共同参与基础模型训练。

这为触觉数据规模化提供了一条新路径。

26 项真机任务

验证通用触觉能否真正迁移

团队从三个层面评估 LingBot-Touch 的下游能力：触觉理解、真实环境下的机器人操作，以及仿真环境下的机器人操作。实验覆盖 Sharpa Wave 和 XHand1 两款灵巧手，其中真机操作包含 26 项任务，仿真操作包含 12 项任务。

先看模型是否真正理解了触觉

首先，团队从四个维度（接触力大小、空间几何结构、时间动态变化，以及跨模态对应关系）对 LingBot-Touch 进行冻结编码器评估，共设计了五项任务。

结果显示，仅使用 1000 小时预训练数据，LingBot-Touch 就在五项任务中表现出较强的能力。在指尖测力范围为 30 至 50 N 的情况下，模型预测接触力的误差低于 2 N；空间感知方面，接触中心定位误差达到亚毫米级，接触面积估计误差低于 2%；时间预测方面，未来接触力大小的预测误差也低于 2 N。

团队还通过可视化方式，进一步评估 LingBot-Touch 的特征表示质量。

在发生接触的阶段，不同特征点则形成平滑、延展的结构，对应触觉信号逐渐变化的过程。随着不同手指的触觉响应增强、减弱，以及受力在不同手指之间重新分配，对应的接触阶段也会沿着这些结构分布在彼此相邻的区域。

这一现象表明，LingBot-Touch 不仅能够区分接触与非接触状态，还能保留接触过程中连续变化的信息，捕捉一次交互中触觉响应随时间演化的过程。

从触觉理解到真实操作，机器人表现如何？

接下来，团队将 LingBot-Touch 接入真实机器人策略，测试这些知识能否转化为实际操作能力。

真实机器人实验覆盖 Sharpa Wave 和 XHand1 两款灵巧手。团队选择 Diffusion Policy、π0.5、LingBot-VLA 和 T-Rex 四种动作模型，将 LingBot-Touch 作为额外的触觉表示模块接入下游后训练。

两款灵巧手共完成 26 项真机操作任务，涉及物体旋转、精细抓取、易碎和易变形物体操作，以及双臂协同等场景。

实验结果显示，接入 LingBot-Touch 后，不同动作模型的操作成功率均得到明显改善。

以 Sharpa Wave 为例，π0.5 的平均成功率从 47.56% 提升至 68.58%，LingBot-VLA 从 45.60% 提升至 72.51%，T-Rex 从 44.06% 提升至 70.05%。

在 XHand1 上，π0.5 的平均成功率从 49.71% 提升至 74.17%，LingBot-VLA 从 57.21% 提升至 75.04%。

进一步来看，这种提升并不局限于某一种动作模型。无论是 Diffusion Policy、π0.5，还是 LingBot-VLA、T-Rex，同一套预训练触觉表征都可以接入不同架构的策略模型，为其提供触觉感知能力，而不必针对每种动作模型重新训练一套触觉编码器。

从真实世界迁移到仿真，触觉表征还能发挥作用吗？

团队进一步将测试环境扩展到仿真，考察预训练得到的触觉知识能否迁移到不同的物理环境，以及能否真正帮助强化学习策略学习精细操作。

如表 2 所示，在 Sharpa Wave 和 XHand1 两个平台的全部 12 项任务中，LingBot-Touch 均取得了最高的成功率和累计回报。按任务等权计算，其平均成功率达到 68.95%，高于 CNN 触觉特征方案的 45.59% 和不使用触觉输入方案的 21.42%，分别提升 23.36 和 47.53 个百分点。

在需要根据持续变化的接触状态进行协同控制的任务中，LingBot-Touch 的优势尤为明显。在 Sharpa Wave 平台上，模型在盘子旋转任务中的成功率达到 97.4%，在笔旋转任务中达到 97.1%，分别比对应任务中表现最好的基线方案高出 14.5 和 32.9 个百分点。

球体平衡任务进一步体现了高质量触觉表征的重要性。LingBot-Touch 在 Sharpa Wave 和 XHand1 上分别取得 67.7% 和 35.9% 的成功率，而两款平台上表现最好的基线方案分别为 32.4% 和 10.0%。相比之下，仅使用二值接触信号或完全不使用触觉输入的策略，在这两款平台上的任务成功率均为 0%。

这些结果表明，仅仅向机器人引入触觉观测，并不能保证操作效率和可靠性得到提升。触觉表征本身的质量，是实现性能改善的关键。

下图中的训练曲线还显示，在 Sharpa Wave 的笔旋转任务、两款灵巧手的球体平衡任务，以及 XHand1 的盲抓取任务中，LingBot-Touch 都能让强化学习策略在训练早期获得更高的累计回报。

这一训练趋势进一步说明，LingBot-Touch 提供的触觉表征降低了策略学习如何利用触觉信息的优化负担，并有助于提升策略训练的稳定性。

与已有触觉模型相比，优势在哪里？

团队还将 LingBot-Touch 与 FTP-1 进行了直接比较。

在五项触觉理解任务中，LingBot-Touch 在 Sharpa Wave 和 XHand1 两个平台上均取得更好的表现。

以接触力恢复为例，Sharpa Wave 上的平均误差从 FTP-1 的 2.31 N 降至 0.81 N，XHand1 上则从 3.72 N 降至 1.32 N。

空间感知方面的差距更加明显。Sharpa Wave 上，接触中心定位误差从 2.19 mm 降至 0.12 mm；XHand1 上则从 5.89 mm 降至 0.16 mm。

在触觉到视频检索任务中，LingBot-Touch 的 Top-5 Recall 相比 FTP-1 分别提高 56.13 和 41.13 个百分点。

团队还在五项真实机器人操作任务中，将两种触觉编码器分别接入 LingBot-VLA 进行后训练。最终，LingBot-Touch 将平均成功率从原始策略的 55.9% 提高到 82.2%，FTP-1 对应的成绩为 67.5%。

数据越多，模型还能继续变强吗？

接下来，团队考察 LingBot-Touch 的 Scaling 能力。

实验将 LingBot-Touch 的预训练数据集设置为五种不同规模，从 1000 小时逐步增加至 5000 小时，同时保持各数据来源的占比不变。

在下游触觉理解任务中，随着预训练数据从 1000 小时增加到 4000 小时，HaT-Tiny 在空间结构、时间动态、接触力大小和跨模态对应关系四个方面的理解能力均持续提升。

当数据规模增加至 5000 小时时，模型表现与 4000 小时规模下的结果基本持平。这表明，在这一数据规模下，模型容量可能开始成为限制性能进一步提升的因素。

团队随后增大模型骨干网络，将模型升级为 HaT-Small。实验发现，更大的模型在不同数据规模下都取得了进一步提升，尤其能够继续利用增加的预训练数据改善表现。这说明，触觉基础模型的 Scaling 不仅需要扩大数据规模，也需要同步提升模型容量。

真实机器人操作也呈现出类似的规模扩展趋势。

具身原生

寻找可以共享的物理规律

回到开篇那个拧瓶盖的动作。每一次接触状态、受力或滑移发生变化，机器人都要及时捕捉这些物理信息，重新判断下一步动作。

看似简单的操作，背后需要多种能力协同。空间感知模型判断物体的位置和距离，触觉模型捕捉接触与受力变化，世界模型负责学习环境如何随时间和动作发生变化，动作模型则根据这些信息生成和调整动作。

这正是蚂蚁灵波具身原生机器人通用大脑的整体设计思路。在其技术体系中，空间与触觉感知、世界建模和动作生成由各自模型提供相应能力，再通过模型间的融合与协同，支撑起从感知、预测到执行的完整链路。

这套架构也体现了蚂蚁灵波构建具身原生通用具身智能的技术思路：

尽管传感器布局、身体结构和控制方式或有不同，但不同机器人面对的物理规律有共性。基础模型需要提炼不同硬件都能利用的规律，同时为具体本体保留必要的适配空间。

LingBot-VLA 已经验证了「一脑多机」的可行性，LingBot-Touch 则把这一思路推进到更难统一的触觉模态。灵巧手更换触觉传感器，感知模型不一定需要从头训练。同样地，机器人换了本体，也不必重新建立一套触觉感知能力。

当然，这种能力复用目前不是无条件的。LingBot-Touch 的真机验证主要集中在 Sharpa Wave 和 XHand 两款灵巧手，预训练尚未覆盖电容式传感器。更多机器人形态、复杂环境和长程任务，还需要更广泛的实验。

这一探索也引出了具身基础模型走向通用化的两道关键考题：哪些规律可以在不同机器人之间共享，哪些能力又必须结合具体本体重新学习？

如果能够厘清这两者的边界，机器人就有机会减少针对不同硬件重复训练基础感知模型的成本，让更多真实交互经验在不同设备之间流动。