网易首页 > 网易号 > 正文 申请入驻

蚂蚁灵波开源触觉基础模型,让机器人的“手感”可以复用

0
分享至

撰文| 吴先之

编辑| 王 潘

近期,通用大模型在任务理解、复杂推理等能力上持续突破,机器人“大脑”走哪条技术路线,再次成为具身智能行业讨论的焦点。

Anthropic最新发布的Claude Fable 5.2,展示了控制机器人拧瓶盖、操作拼图等能力,也在机器人仿真评测中取得明显进展。通用模型向物理世界延伸的潜力,正在得到更多验证。

这也让一个问题变得更具体:当机器人已经能够理解指令、规划步骤,怎样才能把动作稳定地完成?

11月10日,蚂蚁灵波科技开源触觉基础模型LingBot-Touch,从接触感知这一环节给出了自己的答案。模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类传感原理,将不同信号转化为统一的触觉表征,供不同灵巧手和动作模型使用。

它要补上的,是机器人接触物体之后的判断:抓稳了吗,是否正在打滑,下一步该加力还是松手?

训练通用的“手感”

手感是典型的默会知识,波兰尼认为人知道的信息远比说出来的多。这类知识无法用文字传承,得在不断练习中习得,机器人要想掌握,同样需要积累经验。

LingBot-Touch的训练方法,展示了机器积累手感的过程。

学习时长上,LingBot-Touch的预训练用了4983小时真实触觉数据,46.4万段交互,约13.3亿帧,动作覆盖抓握、旋转、滑动、擦拭、装配和双手配合。

近5000小时数据囊括了三条触觉路线,包括人戴触觉手套采集的2197小时压阻式数据与1136小时磁触觉数据,以及遥操Sharpa Wave双臂灵巧手机器人的1650小时视触觉数据。

三分之二的接触数据来自真人戴手套采集,不依赖机器人本体,提供了另一条积累数据规模的增长曲线。


三类传感器有着不同的指尖大小、触点数量和排布,需要在模型侧对齐。LingBot-Touch将不同信号全部翻译为同一种语言的触觉Token,并给每个触觉Token标上时间、手指编号和三维位置,训练时再做触点密度与位置的扰动,防止模型记下某一款传感器的排布。

触觉信号是稀疏的,灵巧手伸向目标的途中、调整姿态的过程中,传感器读数接近零,只有接触瞬间才产生有效信号,绝大部分时间没有触觉信号。如果按照看到什么学什么的思路训练,很容易什么都学不会。

LingBot-Touch的做法是遮住一段记录中的部分触点,让模型根据其余触点的变化推断被遮住区域可能发生哪种接触,并放到特征空间比对,不执着于还原原始读数,训练的注意力因此集中在有接触的关键帧上。

要适配端侧的模型,尺寸不能太大,机器人手里的杯子一旦开始打滑,留给触觉计算的时间窗口转瞬即逝。考虑到这种情况LingBot-Touch提供了Tiny和Small两个版本,其中轻量化的Tiny版约530万参数,接入LingBot-VLA、π0.5和T-Rex之后,模型的参数量分别只涨0.13%、0.15%和0.16%。

参数量得到了控制,并不意味着效果打折。

真机测试搭载到高自由度的Sharpa Wave和低自由度的XHand两款灵巧手,动作模型有四款,分别是灵波自己的LingBot-VLA,以及外部的π0.5、Diffusion Policy和T-Rex。每组搭配都跑三组对照,不用触觉、直接喂原始信号、用LingBot-Touch提取触觉Token。

两款灵巧手共完成翻书、叠杯、搬运易变形杯、按软硬分拣、交接盒子等26项任务,四种动作模型的平均成功率,全部是使用LingBot-Touch这一组最高。


技术报告显示,拉合拉链的场景中,π0.5在Sharpa Wave上不用触觉的成功率为39%,直接喂原始信号跌至15%,换成LingBot-Touch的触觉Token后升到59%。

感知层的精度上,LingBot-Touch提升了定位接触中心的准确性,搭载到Sharpa Wave上的平均定位误差是0.12毫米,而作为对照的FTP-1即便配了平台专用适配器,误差高达2.19毫米。

行业迎来制式化的解法

不同硬件、不同任务积累的触觉经验难以转化为可复用的经验,是当前机器人触觉最主要的产业痛点。

面对视触觉、磁触觉、阻压式三条传感路线并行发展,量纲、触点布局、采样频率各异的情况。每个做动作模型的团队,都要依靠原始信号从零学起,每条路线都要自建采集管线、自己完成标定与标注,耗神费力训出的模型仅服务单一厂商的灵巧手,硬件一迭代后,又得推倒重来。

依赖触觉感知的精细作业,因此长期卡在低自动化水平。奥迪2026年初披露,整个汽车行业线束生产与装配的自动化比例还不到10%,一套车身线束包含多达600个连接器,从抓起柔软线束、把插头送进接口,到确认锁扣到位,几乎每一步都需要边接触、边调整。这类作业本该是触觉最能发挥作用的地方,却因为经验无法复用,成本居高不下。

过去,触觉算法要跟硬件型号逐一适配,这是定制化路径。定制化的问题,需要制式化的解法。LingBot-Touch换了条路,按传感原理适配。

编码入口对着原理设置,触点统一映射到标准化指尖坐标,训练再加布局扰动,同一原理下的新型号因此可以直接接入。

“开箱即用”在真机上得到了验证。XHand使用的磁触觉传感器型号并未出现在预训练数据中,灵波固定了LingBot-Touch的参数,仅用这只手的操作示范训练动作策略,四种动作模型的成功率全部明显提升。

LingBot-VLA在XHand上搬运易变形杯,直接读传感器信号时成功率为58%,接入LingBot-Touch提取的接触信息后成功率迅速攀升至90%。换新任务同样不必重训触觉模型,只需用少量示范数据教会动作模型即可。


把接触信号翻译成同一种语言,整个产业链都将获益。

动作模型的团队是直接的受益者,同一套Token接入π0.5、Diffusion Policy、T-Rex,换模型时不必在触觉层重复投入。灵巧手和传感器的厂商做好标定、降噪、读数校正这些器件层面的基础上,能把更多研发资源聚焦到精度与耐用性上。

通用的手感让整机厂拥有了选型自由。指尖用视触觉分辨细小接触,手掌铺压阻阵列感知大面积受力,这类混合方案从概念变得可行。对应用方同样如此,工厂与仓库选型时不必绑定某一款特定的灵巧手,可以按任务挑选最优硬件,手感不再构成换型的代价。

放到国内环境下,通用触觉模型还有特殊的价值。国内灵巧手和传感器的种类全球最多,能采到单一硬件覆盖不了的接触数据。多样性是富矿,却容易让经验碎片化。通用触觉模型让不同技术路线从泾渭分明变得可以互补短板,让每一个硬件积累的数据都能发挥更大作用。

铺开一套通用的手感,需要生态的支持。发布LingBot-Touch之前,蚂蚁具身智能生态已初具雏形,本体侧有乐聚、钛虎;场景侧与国大药房、隆盛等企业在零售分拣、物流分拣、工业场景开展商业化测试;简智科技参与共建数据体系。

代码与权重全部开源,外部团队下载即用,不采一小时数据,不训一天模型,现有的机器人搭载后就有手感。开放的同时,真实作业数据持续回流训练,用的人越多,回流的场景越杂,这是灵波全站大脑很难被复制的原因之一。

真实世界没有暂停键

开源让手感可以外溢,但决定这条路能否持续领先的,是对物理世界本身的判断。

9月,GPT-6 Astra发布后,多个研究团队将之迁移到机器人上测试。

RoboDojo的42项操作任务中,在没有经过任何专门训练的情况下,综合得分压过榜单上全部40个公开动作策略。通用大模型理解任务、规划步骤的能力,似乎已经可以直接搬进机器人。

同一批测试也暴露出通用模型的短板,需要高精度、动态控制和双手配合的任务明显吃力,在手中转动物体时,手指与手指的接触难以协调。一项仿真行走测试中,机器人走30秒要调用模型250次,每次平均近40秒,原因是计算完成前仿真需要暂停等待。

真实世界不会给任何暂停的机会,接触之后这一层,通用大模型短时间无法补位。

首先数据获取的难易度完全不一样,语言与视觉模型的数据能从互联网上获取,培育手感的数据只能到物理世界采集。其次,触觉信号变化极快,留给推理的时间窗口转瞬即逝,处理它的模型需要足够轻,才能嵌入真机回路。其三,拉合拉链案例表明,原始信号直接灌给模型会适得其反,把接触信号翻译成模型可用的信息,需要专门的数据与专业训练。

通用大模型没有补上的这一层,恰好是蚂蚁灵波发力的方向。灵波选择具身原生,目标是用一个大脑驱动不同形态的机器人,不必为每个硬件单独写程序。

现阶段先把机器人需要的关键能力拆开研究和验证,LingBot-Vision与LingBot-Depth 2.0提供视觉与空间感知,LingBot-VLA 2.0负责理解指令、生成动作,LingBot-World 2.0与LingBot-Video让机器人感知世界如何随时间变化,LingBot-VA 2.0统一世界预测与动作生成,接触之后的处理由LingBot-Touch完成。


这些模型合起来覆盖机器人工作的完整链路,完成感知、预测、执行的闭环。

从节奏上看,灵波先将视觉、深度、触觉做扎实,再进行贯通,LingBot-Touch已与VLA融合,下一步把更多模态放进同一模型对齐,逐步合成为统一的大脑。相较依赖互联网数据的通用大模型,蚂蚁灵波能在物理世界中建立起护城河。

往后某个仓库里,一台机器人捏起一只从没见过的软包装袋,指尖触碰物体所产生的判断,早已有熟练的手感。灵巧手的竞赛不会停息,但新硬件、新任务不必再从零学起。


微信号|TMTweb

公众号|光子星球

别忘了扫码关注我们!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

扬子晚报
2026-11-20 15:04:57
丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

小徐讲八卦
2026-11-20 06:39:39
APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

战友老邓
2026-11-20 12:37:32
俄副外长:俄方不接受乌克兰成为北约“准成员”

俄副外长:俄方不接受乌克兰成为北约“准成员”

界面新闻
2026-11-20 16:01:42
已全线售罄!APEC欢迎晚宴上,广州荔枝冰酒火了:一天4000瓶一抢而空,网店营业额暴增900多倍,厂家紧急加班补货

已全线售罄!APEC欢迎晚宴上,广州荔枝冰酒火了:一天4000瓶一抢而空,网店营业额暴增900多倍,厂家紧急加班补货

极目新闻
2026-11-20 15:22:02
检察机关正式受理刘海兵法官“违法行为监督案 ”

检察机关正式受理刘海兵法官“违法行为监督案 ”

宾语观世
2026-11-20 21:54:23
满仓满融死扛存储的大佬,归零了!

满仓满融死扛存储的大佬,归零了!

大财可富司机
2026-11-20 13:55:47
山东男子专挑留守妇女下手,糟蹋村中20名妇女,作案手法触目惊心

山东男子专挑留守妇女下手,糟蹋村中20名妇女,作案手法触目惊心

悬疑故事屋
2026-11-20 14:42:49
TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

手工制作阿歼
2026-11-20 16:14:33
美国下月举办G20峰会期间,是否会举行第二次中俄美三国元首会晤,外交部回应

美国下月举办G20峰会期间,是否会举行第二次中俄美三国元首会晤,外交部回应

政知新媒体
2026-11-20 15:25:01
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

潇湘晨报
2026-11-20 12:00:15
华泰证券:中国股市的估值已经具备非常明显的吸引力

华泰证券:中国股市的估值已经具备非常明显的吸引力

澎湃新闻
2026-11-20 15:09:41
美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

红星新闻
2026-11-20 15:33:23
西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

都市快报橙柿互动
2026-11-20 09:37:46
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
高市见了普京

高市见了普京

周边问题研究所
2026-11-20 13:12:01
今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

小羽叨叨叨
2026-11-20 14:53:15
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
一次性补缴10万元,每月领1433元,成都养老补缴爆了

一次性补缴10万元,每月领1433元,成都养老补缴爆了

数字财经智库
2026-11-20 09:36:50
2026-11-20 22:55:00
光子星球 incentive-icons
光子星球
细微之处,看见未来!
1702文章数 2159关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
亲子
健康
数码
公开课

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

亲子要闻

女孩的快乐是爸爸最大的创新动力!

医生眼里"很伤腰"的椅子,很多人天天坐

数码要闻

影石Mic Pro、Wave两款麦克风获升级,可原生接入腾讯WorkBuddy

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版