网易首页 > 网易号 > 正文 申请入驻

让触觉像视觉一样可规模化,哥大李昀烛团队 FlexiTac 的开源实践 | IROS 2026

0
分享至


FlexiTac压阻式传感器可兼顾柔性、低成本与一致性。

作者丨向欣

编辑丨岑峰

机器人的视觉能力正快速增强,但触觉仍然是具身智能系统中的薄弱环节。尤其是在精细操作场景中,当物体被遮挡、透明、易碎,或需要精确判断接触力与手内姿态时,仅靠视觉往往难以确认机器人是否真正抓稳了物体、是否发生了滑移,也难以实现可靠的力控与顺从交互。与图像领域已经形成相对统一的传感器和数据体系相比,触觉研究尚未形成类似的「收敛」。不同实验室往往使用不同类型的触觉传感器,但它们都面临寿命、柔性、多维信息感知、分辨率、成本与一致性难以同时兼顾的困境。这使得触觉数据采集、算法研究以及不同系统之间的复现都变得更加困难。如何让触觉像视觉一样,成为一种可以被更多机器人使用、被大量采集、被算法反复利用的基础感知能力?针对这个问题,哥伦比亚大学李昀烛团队提出了开源柔性压阻式触觉传感器平台FlexiTac。在本届 IROS 2026 的触觉专题研讨会上,李昀烛系统介绍了这一平台开源一年半后的进展与生态。FlexiTac 是一套低成本、开源、可扩展的压阻式柔性触觉传感器,团队同时开源了完整 BOM、详细组装说明以及用于读取触觉数据的软件。FlexiTac 采用 FPC 与力敏薄膜层叠结构,组装仅需 3 分钟,可弯曲、裁剪并包裹于不同几何表面,适配手套、指尖或机器人皮肤等多种形态。其核心优势在于成本低、制作简单、高度柔性与可扩展、以及较好的长期稳定性和批次一致性,感知机制也足够简单,易于用弹簧-阻尼系统实现高保真仿真。其技术栈可集成进主流的机器人学习框架中,门槛低到拥有即使是本科生,只要拥有一台可打印 SO-100 机械臂的 3D 打印机,也能轻松把触觉传感器装上机器人。李昀烛提到,开源约一年半以来,FlexiTac 已在学术界与工业界获得广泛采用,衍生出多模态策略、可变形世界模型、四足移动-操纵、VLA 触觉反馈等多方向工作,他们与普渡大学合作的多指灵巧操纵工作 VTAP Gripper 还入围了本次 IROS 最佳论文奖。Analog Devices(ADI)正在推进其商业化版本,该版本触觉分辨率达到人类手指的五倍,基于半导体制造工艺量产。以下为李昀烛在 IROS 2026 演讲的精编稿,AI科技评论基于原英文内容进行了不改原意的翻译编辑:

01


3 分钟组装、本科生可用
为了让传感器易于生产、成本低廉,我们最新的版本制造成本其实已经非常低,具体多低,取决于你同一批次生产多少片。准备好所有物料后,你只需要花 3 分钟就可以把传感器装配完成,传感器随即就能投入工作。我们这套方案是完全开源的:完整的物料清单,还有非常详尽的分步装配说明,同时也配套了可以读取、传输传感数据的对应软件。除了传感器和配套软件本身,我们也还把这套软硬件技术栈集成到非常流行的机器人学习框架 LeRobot 里。这样一来,任何人,哪怕只是本科生,只要手头有能够打印出低成本 SO-100 机械臂的 3D 打印机、都可以轻松地把我们的触觉传感器集成进去,然后开展相关研究,探索触觉感知如何帮助机器人理解手内物体状态,完成复杂操作任务。在我们开源这套传感器大约一年半之后,我们欣喜地看到,这项技术已经在学术界与工业界得到广泛应用。更让我们振奋的是,大家正在沿着不同方向继续推进、拓展整个生态:如何制造更好、能力更强的硬件;如何基于我们的触觉传感器构建更好的感知、学习和推理系统;以及如何设计真正包含触觉的大规模数据采集流程。我们也在与亚德诺半导体(Analog Devices,ADI)展开合作,由他们开发这款传感器的商业化版本。 他们已经在多场会议上演示了商业化样机,其中就包括 GTC 大会,演示内容是一些很有代表性的机器人操作任务。大家可以访问我们的项目网站,查阅硬件、软件方向的各类学术与产业应用成果。


02


核心优势:可扩展、柔性、一致性
但话说回来,我们这款传感器只是众多触觉传感方案的其中一种方案。触觉领域常常被诟病的一个问题是,整个领域至今未形成统一标准。和发展成熟的计算机视觉不一样,不同实验室往往采用完全自研、互不兼容的触觉传感器。所以,我们的传感器有几个比较重要的优势。第一是可扩展性。它既可以做成大面积,也可以做成小尺寸。第二是柔性。它就像一张纸,可以弯折、裁剪,还可以包覆在各种异形曲面结构上。第三是高度可定制化。我们内部已经完成原型验证,可以把传感器定制成触觉手套、指尖传感器、机器人皮肤等多种形态。另一项优势是一致性和鲁棒性,可以从两个维度来看。第一个维度是时间维度:信号会不会随时间发生漂移,即长期的稳定性。这里举一个实例:我的学生 Binghao 主导了很多相关工作,他 2024 年夏天在实习期间,为录制视频制作了四块传感器。 时隔一年半之后,直接使用这套传感器,用一年前采集的数据训练出来的模型依然可以正常工作。第二个维度是不同批次制备之间的一致性:不同批次加工出来的传感器,输出信号能否保持一致。这是很多触觉传感器的痛点,尤其是结构中包含橡胶材料的传感器;而我们这款传感器在这一点上表现出不错的一致性。我们也正和亚德诺半导体合作,探索如何规模化生产这类传感器。

03


优异的仿真适配能力
我们触觉传感器的另一个关键优势是仿真适配性。我们可以很方便地把这款触觉传感器接入仿真环境,借助仿真做规模化算法迭代。下面我要介绍的后续工作正是基于这一点。因为传感机制简单,仿真实现只需要构建一个简单的弹簧‑阻尼系统,只需要标定 3 个超参数。左边是真实物理交互场景,后方屏幕可以看到触觉信号的实时可视化;右边是仿真环境,运行完全相同的策略,执行相同任务。不仅状态演化过程高度吻合,仿真端屏幕输出的触觉信号也和真实信号匹配度很高。当然,你可能会说,这只是定性结果。那么定量结果表现如何?我们的做法是,先在真实环境中采集一批随机交互数据,然后把真实环境里的交互动作在仿真环境中复现回放。然后,我们分别收集真实环境和仿真环境得到的全部触觉数据,并绘制成直方图。标定工作的核心目标就是对齐这两组直方图,而二者实际对齐效果非常理想这和计算机视觉里白平衡校准是相通的思路。这里我想特别强调一点:仿真与真实对齐得越精确,你在仿真中需要做的随机化就越少,sim-to-real 的迁移也会越精准。所以,在仿真环境中,我们可以进行大规模随机化,然后把训练出来的策略迁移回真实环境。同样的框架也可以应用到不同本体的机器人上。我们在实验室的双臂装配任务中进行了验证,也在英伟达的人形机器人上使用了同样的 sim-to-real 迁移框架,让机器人完成类似的任务。

04


真实数据规模化:给 UMI 补上缺失的触觉
接下来,我想讲的是如何实现真实世界数据的规模化采集。很多人应该都熟悉 UMI 这套手持遥操作设备,它被用于野外场景的数据采集。用过 UMI 夹持器的人应该会注意到:设备内部的机械弹簧会给人类操作者提供触觉反馈,但原版 UMI 的设计只会记录精准的位姿跟踪信息,并不会存储这套触觉反馈。接入我们的触觉传感器恰好补上了这一短板。它可以间接把人类操作者感受到的触觉反馈,记录为传感器输出的触觉信号。借助这套改造后的手持设备,我们可以到各类不同场景完成大规模数据采集。采集到的数据可以同时包含视觉和触觉信息,而且两者是时间同步的。去过哥伦比亚大学校园的同学或许能认出其中部分场景。我们拿到视觉‑触觉配对的同步数据之后,可以用来做预训练,也有人称之为中间训练,取决于工作流的定义。之后,我们还可以继续采集遥操作数据,用于机器人策略的后续微调训练。这个案例是一项实验室自动化任务:机器人需要对试管做姿态重定向,过程中会有人为施加外部扰动。机器人必须持续调整试管姿态,才能够完成插入操作。 右侧是策略模型的输入,包含腕部相机图像以及触觉传感信号。经常有人提出一个问题:既然已经有腕部相机,我们还需要触觉吗?腕部相机的信息难道还不够用吗? 这个任务就是很好的反例。如果试管是透明物体,仅依靠腕部相机,很难精确判断试管的姿态与位置;但下方的触觉信息就可以对机器人手内物体的状态做出精准估计。除此之外,我们还完成了很多其他任务:比如铅笔在手内姿态调整、把铅笔插入卷笔刀;还有需要精准力控的任务:控制夹持器张开吸取液体,但又不能张得过大导致玻璃器皿脱落;还有经典的恒力控制任务,比如白板擦拭。以上就是我们目前一直在做的诸多工作。我们从一套已经发展数十年的简易传感机理出发,尽最大努力把这套传感器推广给更多研究者,我们把这件事情称为「让触觉感知大众化」。我们在努力地推进这件事情,看到这套传感方案被广泛采用,也由衷感到高兴。而在 AI 的世界里,我们也一直在思考如何通过仿真、真实物理环境两条路径,把触觉感知的规模进一步做大。而这一切仅仅只是开始。在此基础之上,我们实验室还在推进多条技术路线。其中一项工作是与普渡大学的合作者共同完成的。我们不再只使用单一类型触觉传感器,而是把不同类型的触觉传感器结合起来,包括我们实验室的压阻式传感器,以及基于视觉的触觉传感器,并把它们集成到多指夹爪中,实现高灵巧度操作任务。这篇论文会在本次 IROS 上进行报告,同时也是最佳论文奖的入围作品之一。如果各位对该方向感兴趣,欢迎和我们交流。我们实验室另一项重要工作围绕世界模型展开。如大家所料,我们也在探索如何将触觉感知融入世界模型。大家现在看到的是基于动作条件的交互式 3D 视频预测,全程没有用到物理仿真,全部由真实数据训练得到。 这套模型可以输出帧率 15fps、同时包含视觉点云与触觉点云的预测结果。仔细看指尖部分可以发现:在三维空间中,触觉点云可以和物体底层几何结构实现很好的对齐。 模型还可以识别滑移:当两件物体对位不够好时,可以检测到滑移现象;当试管和支座对位精准,就可以完成插头插入试管的动作。触觉预测与视觉预测可以很好地协同对齐,这对于手内物体状态测量、估计这类高精度任务至关重要。我的报告到此结束,欢迎大家提问。

05


Q&A 问答环节

▎听众 A:我有一个关于触觉传感器切向力的问题。首先,你们的传感器能否测量切向力? 其次,如果本身不做切向力测量,背后是什么原因?切向力对策略的成功是否重要? 另外,在 UMI 数据集里,触觉传感器是如何生成动作标签的? 如果去掉UMI内部的机械弹簧结构柔顺机构,触觉到动作标签的映射还能否正常工作?

李昀烛:这些问题非常好。第一个问题关于剪切力:压阻材料本身并不能直接测得剪切力。 但我们发现,如果传感器的空间分辨率、时间分辨率足够高,就可以对剪切力做近似估计。 我们亚德诺半导体的合作团队正在提升传感器分辨率,我记得目标分辨率至少是现有版本的 5‑7 倍。 他们发现在传感器表层覆盖一层极薄的软材料,材料发生形变之后,就可以实现对剪切力的近似估算。 读取触觉数据的时候,即便处于静态剪切状态,你也能看到力分布发生偏移;动态剪切当然也可以捕捉。所以我们认为,在传感器设计中引入剪切力测量拥有巨大研究潜力。他们已经有两篇相关论文被 CORAL 会议接收,会在 CORAL 做报告。其中一篇专门研究如何用压阻材料检测滑移。你的第二个问题,关于把传感器集成到 UMI 夹持器: 对于触觉可以发挥巨大价值的任务,尤其是需要柔顺特性、力级推理与力控操作的场景,触觉感知会起到至关重要的作用。这也是为什么我们的传感器和 UMI 夹持器兼容性很好:夹持器的手指本身具备柔顺特性,同时内置机械弹簧,给夹持机构带来柔顺能力。 我坚信,对于现实世界绝大多数有价值的机器人任务,这种柔顺特性都是必不可少的。谢谢。(雷峰网报道)

为了方便大家抱团交流、互通会议消息,我们专门建了IROS2026参会交流群!进群你会解锁这些「福利」?

  • 会议情报站:投稿 DDL、格式规范、评审进度……关键节点第一时间送达,再也不怕错过 deadline,投稿准备稳稳的。

  • 同行茶话会:天南海北的同行都在群里,聊心得、碰思路、攒人脉,科研路上我们同行。

  • 前沿补给站:最新研究成果、热点方向实时同步,结合会议主题帮你捋清投稿脉络,给论文灵感加满油。

  • 现场后援团:(会议期间专属开启):到了会场也不用慌——

    路线导航:场馆分布、报告厅怎么走,群里随时问;

    议题共读:热门 session、Keynote 探讨,错过也能追;

    Poster 汇编:现场海报精华整理,一键收藏不遗漏;

    约局广场:约饭局、采访局、交流局……想唠嗑、想合作、想面基,群里发起就成。

? 进群传送门:扫码进群或添加微信Luyoyo_2026,备注:ECCV + 单位/学校+姓名+方向。

搞科研/搞技术,信息差很重要。

来,一起快人一步!

上车,带你看遍全球 AI 顶会精华

可独家畅览:

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
房价从上万跌到几千,胶州人早上6点接水储水

房价从上万跌到几千,胶州人早上6点接水储水

说故事的阿袭
2026-10-17 16:16:11
珠海航展出大事!中国航发近90型装备亮相,西方专家笑不出来了!

珠海航展出大事!中国航发近90型装备亮相,西方专家笑不出来了!

铁锤侃侃而谈
2026-10-16 10:09:35
章子怡秋日穿搭,颜值在线,身材爆表!

章子怡秋日穿搭,颜值在线,身材爆表!

小小一米月儿
2026-10-17 00:00:12
公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

只要高兴就好
2026-09-24 11:58:50
林丹分享与谢杏芳甜蜜合照,儿子为他煮面,平凡幸福最珍贵

林丹分享与谢杏芳甜蜜合照,儿子为他煮面,平凡幸福最珍贵

米修体育
2026-10-17 19:22:01
李泽新、宁格夫妇,捐1亿

李泽新、宁格夫妇,捐1亿

新京报政事儿
2026-10-15 16:26:03
上海徐浦大桥发生惨烈车祸,变道致多车相撞有死伤!监控画面曝出

上海徐浦大桥发生惨烈车祸,变道致多车相撞有死伤!监控画面曝出

胡侃社会百态
2026-10-17 18:38:26
电梯大局已定:不出意外,老旧小区电梯改造,可能会遇到三大难题

电梯大局已定:不出意外,老旧小区电梯改造,可能会遇到三大难题

兴趣知识
2026-10-15 00:49:54
WTT香港总决赛:彻底乱套了!女队5人大杀四方,男队一个没捞着?

WTT香港总决赛:彻底乱套了!女队5人大杀四方,男队一个没捞着?

艳姐的搞笑视频
2026-10-17 15:21:42
不查不知道,坐拥北京山庄,有4个孙子孙女的陈佩斯,私下有多壕

不查不知道,坐拥北京山庄,有4个孙子孙女的陈佩斯,私下有多壕

仙味少女心
2026-10-13 01:54:48
4200万人断缴社保,网上吵翻了。

4200万人断缴社保,网上吵翻了。

流苏晚晴
2026-10-16 19:20:36
调查发现:起床后马上喝水的高血糖人,用不多久,身体会有 7 改变

调查发现:起床后马上喝水的高血糖人,用不多久,身体会有 7 改变

医路平安
2026-10-16 20:23:51
小S称二女儿很“可恶”:“可恶的不是她长得漂亮,可恶的是别人一直说她是林志玲的女儿”

小S称二女儿很“可恶”:“可恶的不是她长得漂亮,可恶的是别人一直说她是林志玲的女儿”

韩小娱
2026-10-16 06:55:32
差2分榜首大战!无罚分真实实力出炉,中超原本有多热闹?

差2分榜首大战!无罚分真实实力出炉,中超原本有多热闹?

无月可归辛
2026-10-17 19:17:24
懂车帝大量删视频,彻底玩砸了!

懂车帝大量删视频,彻底玩砸了!

财经三分钟pro
2026-10-16 19:36:13
上了大学才懂:最值钱的人脉不是室友同学,而是大学老师

上了大学才懂:最值钱的人脉不是室友同学,而是大学老师

户外阿毽
2026-10-17 04:04:06
田曦薇的《嫁金钗》危险?竟遇到两位高质量剧,直接对打?

田曦薇的《嫁金钗》危险?竟遇到两位高质量剧,直接对打?

楚楚号
2026-10-17 07:15:41
台湾立院人事洗牌!蓝绿白席次完全不变,韩国瑜掌立院有啥用?

台湾立院人事洗牌!蓝绿白席次完全不变,韩国瑜掌立院有啥用?

莉莉和奶奶
2026-10-16 20:46:59
哈兰德加盟曼城至今英超打进119球,同期第二名仅为73球

哈兰德加盟曼城至今英超打进119球,同期第二名仅为73球

懂球帝
2026-10-17 23:05:55
陈芋汐宣布冲击洛杉矶奥运会!19岁全红婵恢复训练 未来仍不确定

陈芋汐宣布冲击洛杉矶奥运会!19岁全红婵恢复训练 未来仍不确定

念洲
2026-10-17 08:57:45
2026-10-18 06:19:00
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71310文章数 656260关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

普京:包围并消灭2000人的乌军集群 这非比寻常

头条要闻

普京:包围并消灭2000人的乌军集群 这非比寻常

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

数码
旅游
艺术
本地
手机

数码要闻

超七成笔记本OLED被三星拿捏!中国面板厂开始反击了

旅游要闻

打造移动旅游驿站 满足不同群体需求

艺术要闻

美到窒息!黛安笔下的午后“印象”,明媚又温柔,看完心情都亮了!

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

手机要闻

消息称三星计划开发全新Galaxy OS系统,预计于2028年随Galaxy S28系列手机亮相

无障碍浏览 进入关怀版