让AI「摸懂」物理世界，首个触觉推理模型Touch-R1，入选NeurIPS 2026

看起来像硬质塑料，按下去却十分柔软 —— 当视觉与触觉发生冲突，人类往往会依赖触感修正视觉误区；但现有的多模态模型却常常更相信视觉，从而误判物体的真实物理属性。

图 1 研究概览：Touch-R1 在触觉推理评测基准 TouchReason-Bench 上的表现优于其他代表性多模态大语言模型（左）；Touch-R1 依据触觉证据，推翻视觉误判，将材料判断为橡胶（右）

戴盟机器人团队联合厦门大学、南京大学、大湾区大学、复旦大学提出 Touch-R1，将强化学习用于跨传感器触觉推理。论文已被 NeurIPS 2026 接收。团队同时构建 TouchReason-1M 数据集与 TouchReason-Bench 基准，支持训练及评测。

• 论文标题：Touch-R1: Reinforcing Touch Reasoning in MLLMs
• 论文地址：https://arxiv.org/abs/2605.27154
• 项目主页：https://laiyingxin2.github.io/Touch-R1/
• 代码：https://github.com/laiyingxin2/Touch-R1
• 模型：https://huggingface.co/laiyingxin/Touch-R1
• 数据集：https://huggingface.co/datasets/laiyingxin/TouchReason

作为首个触觉锚定物理 R1 模型，该研究首次将强化学习系统性地引入触觉推理模型，让模型学会依据触觉本质，实现可跨传感器的物理推理，将触觉物理认知能力从 “看起来是什么” 转变为 “实际是什么”，为建立更可靠的触觉推理提供新路径。

01｜首个触觉锚定物理推理模型，为具身智能建立物理常识

人类判断物体的物理属性，通常先看，再通过触摸确认或修正判断。这种 “感知 — 验证 — 修正” 的循环，是我们与物理世界交互的重要方式。

但当前大模型仍偏重视觉。视觉能识别物体，却难以感知硬度、粗糙度、摩擦、形变和受力，面对透明、反光、被遮挡物体时更加容易失效。测试表明，当视觉与触觉信息冲突时，GPT-4o、Gemini-2.5-Pro 等模型往往更相信 “看起来怎样”，而非 “摸起来怎样”。这样的误判可能导致机器人抓取失败、损伤物品，甚至引发安全风险。

让模型读懂触觉，有三大难点：一是触觉数据稀缺，触觉物理推理数据更少；二是软硬、粗糙等物理属性往往是序数型而非类别型；三是理解不同传感器的信号，使判断保持一致。Touch-R1 针对这三大难点，让模型学会依据触觉证据推理，修正视觉误判。触觉由此不再只是辅助信息，而成为能够改变判断的物理依据。

02｜为具身模型首创触觉数据体系，建立触觉推理的完整基础设施

研究团队首先构建了大规模、跨材料、跨传感器的触觉推理数据集 TouchReason-1M，这是为具身模型首创的触觉数据体系，同时融合多传感器视触觉数据、序数属性标签与可验证推理问答。数据集覆盖 1,000 余个日常物体和 9 大类材料，汇集 DM-Tac X、GelSight Mini、Xense 和 Tac3D 四种视触觉传感器。与之前的触觉数据集不同的是，所有物体的数据都在严格控制的标准动作和标准力下进行采集，从而可以进行不同物体的横向对比。

TouchReason-1M 聚焦于视触觉感知，该技术可为大模型触觉推理提供足够高分辨率触觉数据。然而，不同传感器的弹性体、标记点、光路与结构不同，对于同一物体的接触会有天然各异的图像表现。TouchReason-1M 没有简单拼接既有数据，而是统一接触方式：从初始接触按压至 20N，再以标准力完成六种探索动作，并同步记录原始触觉图像、形变、切向变化、深度变化及物体接触视觉图像等数据。TouchReason-1M 总共包含 14,700 条有效触觉序列和 132.3 万个同步数据对，为模型的跨传感器一致性学习建立共同物理参照。

图 3 触觉推理数据集 TouchReason-1M

在模型层，Touch-R1 采用三阶段训练：首先通过预测未来触觉帧，学习接触的动态规律；随后通过结构化问答进行监督微调，形成 “感知 - 比较 - 结论” 的推理链；最后使用面向触觉设计的 GRPO 强化学习。

Touch-R1 进一步把跨传感器触觉感知从 “物理表征对齐” 推进到 “物理属性推理一致”：模型从不同传感器的触觉图像中解析物理属性并进行判断比较，并通过跨传感器一致性奖励对判断结果进行约束，从而消解异构传感器差异，获取真实稳定的物理属性本质。同时，模型还引入序数奖励，帮助模型理解硬度、粗糙度等物理属性的程度关系；结构化格式奖励与触觉触觉输入扰动则确保模型依据触觉证据进行推理，减少仅凭视觉猜答案、“答对但没摸懂” 的捷径。

图 4 Touch-R1 三阶段训练过程

03｜将触觉作为推理证据，Touch-R1 九项性能大幅领先

为了验证模型能力，团队同步构建了触觉推理评测基准 TouchReason-Bench，通过 4,800 组问答考察模型的物理属性识别、序数推理、比较推理、跨传感器一致性及视觉 - 触觉冲突处理，并以 200 个训练阶段未见物体考察模型的泛化表现。

图5-TouchReason 问答对的构建流程概览

在该基准上，Touch-R1-7B 在物理属性识别、序数推理、跨传感器一致性等 9 项核心指标上均取得最优成绩，综合分数达 60.1，比触觉专用模型 Octopi-13B 高 18.4 分，比 GPT-4o 高约 24.7 分，比此前最强触觉模型 SToLa 高 12.6 分。

图 6-Touch-R1-7B 在多项核心指标上全面领先

Touch-R1 还展示了如何以触觉修正视觉误判：对于外观看似塑料的物体，模型能够结合触觉形变与力 - 深度曲线，识别物体的柔顺性，据此推翻视觉先验，将材料判断修正为橡胶。这体现了 Touch-R1 最重要的能力 ——模型不只是同时接收视觉和触觉，而是在证据冲突时，判断哪一种信息更值得信任。

图 7-Touch-R1-7B 问答例子

消融实验则进一步确定了 Touch-R1 架构各部分的贡献。冷启动监督微调、标准 GRPO、序数感知奖励、跨传感器物理一致性约束、结构化格式控制等，都为模型性能带来了不同程度的提升。同时，随着模型规模增大，多项指标均得到稳定提升，显示出 Touch-R1 的泛化潜能。

Touch-R1 的价值，远不止赋予模型触觉推理能力。通过数据集、模型与评测基准的完整基础设施，Touch-R1 推动触觉从辅助感知转变为具身基础模型的核心模态。同时，Touch-R1 以跨传感器一致的物理认知为基础，为触觉数据与模型能力的跨硬件迁徙奠定基础，并为材料识别、质量检测、精密装配、易碎品抓取和柔性物体操作等真实物理交互场景提供底层能力。

作者介绍

论文作者来自厦门大学、南京大学、大湾区大学、复旦大学和戴盟机器人。第一作者赖映鑫，目前为厦门大学博士生和戴盟机器人实习生；共同第一作者周亚飞，目前为大湾区大学硕士生和戴盟机器人实习生；通讯作者原玮浩，目前为南京大学副教授和戴盟机器人首席 AI 科学家。