机器人会叠衣服，为什么学不会转笔？北大团队用一只手套找到了答案

如今，各式各样的灵巧手演示层出不穷，但普遍集中在叠衣服、抓握杯子等相对简单的任务。而网络流传的操作视频中，很多片段都经过加速处理，一旦去掉倍速，机器手的动作看起来就显得笨拙且僵硬。

作为具身智能模仿的对象，人手的精巧程度却远高于此。以转笔为例，一个熟练的旋转动作可在半秒之内完成：拇指、食指、中指协同发力，把笔弹起、翻转，再接住。这类动作中充满急起急停的瞬态，频谱分析显示，其角速度信号在 100Hz 以上的频段依然携带着可观的能量。类似的高频调整还出现在接球、拧瓶盖、系鞋带、握筷子等日常动作中。

机器人为何一直难以复现这些精细的高速动作？北京大学心理与认知科学学院、人工智能研究院助理教授朱毅鑫研究了近十年的数据手套和灵巧手，他向 DeepTech 直言，业界实际上一直没有回答清楚一个基础问题：究竟什么是灵巧？

与人手形似、能伸直弯曲、有五根手指就是灵巧吗？朱毅鑫并不这么认为，在他看来，对外界刺激的响应速度同样是灵巧的核心维度。目前行业做不到这一点，根本短板源于当前低频的数据采集技术：想教会机器人“灵巧”，必须先看清人手。

机器人学习依赖高保真人手示范数据，但现有可穿戴采集设备的采样率极少超过每秒 200 次（200Hz），多数集中在几十赫兹到 200Hz。即便按 200Hz 的上限计算，根据奈奎斯特–香农采样定理，理论上也只能还原 100Hz 以下的运动细节，无法捕捉更高频的动作信息。

为解决这一痛点，近日，朱毅鑫与北京大学人工智能研究院、集成电路学院助理教授唐希源合作研发出一款名为 T-800 的数据手套，命名灵感来自《终结者》电影，也代表设备高达 800Hz 的采集频率。

相关成果近日发表于工业和信息化部主管，哈尔滨工业大学与 Wiley 合作出版的《智能机器人（英文）》（SmartBot）。北京大学人工智能研究院、集成电路学院博士生罗昊洋和北京大学人工智能研究院、心理与认知科学学院博士生赵秭杭为共同第一作者。

（来源：SmartBot）

看清人手的高频细节

T-800 是一只戴在手上、能实时输出手部姿态的柔性手套，沿手背、手掌和每根手指分布了 17 个微型惯性测量单元（IMU，核心为能感知旋转与加速度的六轴芯片），加上腕部枢纽内自带的 1 个参考 IMU，共 18 个，覆盖从手腕到指尖的全部关节。

这 18 个 IMU 各自以每秒 800 次的标称速率异步采样，再由主机端对齐到一张严格同步的 800Hz 时间网格上。所有电池、主控芯片、天线都集中在手腕上的一个小盒子里，通过五条柔性印刷电路（FPC）与手上的传感器相连，最大限度减少手指负担。

要在这么小的体积里做到 800Hz 的全手同步，团队需要同时解决两个关键问题：单个传感器要“测得准”，18 个传感器要“对得齐”。

单个传感器的准度受手部力学影响：手指弯曲时皮肤拉伸、织物滑动；抓握物体时，手套布料的拉力和指骨的反作用力直接挤压 IMU 芯片，影响测量精度。在800Hz 的高频采样中，这会导致数据被严重干扰。

对此，团队借鉴了模拟电路中原本用于隔绝电磁干扰的屏蔽罩结构：把金属顶盖和金属底板夹在 IMU 芯片外，做成“三明治”形态。织物的拉扯力和手指的反作用力由刚性外壳承担，外壳同时会产生足够摩擦，让整个模组紧贴指骨不打滑。用这种方法做出的每个模组尺寸只有 9.8 毫米长、6.8 毫米宽、2.2 毫米厚，比小拇指指甲盖还小。

18 个传感器的时间对齐也是大问题。每个 IMU 芯片内置独立的振荡器作为时钟源，在制造工艺差异和温度波动下，各芯片的频率会出现微小偏差，在使用中逐渐累积成毫秒级漂移，影响采样效果。

面对这一困扰，团队把主控芯片 ESP32-S3 的硬件外设重新编程为硬件级广播模式，让一条锁存时间戳的命令通过硬件信号线同时到达所有 IMU。这些同步事件的周期性重复会产生一连串“时间锚点”，主机端据此动态补偿每个时钟的漂移，以此精确对齐 18 路异步数据流。

赵秭杭向 DeepTech 介绍了这一方案的详细开发过程。前期准备阶段，团队就在 800Hz 采样条件下发现了明显的运动不同步现象。传统方案要么完全不同步、要么只在开机时校准一次，都无法应对连续采集下持续发生的漂移。

罗昊洋补充道，“我们根据芯片内部可能的实现方式推测，主控芯片的硬件外设可以支持超出设计文档描述范围的功能。”基于此，团队对芯片进行了“超出标准库功能的配置”：他们借鉴在多传感器通信中处理输入/输出（I/O）矩阵的经验，对 ESP32-S3 的 I/O 矩阵进行重新编程，实现了硬件级广播模式。

这一尝试还带来了额外收获：由于温度变化也会影响振荡器频率，而广播机制在校准时钟的同时顺带补偿了温度漂移。唐希源表示，他们在设计时就预见到了这一点，但“实际效果比预想的更好“。

对比实验中，团队让受试者连续进行 140 秒的快速翻手动作，以此验证广播同步方案的效果。结果显示，如果用此前的单次校准方案，传感器偏差会随时间推移越来越大，重建的翻手动作逐渐变形；换成广播同步后，误差被稳定控制在极小范围内。

团队告诉 DeepTech，从完成 800Hz 通信的第一版原型到最终发布版本，手套一共迭代了三次，为了进一步打磨细节，确保稳定性、压缩体积，每次都要重画电路图，替换相当一部分元件。罗昊洋笑称，“做硬件就是这样，很多事情没办法提前预估，不真正做出来、跑一遍，永远都不知道哪里会出问题。“

有了这套系统，团队终于可以回答一个更本质的科学问题：人手快速操作里到底有没有 100Hz 以上的运动？

他们通过转笔和接球两类任务验证了这一点。

当问及为何不演示叠衣服等常用操作时，朱毅鑫的回答很直接：叠衣服对精度要求不高，“但转笔属于‘手内操作’，要求手指之间高速协同、精确改变物体的位置，可以更直观地展示灵巧性”。赵秭杭补充道，不选抓握类任务的原因也是如此，抓稳之后，物体和手的相对位置并不会发生太大变化，也就不需要手部高频动作。

频谱分析显示，单向转笔中，参与操作的拇指、食指和中指在 100Hz 以上频段出现了明显的能量爆发；双向转笔涉及急停和反向加速，高频能量更强。

为确保高频信号并非来自传感器噪声或结构共振，团队专门设计了四指转笔实验：只用食指、中指、无名指和小拇指转物体，拇指完全不参与。结果显示，四根手指和手掌上的高频信号显著活跃，而拇指与前臂则并未检测到类似信号，排除了这一假设。

在接球实验中，受试者需要佩戴手套接住一个较重的软球。在撞击瞬间，整只手都出现了同步的高频能量响应，反映出全手协同的冲击吸收效应，进一步确认了人手灵巧操作的确存在以往采样率无法覆盖的高频细节。

采到的数据能否真正为机器人所用？团队用一套运动重定向算法，把 T-800 记录的人手动作映射到三款结构差异很大的机械手上：24 自由度的 Shadow Hand、16 自由度的 Allegro Hand 和 16 自由度的 Leap Hand，指尖位置的均方根误差分别为 8.3 毫米、1.0 毫米和 0.6 毫米。有意思的是，外形最接近人手的 Shadow Hand 误差反而最大，原因是它结构紧凑，单个自由度的活动范围受限。

值得一提的是，追求采集高精度数据和手套对精细动作的干扰之间存在矛盾。赵秭杭坦言，受试者确实表示有异物感、成功率也比赤手低一些。但这也促使团队将“做轻、做薄”视为设计目标，最终呈现的结果是，T-800 只有一层布料，比 Metagloves Pro 等商用数据手套更薄，保留了更多触觉反馈。

不过，T-800 当前还存在一些技术局限。为将传感器牢牢固定在手上，团队通过弹性环和比手指略小的指尖套内径，将模组压在指骨对应位置。但这也让手套必须根据使用者的手部尺寸做定制；此外，在量产应用之前，还需提升系统稳定性。

只为探索更好的“类人建模”

让我们回到 T-800 的设计初衷：采集更精细的高频数据，这直接指向具身智能领域三类操作数据源之一的真实人类示范采集，另外两类则是仿真环境合成数据和世界模型直接生成动作。

其中，真实采集数据质量最高，但最难获取，且人手信号很难迁移至结构不同的机器人形态。仿真数据的获取性居中，但精细操作的仿真“很难做好”；世界模型生成数据的想象空间最大，但目前的生成结果并不理想。朱毅鑫告诉我们：“三条技术路线各有特点，市场还没有完全告诉大家哪条是最正确的。”

当然，灵巧操作数据的稀缺并不是具身智能唯一的掣肘因素。朱毅鑫表示，从数据采集精度、灵巧手本体的自由度、稳定性和发热问题，再到把人手数据映射到机器手的训练算法，“每个环节都没有大家想象的那么好”。在他看来，灵巧手的发展必须通过软硬件协同迭代来进行，二者缺一不可。

一个正在改善的外部条件是国内供应链：三年前，想在实验室做一个微型电机都很困难，现在已经有厂家能提供现成产品。人形机器人热潮尚未完全转化为生产力，但已经带动了上下游元器件的成熟。

对 T-800 的具体应用场景，唐希源判断，T-800 现阶段更适合科研用途；如果未来高速运动捕捉成为具有明确需求和广泛使用场景的任务，再转向面向消费或产业端的商业产品。

朱毅鑫反而不看好当下最热门的具身智能：“目前很多灵巧操作需求其实是伪命题”。近期，团队接触的合作主要来自影视和游戏公司。以 2024 年爆火的《黑神话：悟空》为例，游戏中有个弹琵琶的场景，这一动作节奏极快，现有的动作捕捉设备很难精确还原，而这恰好是 T-800 擅长做到的事。团队透露，已经与一些公司接洽定制化数据采集的方案。

研究人员下一步计划在 T-800 的基础上进一步集成触觉等多种传感器，将其扩展为多模态数据采集平台。另外，由于市面上的灵巧手在不同维度上存在明显缺陷，团队还在同步自研基于新架构的直驱灵巧手。

2019 年，团队用自研数据手套采集了人手打开儿童安全药瓶的操作数据，用来训练机器人，发表于《科学-机器人》（Science Robotics）；2025 年，赵秭杭作为第一作者完成的全手触觉工作 F-TAC Hand 发表于《自然-机器智能》（Nature Machine Intelligence），并被《科学-机器人》（Science Robotics）以编辑评论（Editors' Comments）形式评述。

（来源：朱毅鑫）

从数据手套到触觉传感、再到未来推出的自研灵巧手，朱毅鑫的研究跨度看似很大，但追溯到最底层，根源问题只有一个：做好类人建模（human-like modeling）。理解人的感知与行为，再教机器复现。

在这条路线上，他们做出一款高频数据采集手套，也完成了一次对“什么是灵巧”的追问，机器人距离更像人的目标，由此更近了一步。

参考内容：

https://onlinelibrary.wiley.com/doi/10.1002/smb2.70045

https://www.nature.com/articles/s42256-025-01053-3

https://www.science.org/doi/10.1126/scirobotics.aay4663

运营/排版：何晨龙

注：封面/首图由 AI 辅助生成