大模型都能控机器人，Human Data还得怎么卷？

田晏林 发自 凹非寺
量子位 | 公众号 QbitAI

连AI都开始琢磨怎么自己教自己了，机器人却还在为学习人类动作狂补课？！

现在AI圈里，Agent、Coding Agent、RSI（递归自我改进）这些概念，一个比一个热闹。

具身智能的朋友却倍感压力，甚至隐隐有了种「快被通用大模型打趴下」的焦虑。

前几天，Claude还发文说，Fable 5.2在未针对特定任务进行专门训练的情况下，展现出了控制物理机器人的能力。

紧接着，Google DeepMind又拿出新一代VLA模型，号称迄今为止能力最强。

轰轰烈烈的技术竞赛背后，厂商争夺的焦点已经指向了底层——数据。

当前，业内公认的高效解法是采集真实的人类操作数据（Human Data），用海量现实交互喂出通用机器人。

主意不错，等真上手会发现，哪有那么容易！

视频拍下了操作过程，手指一被遮挡，细微动作就可能看不清；即使动作拍全了，什么时候发生接触、用了多大力，光靠画面还是难判断。

给人手装上传感器吧，设备又可能影响自然操作，材料形变、信号干扰还会让触觉数据跑偏。

更别说，一项任务从走近目标、调整身体到完成操作，前后还有一整套动作需要记录。

合着Human Data库库一顿猛采，结果决定操作成败的关键信息，却漏掉不少。（cry）

11月9日，在2026 CoRL（机器人学习会议）上，简智机器人发布了DAS 2.0旗下两款新品，打算从底层硬件与系统上找解法。

一款是第一视角头戴式多模态数据采集设备DAS Ego 2.0，另一款是灵巧手数据采集手套DAS Dex 2.0。

再加上目前不少前沿AI实验室都关注的Ego+Wrist Camera（腕部相机）双视角采集方案，补上第一视角容易遗漏的手部细节。

这下，人类那些容易被忽略的「小动作」，也有机会被机器人逐帧研究了。

Human Data，也该进化了

说起来，Human Data还真不是架个摄像头，把人类干活的过程录下来就完事了。

同样是一段人类操作，记录了哪些信息，机器人最后能学到的本事，可能差得很远。

而且，不同任务需要的数据，还真不一样。

有的需要看清完整的操作过程，有的得盯着手指那点细微动作，还有的，光看视频根本不够，得把真实接触也测出来。

但总不能为了把数据采全，恨不得给每个采集员都穿上一身装备吧？

简智的办法，是让不同的采集设备各有所长，还能配合着干。

有的负责看全局，有的专门盯手部细节，有的测量真实接触。需要联合采集时，这些训练信号还能在时间和空间上对齐。

目前，其Gen DAS数据采集体系主要提供三种配置。

Ego负责第一视角，记录人类操作时的环境、动作和任务过程，包括不同场景、操作习惯，甚至操作失败后的调整。

如果嫌头上的摄像头离手太远，还可以在Ego基础上增加一个Wrist Camera，相当于给手部操作开了个「专属机位」。

头戴相机看得见人伸手去拿零件，手掌一挡，却未必能看清零件怎么对准、手指又做了哪些细微调整。

腕部相机离操作区域更近，能持续记录手与物体之间的相对运动、接近方向，以及画面中可见的局部形变。

配合相机标定和轨迹重建，还能把不同视角记录的动作对应起来。

再往下，碰上需要精确测量手指动作和真实接触的任务，就得请出Dex数据手套了。

Ego+Dex的组合，能直接记录关节运动和触觉信息，给视觉难以判断的物理接触补上实测依据。

三种配置，分别覆盖任务背景、局部动作和原生物理测量。需要什么信息，就搭配相应的设备。

而在这套体系中，简智首先升级的是机器人的「眼睛」。

DAS Ego 2.0这次最直观的变化，就是摄像头更能打了。

整机搭载6颗全局快门摄像头，支持30fps同步成像，水平视野扩大到了340°。

340°什么概念？

水平方向接近环绕一整圈。除了身后很小一部分区域，周围大多数方向都能被镜头覆盖。

人类干活时，注意力可能集中在眼前的零件上，周围环境却也在影响下一步动作。

从货架上取下物品，转身放到另一张工作台，途中怎么移动、周围有没有障碍、目标在什么位置，都可能影响任务能否顺利完成。

视野更广，设备就有机会在同一时刻保留更多环境信息和动作线索。

机器人以后学习的，也不必只有手上那几秒钟。

除了视野，另一个大升级是摄像头像素提升。

在6颗摄像头中，2颗主相机升级至500万像素，另外4颗为200万像素，指尖追踪标称精度可达4mm。

在相同视场和拍摄距离下，从200万到500万像素，图像宽、高方向的采样密度各增加约58%。

手指、物体边缘这些细小结构，有机会获得更丰富的图像信息。

不过，模型训练又不是拍高清纪录片。新增的细节，如果没用进模型训练，也是白忙活。

怎么让这500万像素发挥作用？这里还真有两条不同的路。

第一条，改善监督标签。

画面更清晰了，算法就能更准确地定位手部关键点、重建运动轨迹，减少动作标注时的偏差。

即使模型训练时使用的是低分辨率画面，也可以受益于更可靠的动作标签。

第二条，是让模型实实在在看到更多细节。

不然，前面辛辛苦苦拍了高清视频，训练时全给压缩成小图，手指和物体之间那些关键变化，又没了。

在模型训练阶段，可以通过局部裁剪、多尺度输入等方式，尽量保留手部操作区域的关键视觉信息，让新增的像素发挥作用。

不过，训练时想用上这些细节，采集现场还得先把画面完整地留下来。

录到一半设备没电了，或者头发挡住了镜头，画质再高也白搭。

Ego 2.0支持磁吸电池包不停机更换，单包续航约2.5至3小时。

配套App能检查头部姿态、识别头发遮挡，还有一键录制、标准MCAP格式和批量后处理等功能。

单看每一项，好像都不是什么特别炫酷的技术。

可真到了几十个人、几百个人同时采数据的时候，少一次中断、少一段无效视频，采集流程就能更统一，数据质量也更有保障。

这些细微的改进，积累起来，就是实打实的效率和质量差距。

目前，Ego 2.0单季度「有效数据」交付量，已经从十万小时级提升到了百万小时级。

手指上的真实接触，怎么才能采得准？

当然，头戴设备再能打，也有自己搞不定的事。

尤其是手指碰到物体的那一刻。

拧瓶盖时有没有打滑？拿起杯子时握得够不够紧？这些藏在接触面上的变化，摄像头可未必看得见。

可具身智能圈早就发现，想把人类的真实「手感」采回来，麻烦还真不少。

首先，设备自己可别添乱。

传统外骨骼如果太厚，容易占用手指和掌面的操作空间。原本轻轻松松就能完成的捏取、抓握，戴上设备反倒变得别扭。

人手都没法自然操作，机器人学到的动作，岂不是从源头就变了味？

Dex 2.0干脆把主要外骨骼结构挪到手指侧面，让机械关节贴近人手运动轴，给指背、指腹和掌面腾出空间，减少对自然操作的干扰。

手指活动自如了，传感器还可能「乱报信号」。

手指一弯、材料一拉伸，传感器就可能产生响应。有时明明只碰了一个位置，相邻触点也跟着有反应。

好家伙，手还没碰上，传感器先激动了。这不就给模型制造了「触觉幻觉」嘛！

Dex 2.0这次换上了自研的半柔性压阻式电子皮肤，重点解决传感器容易误报的问题，尽量把材料形变、通道串扰产生的信号，和物理接触区分开。

具体到硬件上，单手配备16块触觉传感器，共980个触觉感知单元。

触觉空间分辨率达到1mm，最小检测力为0.1N，采样频率100Hz。

另外，Dex 2.0还搭载自研的「微型磁编码器」，由单手21个独立关节编码器负责记录，支持21DoF运动捕捉，指尖位置精度标称小于1mm。

手指哪里碰到了物体、接触强弱怎么变化，都有了更细的测量依据。

两个大麻烦解决了，还有一关，也挺考验设备。

做数采的朋友都知道，采几段Demo容易，连续采一个月可就不一样了。

今天测得好好的，明天同样的动作，触觉信号可能就会变样。

想让触觉真的成为机器人的学习资料，除了单次精度，还得把长期稳定性考虑进去。

Dex 2.0在已完成的一个月持续采集中，相同条件下重复动作的触觉响应保持一致。

触觉采得准、测得稳，接下来还得考虑，这些数据怎么用到机器人身上。

Dex 2.0支持无本体、遥操两种采集模式。

而这些真实触觉数据，简智还想让它们干一件更有意思的事：给视觉模型当老师。

还记得前面提到的Ego+Wrist Camera吗？

头戴相机记录整个任务，腕部相机则跟着手一起移动，盯着人手与物体之间的细微变化。

比如把零件推入卡槽。

腕部镜头能看到零件如何接近卡槽、边缘有没有发生相对位移，甚至某些可见的局部形变。

可画面里的这些变化，究竟对应着怎样的接触状态？

光靠摄像头，还真不好下判断。

简智目前正在探索Ego+Wrist Camera+Dex同步配对采集，把第一视角、腕部近景与Dex实测的关节、触觉数据对应起来。

这相当于给视觉模型准备了一份带答案的练习题。

通过相机标定、轨迹重建和多视角对齐，模型有机会学到：画面中出现哪些变化时，手指实际发生了怎样的接触。

再通过配对监督、知识蒸馏等方式，把真实触觉中学到的信息迁移到更轻量的视觉方案。

这条路线如果跑通，未来即使不佩戴Dex手套，仅凭Ego+Wrist Camera，也有机会估计是否发生接触、接触区域，以及获得像素级精度的手部追踪。

甚至还能往前探索一步：从判断「现在碰没碰到」，走向预测「接下来会发生什么」。

这有点意思哈，高精度触觉数据有机会带着低成本视觉数据一起「升级」了！

但目前，这仍是一条探索中的技术路线。

物体重量、隐藏接触等信息，未必能从画面中判断出来。模型预测的接触状态，也不能直接代替真实测量。

真实触觉能教会视觉多少「手感」，最终还得看模型训练和实际任务的表现。

从一双手，到一整套动作

手指上的功课补齐了，机器人就能学会人类干活了吗？

还差得远呢。

拿搬箱子来说，人类先走过去，找好站位，再弯腰、伸手、抓住箱子，最后起身搬走。

只记录手部操作那几秒钟，机器人可能学会了怎么抓，至于怎么靠近、后面怎么接着干，还是一头雾水。

简智这次把Wholebody（全身动作）纳入DAS数据体系，试图把这些容易遗漏的过程补回来。

具体分成三个层面：

• 策略层：记录人怎么接近目标、选择站位，以及什么时候调整观察位置。
• 协调层：记录躯干、肩臂和手部怎么配合，完成一次操作。
• 执行层：记录拿起物体之后，如何起身、转向、搬运，把前后动作连起来。

这样一来，机器人要学的，就不只有手上那几个动作了。

可人类的动作再完整，机器人也没法直接照着抄。

人形机器人、移动机械臂、固定工位上的夹爪，身体结构和运动能力差别不小。

人类能够轻松完成的动作，换到不同机器人身上，还得根据各自的运动约束重新适配。

想抄人类的作业，也得看看自己的「身板」允不允许。

这也意味着，原始数据得尽可能完整、准确。

尤其是来自不同设备的画面、关节动作和触觉信号，时间可不能对不上。

想象一下，视频里手指刚碰到物体，触觉信号却晚了一拍。

相当于模型明明拿到了「标准答案」，结果答案还对错了题。

DAS Ego 2.0和Dex 2.0虽然是两款独立设备，却能通过统一时钟、硬件触发和相机曝光控制，实现约1ms级的头手时间对齐。

1ms有多重要？

按照手部运动速度0.5m/s计算，1ms的时间错位，就对应约0.5mm的运动距离；错开10ms，则对应约5mm。

这只是时间错位带来的几何偏差，并非设备的整体定位误差。

可对于接触、旋转、松手这些快速动作来说，几毫秒的差异，就可能让画面里的动作和传感器测到的接触状态对不上。

采得再精细，时间对不齐，模型照样可能学跑偏。

目前，简智的数据产品已在Simate、自然意志、Dreamlabs、生数Vidu AI等团队的模型中得到验证。

好吧，连AI模型研发团队都下场卷数据了，具身圈的压力，只怕会越来越大。

但也别急着给谁判输赢。

从视觉、动作到真实触觉，Human Data已经越采越细。

接下来，就看谁能把这些数据真正用好，把人类的本事学到手。

通用大模型已经把题目出到这儿了，机器人们，该交卷了。