觅蜂科技新发了个4D动作重建系统，认真聊聊它是怎么工作的

如果要说一条2026年具身领域的最大共识，那一定是数据的价值被完全认可。几乎每个人都同意，要让机器人学会干活，得先有足够多的高质量数据。

至于该怎样采集合适的数据，今年业内也发生过不少变化。

遥操作是一种被长期使用的办法。它能直接记录机器人的操作轨迹，但需要机器人设备和操作人员持续参与，采集规模受到设备数量、人员投入等因素限制。成本更低的方案，还有今年初火热的 UMI，这种低成本使用改造夹爪的方式，曾被不少公司大力推广。

但随着第一人称视角数据对模型训练的效果开始显现，这种由人类佩戴设备，记录眼前行为的数据采集模式，被看作目前最能兼具成本性价比和高质效果的方案。

只是，当第一人称数据越来越普及，一个问题也更明显了：拍完人怎么干活的视频后，应该怎样把画面里的动作信息精准地提取出来，变成能帮机器人训练的数据？

一般来说，这个过程需要系统从视频中提取动作，还原手和头部在三维空间中的位置和姿态。把每一帧都重建出来，再把它们拼接起来得到连续的动作轨迹，供后续机器人学习和动作映射使用。

理想状态下，系统应该能准确识别哪双手属于操作者、操作中的手指如何弯曲，以及手在空间中移动了多远。但在实际过程中，获取精准的三维动作信息这一步，就存在不少挑战。

针对这个难题，很多企业和研究者也在持续尝试新方案。最近，我看到觅蜂科技联合了西北工业大学、西安交通大学研究人员提出了第一视角运动重建系统“MEgoVista”。

论文链接：https://arxiv.org/abs/2609.16684

MEgoVista 这套系统做的事情，就是通过一系列优化，把 Ego 视频转化为更精准的三维动作数据。

获取精准3D动作数据，难在哪？

了解 MEgoVista 的运作逻辑之前，先来看看把视频转化为精准的3D动作数据，到底需要面临哪些困难。

首先是采集范围与测量精度难以兼顾。

要获取较为准确的三维动作，现在比较靠谱的方案是在实验室里架构一个多摄像头系统，从不同角度观察双手的操作。但很明显，这种模式强依赖提前布置好的设备和场地，人得在设备覆盖的范围内活动，很难直接去奶茶店、宠物店等等真实场景采集。

如果改成让人戴着摄像头去工作，能拍到更多真实场景，但不一定能量出手的实际位置和移动距离。这样做的结果是采集到的视频多了，准确的动作标签未必会增加。

其次，重建出手部姿态，也不代表位置准确。

现有的算法已经能根据图像估计手指姿态，甚至从视频中还原手部轨运动迹。但如果仅依靠单目摄像头估计操作中的距离，很难精准。这样采集到的数据重建结果，即使与画面中的手部轮廓吻合，空间位置也可能存在偏差。

还有多人交互与遮挡的场景，也增加了识别难度。

比如美甲场景。如果美甲师与顾客的手同时入镜，系统不仅要区分左右手，还要持续判断手的归属，避免把不同人的动作混进同一条轨迹。接触的瞬间也容易出错：当抓握物体、使用工具时，手指可能被物体或前臂遮住；动作幅度较大，双手还可能暂时离开画面。

这些都容易导致关键操作细节缺失，造成跟踪中断和重建偏差。

而且，头部运动又可能增加一层误差。

当头戴摄像头随佩戴者转动和移动时，画面变化同时包含手部运动与镜头运动。如果要恢复准确的手部轨迹，就需要先估计摄像头自身的位置和朝向。

但摄像头往往随着佩戴者转头、移动，产生画面变化。如果画面中呈现出拍摄者的头部在转动，但实际操作的位移较小时，空间距离会更难准确估计。

针对这些问题， 我看到 MEgoVista 做了一系列设计。接下来就来讲讲，它具体是怎么做的。

手部检测、跟踪和初步生成3D

手部操作数据是第一人称数据的重点。

为了还原出精准的手部3D动作标签，MEgoVista 设计了一套离线重建流程：

先识别并跟踪佩戴者（操作者）的双手生成初始3D模型；再利用多摄像头测量深度，进一步确定手部动作的距离；最后结合整段视频，把手部动作数据优化得更连贯、可信。

先看第一步，识别哪个是佩戴者的手。

在第一视角视频里出现的手，不一定都属于拍摄者。美甲就是一个很直观的例子：镜头里同时有美甲师自己的手和客户的手。模型即使找出了所有手，也还得知道哪些才是要记录的目标。

如果系统中途误跟到顾客的手，后面依然能生成三维模型，但肯定是不准确的。

MEgoVista 在这里采用了一个手部检测器。这个检测器会同时判断：

• 手出现在画面的哪个位置；

• 属于佩戴者，还是其他人；

• 是左手，还是右手。

完成了判断，来到“跟踪同一只手”的环节。这一步是为了保证同一只手能够在每一帧里对应，避免中途跟成其他人的手，或者跟错左右手。

具体怎么跟踪？MEgoVista 用了一个轻量级跟踪器把同一只手在前后帧中的检测结果对应起来，减少身份切换，并让圈住手的矩形框稳定跟随目标。

觅蜂科技也展示了这套系统识别、跟踪双手在真实场景中的效果。能看出，在多人交互、手和物体快速交互时，它的识别效果还是挺清楚的。

*采集者直接与他人双手进行交互

*手与物体存在快速交互，且手上有脏污

接下来的一步，系统会把跟踪到的佩戴者手部区域交给类似 WiLoR、HaMeR 的模型。模型会根据图像中的手指、轮廓等视觉信息，预测 MANO 参数。

这些参数包括姿态，比如手指关节如何弯曲、手如何朝向；还有形状参数，也就是手的比例和形状等。

把这些参数放进 MANO，就能生成对应的三维手部模型。MANO 会为每一帧里的手，分别生成一个三维模型。就这样再把它们按时间顺序连起来，就会获得操作过程里的3D手部数据，能初步描述动态过程。

这些结果，会成为后续优化的起点。

三鱼眼相机，如何估计真实距离

有了初步的3D手，系统还需要确定手在立体空间中的具体位置，才能准确计算手部真实移动了多少。否则，可能会发生算错位置和移动距离，甚至把没动的手当成在移动的问题。

MEgoVista 主要适配觅蜂科技的头戴式数采设备 MEgoView。这款设备有三个分布在中央、左侧和右侧的鱼眼摄像头，以每秒60帧拍摄画面。

和单目相机更多依赖模型经验估计距离不同，MEgoView 的三个鱼眼摄像头，能让 MEgoVista 利用经过标定的多相机几何关系，更准确地测定距离。

也就是，这三个摄像头从不同角度看同一处场景，算出画面中的位置离摄像头有多远，给后续3D手部动态标签，提供距离依据。

但鱼眼摄像头有一道额外难题，就是畸变明显，几个镜头朝向也不完全相同，原始画面不能直接拿来比较。

MEgoVista 的做法是，先对画面进行校正，消除畸变，再使用 FoundationStereo 这个英伟达开发的双目匹配模型，分别比较“中央摄像头＋左侧摄像头”和“中央摄像头＋右侧摄像头”的画面，算出手腕等位置距离摄像头前方有多远，给画面中大量像素标上深度（例如手腕所在位置是50厘米、桌面某处是80厘米），生成两张深度图和对应的置信度。

最后综合这两组结果，优先采纳可信度较高的信息，提高距离估计的可靠性。

用整段视频修正手部运动

有了更准确的距离约束，接下来的一步，就是把前面已经逐帧生成的三维手放到一起检查、调整，减少整段动作中的错误。

为啥要做这件事？因为之前逐帧生成的手部姿态可能单独看起来合理，但连起来可能会有误差。像手腕位置来回跳，远近估计逐渐偏离，或者手指弯到不合理的角度这类问题，都可能出现。

所以在这一步，MEgoVista 会做“全序列优化”，就是结合整段视频的信息，判断并修正这种不合理变化。

具体分两步。先筛选可靠的观测结果，再结合前后帧的信息调整整段动作，使运动更连贯、手指姿态更符合人体结构。

经过这一环节，MEgoVista 最终输出经过调整的双手运动轨迹：既符合视频和距离测量，又减少了抖动等 bug，符合手部活动规律。

把头部运动和手部运动分开

还有最后一个问题，来自戴摄像头的人自己。

当拍摄者低头、转身、向前走，身上的摄像头都会跟着一起动。也就是说，画面中的手发生移动，不一定是手真的动了，也可能只是人在转头。

所以，系统需要先知道每一帧摄像头在哪里、朝哪个方向，才能判断手究竟有没有移动，让手部运动轨迹更精准。

MEgoVista 的方式是，把固定安装的三个镜头视为一个整体，保持标定关系不变。它先利用已知镜头间距建立具有真实尺度的初始重建，再通过关键帧逐步建立场景地图，并利用地图中的点为其他帧求解设备位置和朝向。

最后，系统借助惯性传感器估计重力方向，整体调整坐标系朝向，使上下方向与现实对应。

结合相机轨迹，系统就能把手相对于镜头的位置转换到固定坐标系中，减少转头、走动对手部运动记录的干扰。

测试对比环节：MEgoVista赢了

把这几个环节放在一起，MEgoVista 构建第一视角高精度3D动作数据的流程就清楚了：先用 MEgo 数据采集设备把操作拍下来，再让算法认出目标双手、测出实际距离、核实优化好手部动作，再扣除摄像头自身运动的影响，得到同一坐标系里的双手和头部记录。

为了测试 MEgoVista 的效果，研究人员用两套系统 —— MEgoView 和青瞳光学动捕系统，同时记录一段动作。

MEgoView 录制数据交给 MEgoVista，计算手和头的运动；26台相机组成的青瞳系统，则通过设备和双手上的标记点提供参考测量。

在这其中，青瞳动捕系统的结果只是一个标尺，最终和标尺结果对比，彼此 PK 的是 MEgoVista 和其他几种能根据画面定位、构建运动轨迹的算法。

首先看头部轨迹的对比，MEgoVista 与经过离线优化的 ORB-SLAM3 都达到了毫米级位置精度。

两组完整数据片段中，MEgoVista 的平均位置轨迹误差分别为2.87毫米和0.75毫米，ORB-SLAM3 分别为3.27毫米和1.00毫米。不过，去掉每段视频开头5秒后，第一组中 ORB-SLAM3 更准确，第二组仍是 MEgoVista 更好。新方法并没有在所有条件下占优。

另外两种方法 DROID-W 和 MASt3R-SLAM 只在第一组数据上测试，分别出现4段严重尺度失败和1段跟踪失败。即使排除这些片段，剩余数据的位置误差仍高于 MEgoVista，恢复的轨迹尺度也存在明显偏差。

接下来是手部测试。它分别检查了两件维度：手势是否准确，手的位置是否准确。

从结果看，这两方面 MEgoVista 的表现明显更好。

在手指姿态上，MEgoVista 的误差为4.29毫米，HaWoR 和 Dyn-HaMR 分别为16.30毫米和49.18毫米。这项测试先将预测手与参考手的位置、朝向和整体尺度对齐，再比较关节位置，因此主要反映手势重建精度，不能理解为整只手的绝对定位误差。

至于手腕位置，在摄像头坐标系中，MEgoVista 的手腕位置误差为14.30毫米，HaWoR 和 Dyn-HaMR 分别为46.70毫米和184.38毫米，差距蛮大。

而且在这批测试数据中，MEgoVista 没有出现目标手部漏检或误检。它的动作抖动指标为1.11毫米/帧²，低于 Dyn-HaMR 的3.50和 HaWoR 的16.71，说明连续重建中的无故跳变更少。

研究人员还在三类真实场景中继续测试。

• 首先是制作奶茶。结果发现当双手快速移动时，MEgoVista 和 Dyn-HaMR 重建的骨架较贴合实际手部，HaWoR 的左手骨架出现明显错位。

• 还有美甲。在这个测试中，HaWoR 和 Dyn-HaMR 将顾客的手误认为佩戴者的手，重建结果跟错了对象；MEgoVista 在展示片段中保持了正确的手部归属。

• 至于给宠物洗澡，测试结果显示，手部沾有污物且快速运动时，MEgoVista 和 Dyn-HaMR 均检测到了手部，HaWoR 的左手骨架和手腕位置出现偏移。

到了这里，论文已经通过实验证明，MEgoVista 将第一视角视频中的操作还原为具有真实尺度的三维动作，比其他算法的效果更加精准。

不过需要注意，这篇论文的 MEgoVista 系统，全程都基于觅蜂科技的 MEgo-View 数采产品设计。

这款产品能让采集者戴着设备走进真实工作场景，MEgoVista 则保证采集者拍回来的操作可以变成可测量、可检验的三维运动数据。

这对目前的数据采集行业很有意义。

就在前不久，觅蜂科技推出了“觅蜂派” App，把数据采集变成了面向普罗大众的众包模式。

这种模式的操作逻辑是，MEgo 系列设备负责记录操作，觅蜂派 App 连接采集任务与参与者，组织接单、采集、验收和结算；MEgo Engine 则承担数据处理、标注、质量评估与交付。

现在看来，这其中 MEgoVista 也为动作重建环节提供了靠谱的方法和实验依据。

我想，随着数据采集众包模式普及，数据量增加，手部归属、遮挡和尺度误差肯定也会更复杂。此时出现的 MEgoVista，大概就是一个更可靠的方案，能让越来越多被大家拍回来的视频，成为真正高质量的训练数据。