灵御智能首次开源第一视角双臂真机数据集

覆盖可变形物体操作、细粒度精密操作以及物体分拣与摆放场景。

本文为IPO早知道原创

作者｜SY

据IPO早知道消息，11月5日，灵御智能正式发布灵御真实世界机器人数据集（LingYu Real-World Robotics Dataset），首次面向社区开放高质量第一视角双臂真机数据。

据了解，首批数据规模约 139.4 小时（短期内计划达到1000小时），包含 13,263 个轨迹片段，涵盖15类桌面任务、22个子集，覆盖可变形物体操作、细粒度精密操作以及物体分拣与摆放场景。

此外，数据集另设真实零售任务子集，采集自正在运营的超市场景，通过受限访问机制开放申请。

真机采集，涉及桌面与零售两类真实场景任务

灵御智能的数据集采用灵御TA2双臂机器人，配备两个七自由度机械臂与平行夹爪，通过VR遥操作方式进行采集。通过头戴式立体相机以及左/右手腕立体相机等3组立体RGB视图，记录了关节位置、速度、作用力以及双臂末端执行器位姿等机器人状态，涉及关节位置与速度指令、夹爪指令以及末端执行器目标位姿等动作指令。

多模态同步记录，使操作过程中的环境变化、机器人状态与控制指令能够相互对应，便于分析多个操作步骤如何衔接，以及执行中出现偏差时如何调整。这些示范可用于模仿学习、策略预训练与微调，也可作为仿真数据生成和增强的源数据。

15类桌面任务涵盖基础操作与长时程协作。任务包括毛巾与袜子折叠、盒子组装等可变形物体操作，形状配对、2-9 层积木堆叠、螺丝与螺母分拣、盖子闭合等精细操作，以及多种物体的分拣与放置。

单个片段从数秒到数分钟，覆盖单次拾取放置和多步骤任务。以盒子折叠为例，操作员必须连续执行一系列双臂交互，在盒子形状不断变化的过程中保持对齐，并在整个折叠过程中持续进行调整；积木堆叠任务则体现了另一种长时程结构，随着任务推进，策略必须反复抓取和放置物体，同时保持空间对齐和堆叠稳定性。这些示范呈现了动作衔接、中间状态和执行调整，为长时程操作研究提供素材。

真实零售场景任务，将机器人示范与业务流程联系起来。零售子集采集于灵御TA2机器人正在参与运营的超市日常食品试吃活动，该场景引入了许多难以在受控环境中复现的动态变化，为探索策略对物体与布局变化的适应，以及从桌面操作向真实运营场景的迁移提供素材。

数据在发布前经过人工审核与异常筛选。主要检查内容涉及：手臂指令异常、指令与状态跟踪、录制完整性、传感器数据完整性、人工审核等。异常片段整段剔除，保留的片段以完整形式发布。这一处理方式保留动作之间的衔接与任务过程，为后续分析和训练提供完整示范。

灵御TA系列机器人在太原七鲜超市中工作（来源：灵御智能，下同）

机器人学习为何需要真机数据

与仿真轨迹、预设动作序列，以及脱离机器人本体采集的人类动作或视频记录相比，遥操作真机数据直接来自机器人在真实环境中的执行过程。操作员通过机器人的控制接口完成任务，记录下来的动作已经处于机器人的动作空间中，并受到真实机构、接触关系和执行约束的影响。因此，这类数据记录的不只是任务“要完成什么”，也保留了机器人在实际执行中“如何完成”的连续过程。

每个片段同步记录视觉观测、末端执行器状态、夹爪信号和动作指令，形成时间对齐的感知、状态与动作记录。由于数据来自机器人与环境的连续交互，它还保留了操作员应对物体状态变化、不完整观测和执行偏差时的调整过程。这些信息通常难以从静态标注、预设轨迹或脱离机器人本体的动作记录中完整获得；仿真数据也可能无法覆盖真实传感器、机构运动和接触过程中的全部变化。

因此，真机数据的价值不仅在于来自真实环境，也在于能否完整记录并可靠组织机器人与环境的交互过程。基于这一目标，灵御真实世界机器人数据集在采集与组织上重点体现为以下 5 项特点：

机器人高清第一视角采集。遥操作通过 VR 头显开展，操作者直接使用机器人机载摄像头回传的画面，获得与机器人一致的第一视角，减少对机器人视野之外信息的依赖。头部双目达到4k精度，也属于行业少有的数据标准。

独有的数据指纹。每条数据在采集过程中均打上数据指纹，在后续的数据流转中确保数据来源可追踪，精确到每一台特定机器。

统一时空基准。微秒级的时钟同步。依托自研标定方案实现全工作空间内的坐标系精准对齐，可达到 1mm 的末端执行器绝对位置精度。

丰富且同步的多模态数据。每个片段均包含三路高分辨率RGB视频流，以及完整的双臂本体感觉数据（14个手臂关节与2个夹爪的关节位置、速度及作用力）、双臂末端执行器位姿，还有对应的遥操作指令（关节位置与关节速度目标、夹爪指令及末端执行器目标位姿），所有数据均重新采样到统一的 45 Hz 时间轴上。

（5）专业采集与质量筛选。数据由经过训练的操作员采集，并结合人工审核和异常筛选，保留完整的操作片段。

灵御TA系列机器人在家庭场景中

继续投入真机数据采集，逐步开放实际业务数据

目前，灵御智能现有数据已在真实场景训练中展现出许多优秀效果。数据完整保留了物体状态变化、连续操作与执行调整，为策略学习与任务适配提供了基础，灵御智能将持续投入真机数据采集、逐步开放实际业务数据的方向。

之后，灵御智能将进一步提高真机实际部署、真实业务流程与垂直行业场景的数据占比。在零售场景基础上，围绕具体工序与任务目标拓展更多垂直场景，丰富物体、流程与环境变化的覆盖，让数据更贴近机器人真实工作中面对的问题。

未来，灵御智能将持续增加任务种类、有效片段与采集时长，向行业领先的开源数据规模迈进；新增数据延续现有标定与质量筛选标准，按计划逐步开放。这次首发作为长期数据开放的起点，让真实工作中的操作经验被更广泛地使用。

灵御智能成立于2025年初，该公司聚焦具身智能底层基础设施建设，业务覆盖机器人本体研发、真机数据采集与云端操作平台搭建，目前已实现面向开放零售场景的规模化商业部署，构建了从硬件本体到数据管线的完整闭环。

创始团队兼具学术底蕴与产业视野。联合创始人兼首席科学家莫一林为清华大学自动化系长聘副教授，师从美国工程院院士、机器人操作先驱Richard M. Murray；联合创始人兼CEO金戈为清华大学自动化系学士、经管学院MBA，曾任远镜创投管理合伙人、奥量光子副总裁，在高科技领域有着多年的创业投资和企业管理经验。

灵御智能于今年8月份宣布完成Pre-A轮融资，由株洲产投、飞图创投、未来边际创投、芯能创投等联合投资，资金将重点投入规模化量产本体的产能扩充、真机数据采集管线的持续升级，以及云端操作平台的迭代开发。

Pre-A轮融资是灵御智能今年年内完成的第三轮融资，过往投资方包括英诺基金、华映资本、银河创新资本、福田资本、力合创投、天鹰资本等，累计融资额达数亿元。