具身RSI的真假之争：机器人是在自我进化，还是在反复刷题？

机器之心发布

在电子游戏里，玩家拥有一项近乎无敌的特权——无限读档（env.reset）。

在机器人仿真环境中，一些具身 Agent 同样可以通过提前探索任务、反复重置环境、修改动作脚本，逐步寻找更优的操作策略。

但如果不给机器人提前刷题的机会呢？

最近，星衍智能推出的通用具身 Harness 框架Auriga，在不针对目标任务预调优、不依赖专家演示、单次执行且不允许环境重置的Zero-shot 评测协议下，领跑 RoboDojo 榜单。与此同时，Auriga 还在RoboCasa365Target50 评测中，凭借同一套 Harness 框架取得领先表现。

没有提前刷题，却能超越部分有备而来的对手。Auriga 是怎么做到的？

答案或许不在于记住更多任务的标准答案，而在于构建一套能够跨任务复用的物理执行系统。这也引出了一个更深层的问题：机器人究竟是在优化一道题的答案，还是在进化解决问题的能力？

1. 具身 RSI 的三个层次：

进化答案、进化过程、进化系统

机器人能力的进化，关键不在于经历了多少次试错，而在于每次改进究竟改变了什么：是当前任务的解决方案、一次执行中的操作策略，还是能够被未来不同任务复用的系统能力？

基于这一视角，星衍智能将 Physical RSI 的发展路径归纳为三个层次：

• L1：任务级搜索，即进化答案。系统通过反复重置环境、修改动作脚本或调整控制参数，为特定任务寻找更优解。它能够不断提升当前任务的表现，但往往需要为新任务重新优化。
• L2：单次在线适应，即进化过程。系统不再依赖反复重置，而是在一次连续执行中，根据观测和反馈调整动作。改进发生在当前任务的执行过程中，但这些调整不一定会沉淀为可供其他任务使用的通用能力。
• L3：系统级能力改进，即进化系统。系统从不同任务的交互中识别反复出现的共性问题，并进一步改进底层通用工具、控制原语或技能机制。与 L2 不同，这些改进会被保留在系统中，供后续不同任务调用，并通过新的任务验证其迁移价值。

从 L1 到 L3，改变的不只是试错方式，更是能力改进的范围：从一道题的答案，到一次执行的过程，再到一套能够应对不同问题的系统。

星衍智能 Auriga 选择从L3 所代表的系统级通用能力出发：不为每个新任务重新定制策略，而是让同一套 Harness 支撑不同物理任务中的感知、执行与在线纠错。

真正的进化，不是让机器人记住越来越多的答案，而是让它拥有一套不必为每道新题重新发明的解题系统。

2. Auriga：

为大语言模型构建通往物理世界的通用 Harness

Auriga 是星衍智能研发的通用具身 Harness 框架，将物理感知、动作表达、执行验证与任务状态管理整合为统一的交互系统，支持大语言模型在陌生任务中自主规划、执行与在线恢复。

在这一架构中，模型主导任务决策，Harness 提供可量化的物理状态、完整的动作表达与可验证的执行过程，让高层推理能够转化为连续的机器人操作。

系统架构围绕三个核心能力展开：

• 感知即测量（Perception as Measurement）： 融合三维重建、视觉分割与机器人运动学，将图像转化为具有真实物理尺度、可查询和验证的空间信息。
• 所见即所执（What You See Is What Executes）： 通过统一执行网关，将模型生成的动作转化为可视化轨迹预演，并在实际执行中持续验证、异常截停与在线恢复。
• 失败即证据（Failure as Evidence）： 结构化记录模型意图、规划轨迹、实际运动与执行结果，支持长程任务中的状态追踪和历史检索，为跨任务能力改进积累物理证据。

图 1：Auriga 通用具身 Harness 整体架构与执行流程。通过统一的感知、规划与执行接口，将高层决策转化为可验证的物理行动。系统在持久化会话中维护任务状态，通过三维几何工具定位目标，并在执行前进行轨迹预演、执行中验证真实状态，最终将物理反馈返回模型形成闭环。

3. 从看懂到做到：

Auriga 如何打通物理执行的完整闭环？

让模型理解任务只是第一步。真正的挑战，是如何将模型的推理转化为精确、可靠的物理行动，并在执行偏离预期时及时纠错。

围绕这一问题，Auriga 将三维感知、动作规划、执行验证与历史反馈整合为一套通用闭环，让模型不仅能够决定“做什么”，还能检查“能不能做”、判断“有没有做到”，并在失败后决定“接下来怎么办”。

感知即测量：给大语言模型一双带刻度的眼睛

大语言模型能够从图像中理解物体及其空间关系，但机器人操作需要精确的三维位置、尺寸与姿态信息。

Auriga 融合 VGGT-Omega、SAM 3.1、相机标定与多视角几何，将视觉观测转化为具有真实物理尺度的空间信息。模型可以主动查询目标的位置、朝向与尺寸，并利用双视角三角测量和三维重投影检查关键接触点。

对于已抓取的物体，系统还能够结合腕部相机和夹爪状态，测量物体在手中的位置与姿态变化，帮助模型判断是否发生滑移。

图 2：Auriga 的物理感知。通过三维几何测量、在手物体追踪与历史失败记录，为大语言模型提供可查询的物理状态。

所见即所执：让每一次动作先预演、再验证

准确的空间测量之后，模型还需要指定机器人如何接触物体、如何运动，以及双臂如何协作。

Auriga 支持模型直接指定手指接触位置、动作精度、运动速度与双臂协同时序。模型可以将抓取、抬升、搬运与放置组织为完整的多阶段动作序列，并根据不同操作阶段设置速度和精度要求。

图 3：Auriga 的精细动作表达。通过手指接触点定位、动作精度控制与双臂统一时序，将操作意图转化为多阶段动作序列

所有物理指令，无论来自模型直接调用还是自主编写的程序，都经过统一的执行网关，遵循 Preview–Execute–Verify 流程：

• 执行前预演（Preview）： Harness 将动作序列编译为可视化轨迹，展示双臂运动路径、关键姿态、预计耗时与潜在碰撞风险。模型可以在实际执行前检查并调整计划。
• 执行中验证（Execute & Verify）： 系统按照预演轨迹执行动作，并对照机器人实测状态。当偏差超出设定容限时，自动截停后续动作，返回偏差位置、测量结果与最新观测。
• 在线恢复（Recover）： 模型根据物理反馈重新规划，从当前状态继续操作，保留已完成的任务进度，无需重置环境。

图 4：Auriga 的轨迹预演与执行验证机制。 系统在执行前可视化规划轨迹，在执行中对比实际运动与预期状态，遇到意外受阻时自动截停，并支持模型基于最新观测重新规划、继续执行。

失败即证据：让每一次物理交互都有迹可循

在复杂的长程任务中，模型需要持续追踪任务进展，并根据物理反馈更新对环境和操作结果的判断。

Auriga 为此建立了显式任务状态与可检索的执行历史。系统保留当前计划、关键关注点和任务进度，同时记录模型的动作意图、规划轨迹、实际运动、视觉观测与执行结果。

即使长程任务中的模型上下文发生压缩，关键任务状态仍能够保留。当执行出现异常时，模型可以回溯此前的动作与失败位置，分析预期与实际执行之间的偏差，避免重复无效操作。

这些结构化记录也为跨任务分析提供了基础，使系统能够识别不同任务中反复出现的物理执行问题，为后续通用工具与技能机制的改进积累证据。

4. Auriga 挑战 RoboDojo 与 RoboCasa365

一套通用 Harness，究竟能够让大语言模型在陌生物理任务中发挥出多大的操作能力？

星衍智能以 GPT-6 Astra 为基础模型，在RoboDojo与RoboCasa365两大机器人仿真基准上对 Auriga 进行了系统评测，重点考察其 Zero-shot 操作、跨场景迁移与在线恢复能力。

42 项任务、6300 次测试：Auriga 领跑 RoboDojo 榜单

RoboDojo 榜单覆盖泛化（Generalization）、精细操作（Precision）、长程任务（Long-Horizon）、记忆（Memory）与开放任务（Open）五大维度，共 42 项机器人操作任务。

与依赖目标任务预先探索和反复调优的方法不同，Auriga 采用严格的 Zero-shot 评测准则：

• 零目标任务预调优： 不针对测试任务及其布局提前开发专用脚本，所有任务共享同一套固定 Harness。
• 零专家演示： 不提供成功轨迹、视频演示或任务专用代码模板，仅依据任务说明与允许的实时观测自主决策。
• 单局执行、零环境重置： 每个案例只进行一次正式执行。即使中途出现抓取失败或动作受阻，也必须从当前物理状态继续调整。

在 3 个随机种子、共 6300 个的完整测试 Episodes 中，Auriga 取得57.74%的平均任务成功率（SR）与 64.00 的平均过程评分（Score），两项指标均领跑 RoboDojo 榜单。

从五大能力维度来看，Auriga 在泛化、记忆与开放任务中表现突出，其中记忆任务成功率达到92.99%。相比部分依赖目标任务预探索，Auriga 在不针对目标任务预先优化的条件下，依然展现了强大的综合操作能力。

表 1：RoboDojo 全量评测排行榜，†指使用 GPT-6 Astra 为基础模型

换个场景、换台机器人，同一套 Harness 还能工作吗？

在固定场景中取得高成功率只是第一步。真正的通用能力，还需要经受物体布局变化、任务结构变化乃至机器人本体变化的考验。

第一重考验：物体布局随机化。

在 RoboDojo 的 12 项泛化类任务中，研究团队进一步测试了物体布局随机化后的表现。在综合考虑标准与随机场景成绩及其差异的指标 G 上，Auriga 取得46.3 分，领先第二名 2.4 分。

第二重考验：换一台机器人、换一个厨房。

团队进一步将 Auriga 迁移至家居移动操作基准 RoboCasa365。机器人从双臂桌面操作平台变为搭载 Franka 单臂的移动机器人，任务环境也从桌面转移到 10 个未见过的厨房，需要完成开关柜门、操作抽屉、旋转旋钮和家电控制等任务，部分长程组合任务最多包含 15 个子任务。

在RoboCasa365 Target50 的全部 50 项任务、250 个测试 Episodes中，Auriga 取得73.2% 的总体成功率。其中，单技能任务成功率达到92.2%，长程组合任务达到62.5%。

图 5：RoboCasa365 Target50 成功率对比

从双臂桌面操作到移动单臂操作，从固定桌面到陌生厨房，Auriga 展示了通用物理交互机制跨机器人形态与任务环境复用的潜力。

一镜到底：失败以后，机器人如何自己救回来？

真实物理操作中，物体可能从夹爪中滑落，机械臂可能碰到障碍物，目标也可能因为接触而偏离原来的位置。关键在于，机器人能否发现实际结果与预期不一致，并从当前状态继续解决问题。

Auriga 的完整执行记录展示了多种不同层次的在线恢复行为。

从失败中恢复：自主调整抓取与操作

当物体在抓取或搬运过程中滑落时，GPT-6 能够利用 Harness 提供的最新观测与物理反馈，重新定位目标、调整抓取位置和运动方式。

在玩具抓取、传送带分拣和碗堆叠任务中，模型分别通过改变抓取区域、调整搬运方式，以及重新安排堆叠顺序，从当前物理状态继续操作，最终完成任务。

玩具滑落后重新抓取

传送带滑落恢复

堆叠碗顺序调整

从局部纠错到策略重规划：自主改变操作方案

更复杂的物理意外，往往无法仅靠重新抓取或微调坐标解决。当环境状态或操作条件发生变化时，GPT-6 能够根据 Harness 返回的物理证据，重新组织后续任务。

在物体装箱任务中，模型发现箱体因碰撞发生位移后，主动调整机械臂分工与放置路径；在传送带任务中，模型将悬空装载改为先放稳篮筐、再放入物体；在充电器插入任务中，模型根据毫米级位置偏差重新对位，完成精密插入。

装箱碰撞后重新规划

改变篮筐装载顺序

充电器毫米级对位修正

从局部动作修正到整体操作策略调整，Auriga 让模型能够在物理世界不断变化的条件下继续推进任务。

从一次次失败，到整套 Harness 的能力升级

如果说在线恢复解决的是「当前任务失败了怎么办」，那么另一个值得关注的问题是：不同任务中反复出现的物理困难，能否进一步推动整个执行系统的改进？

Auriga 的研发过程提供了一个具体例子。

在星衍智能研发团队推动的13 次通用Harness 能力迭代中，Auriga 将不同任务暴露的共性问题逐步转化为可复用的感知、控制与执行验证机制，持续完善动作预演、双臂协调、三维几何测量、状态追踪与障碍物检查等通用能力。

随着这些能力逐步加入，42 项 RoboDojo 任务上的平均 Score 从第 4 版的45.5 提升至最终版本的 64.0，成功率也从 36.2% 提升至 57.7%。

图 6：Auriga 的 13 次 Harness Evolution

这些改进最终沉淀在共享的 Physical Harness 中。系统在正式评测前被冻结，并通过 RoboDojo 的不同任务、随机化布局以及 RoboCasa365 的另一类机器人环境检验其复用能力。

这一过程展示了一条重要的技术路线：将不同任务中反复出现的物理执行问题，逐步转化为可供更多任务共享的底层能力。

5. 从 Zero-shot 执行到通用 Physical RSI：

构建物理智能的下一层基础设施

Auriga 在 RoboDojo 与 RoboCasa365 上的表现，初步验证了通用大模型通过共享 Harness 完成陌生物理任务的可能性。但精密装配、复杂接触与长程操作仍然是重要挑战。进一步提升物理执行能力，并让机器人从交互中持续积累经验，是星衍智能下一阶段的重点方向。

从通用大模型到 System 1 / System 2：让推理与执行协同

未来的机器人可以通过System 1 / System 2协同实现分层智能：以 GPT-6 等通用模型为代表的System 2负责任务理解、全局规划与异常决策；System 1则由 VLA、WAM 等动作模型承担，负责快速、连续的运动与接触控制。

星衍智能希望将 Auriga 作为连接两者的通用物理执行基础设施，通过统一的物理接口、轨迹预演、执行验证与反馈机制，让高层决策与底层控制形成可靠闭环。

让大脑负责理解与决策，让小脑负责快速执行，让 Harness 负责连接、验证与反馈。

从 Failure as Evidence 到 Failure as Improvement：迈向通用具身 RSI

如果说 System 1 / System 2 协同解决的是“如何把任务做得更好”，那么通用 Physical RSI 要回答的，则是另一个更长远的问题：

机器人能否通过不断执行任务，让自身解决新问题的能力持续提升？

当前，Auriga 已能够将模型意图、执行轨迹与物理反馈转化为可追溯的证据，支持单次任务中的自主纠错，也为跨任务分析提供了基础。

下一步，星衍智能希望推动从Failure as Evidence（失败即证据）到Failure as Improvement（失败驱动改进）的演进：让模型从不同任务的失败中识别共性问题，自主构建、修改和验证通用 Skill，持续完善共享的物理执行系统，并通过陌生任务检验改进的迁移价值。

从单次执行中的在线纠错，到跨任务的能力积累，再到执行系统的自主改进——这是星衍智能探索通用 Physical RSI 的长期方向。

结语

物理世界没有无限读档，但智能不应每次都从零开始。

真正的进化，不是把同一道题做上一百遍，而是让机器人从过去一百道题中获得成长，在面对第一百零一道新题时，已经拥有更强的解决问题的能力。

• Project Page：https://auriga.stelledge.com/
• Technical Report：https://auriga.stelledge.com/assets/docs/Auriga-Technical-Report.pdf
• Code：https://github.com/lose4578/Auriga
• Demo：https://auriga.stelledge.com/demos.html