以智能体视角，清华首发具身智能综述：从端到端策略到自主系统

新智元报道

多模态基础模型正在扩大机器人的能力边界。语言理解、视觉感知与动作生成逐渐进入统一的学习框架，机器人能够执行的任务越来越多。

但当研究走向开放环境与长期部署，一个更深层的问题随之浮现——这些能力，如何组织成一个能够持续自主工作的系统？

真实世界始终在变化。物体会移动，接触会失败，任务条件会在执行过程中改变。

机器人需要在不完整的信息下作出决策，在行动后验证结果，在偏离目标时调整策略，并把可靠的经验带入下一次交互。任务持续得越久，这种贯穿感知、决策与行动的组织能力就越重要。

围绕这一转变，清华大学团队以智能体视角重新梳理具身智能研究，将模型能力、计算基础设施、安全、数据与评测放进同一幅系统图景，讨论通向更高自主性的技术路径与开放问题。

项目链接：https://agenticei.github.io/AEI-Survey-page/

从技能学习到认知闭环

具身智能如何走到今天

具身智能的发展贯穿一条持续演进的主线，即如何通过身体与环境的交互形成智能行为。从早期的反馈控制，到模仿学习与强化学习驱动的技能获取，再到深度视觉运动策略，研究不断扩大机器人能够学习和执行的行为范围。多模态基础模型进一步带来跨任务的语义理解与知识迁移，推动通用机器人策略的发展。

论文首图｜回顾了从反馈控制、技能学习、深度视觉运动策略，到通用机器人策略与 Agentic Embodiment 的发展脉络。

在这一基础上，Agentic Embodied Intelligence（AEI）把研究问题推进到任务级的自主组织。系统需要理解目标、主动补充信息、安排子任务、调用技能，并依据物理反馈决定继续、重试、重规划或求助。

这一视角也让不同技术路线有了共同的讨论坐标。VLA、世界动作模型和程序化技能组合可以承担闭环中的不同功能，其价值需要结合它们如何支持完整任务来考察。通用策略提供越来越丰富的行为能力，AEI 则进一步追问这些能力如何在持续交互中被有效组织。

把模型放回系统

重新理解自主能力的来源

综述的 Figure 1 给出了一个系统级框架。模型负责具身理解、规划、行动与反思，基础设施连接技能调用与机器人控制，本体在物理或仿真环境中执行动作，新的观察和状态再回到模型。这个在线交互过程构成自主系统的运行核心。

论文图1｜Agentic Embodied Intelligence 的系统关系。在线交互连接模型、基础设施、本体与环境，数据和评测支持能力改进，安全与可信要求贯穿整个系统。

围绕这一核心，环境持续产生交互经验，数据支持模型训练，评测暴露能力缺口与失败模式，再反过来影响模型和系统的改进方向。安全要求则贯穿模型检查、运行时防护、控制限制和人类监督。

这意味着，面向部署的能力提升需要多层协同。高层推理必须与低层控制共享足够准确的状态，技能接口需要返回执行结果与异常，端侧、边缘和云端的分工要满足时延约束，数据与评测也要覆盖真实运行中出现的困难。

一个环节的进步，只有通过这些连接才能转化为整套系统更可靠的行为。

自主性的尺度

是机器人能够承担多少任务责任

当「自主」被用于描述不同系统时，一个必要的问题是，人类究竟还承担着哪些工作？谁来拆解任务，谁来监控过程，谁在失败后接管，谁来判断任务已经完成？

综述以 L0—L5 的概念框架讨论人机责任的变化。从 L0 的连续遥操作、L1 的辅助技能、L2 的受控任务自主，到 L3 的条件自主，人类逐渐从直接控制动作转向监督和按需介入。L4 进一步指向限定领域中的持续任务执行、结果验证与失败恢复，L5 则指向开放世界中的通用自主能力。

论文图2｜以人机责任分配刻画自主性层级。L4与L5在综述中被列为研究目标，其实现需要持续运行、恢复能力与边界识别等证据。

这个框架将「能完成什么」与「需要多少人工支持」放在一起考察。机器人能否识别自身能力边界、在异常情况下安全停止或请求帮助，也成为自主能力的一部分。

对研究而言，它提供了一把分析系统进展的尺子，推动评价从任务覆盖范围延伸到自主完成任务所需承担的责任。

在线认知闭环

物理交互会改变下一次决策所依赖的条件。在部分可观测的环境中，机器人依据有限信息采取行动，行动又会改变环境状态和后续观测。

随着任务时程延长，早期的状态估计误差可能逐步累积，使原本可行的计划失去执行条件。

综述从智能体视角审视具身智能，将Agentic Embodied Intelligence（AEI）的模型核心概括为四项相互耦合的功能，考察系统如何利用物理反馈持续修正面向目标的行为。

感知与具身理解将任务意图与环境中的实体、空间关系和物理属性对应起来，为决策提供对当前状态及其不确定性的估计。

推理与规划依据这些信息分解长程目标，比较候选方案，并将子目标表示为机器人策略能够执行、系统能够核验的步骤。当观测不足以判断行动是否可行时，主动获取信息本身也可以成为规划的一部分。

动作执行将子目标转化为受本体动力学与安全约束的运动，并返回实际状态变化。

闭环演进利用执行证据比较预期与实际后果，判断偏差产生在哪个环节，进而调整动作、修订计划或更新经验。

这四项功能可以由统一模型承担，也可以分布在多个模块中。不同架构都面临同一个接口问题：感知保留了哪些规划所需的信息，执行又返回了哪些足以改变下一次决策的证据？

论文图 3｜在线认知闭环。感知为规划提供状态依据，执行产生可观测的物理后果，结果核验驱动后续决策。

任务内恢复与跨任务更新有不同的验证标准。

在单次任务内，反思的价值可以通过后续干预来检验，即在相同重试预算下，修订后的行动方案能否有效恢复执行。

若要进一步主张系统获得了可复用的经验，则需要移除当前任务的临时上下文，在新任务上检验收益。涉及策略或模型更新时，还应评估原有能力是否得到保留。

物理交互的重置成本、传感反馈的歧义，以及仿真与真实部署之间的差异，都增加了失败归因的难度。

综述据此将更新对象与证据要求对应起来：控制调整可以在当前回合验证，持久记忆与技能更新需要跨任务证据，更大范围的系统修改则需要独立的版本比较和部署监测。

论文图 7｜数字智能体与具身智能体的闭环演进。两类系统都利用执行反馈定位偏差，但验证环境、重置成本及部署条件存在显著差异。

系统支撑与保障篇

在线认知闭环描述智能体如何决策，系统层则决定这些决策能否在物理环境中及时执行、安全修正，并留下可供独立检验的证据。

综述由此将计算基础设施、安全机制、交互数据与评测协议纳入同一分析框架。

云边端协同与实时执行。

具身系统同时运行多个时间尺度上的闭环。底层控制和动作策略受严格的响应时限约束，长程规划则能够利用更大的计算预算。机器人本体、现场边缘服务器与云端之间如何分配推理，取决于各环节对算力、能耗和时延的要求。

对于快速控制，平均时延尤其容易掩盖问题：偶发的长延迟或断连，就可能使返回的指令依据过期状态执行。混合部署因此还需要协调状态同步、指令有效期和本地接管机制。

论文图 9｜本体、云端与混合部署。本体受功耗与散热约束，云端受通信条件制约，混合部署还需确定计算分工并保持状态一致。

安全与可信。

安全约束需要贯穿感知、规划与控制。感知阶段识别的风险、规划阶段设定的前置条件和执行阶段施加的限制，必须指向同一对象，并基于仍然有效的状态与授权。

任务结束后，系统还需核验残余风险。若经验将被写入记忆或用于策略更新，安全判断也应扩展到后续任务，检验原有约束在新版本中是否继续成立。

面向智能体的具身经验。

综述提出Agentic Embodied Experience，用目标、上下文、决策理由、子目标、可供性、运动、反馈与反思组织交互记录。

这一表示把决策时可获得的信息与实际发生的运动及其物理后果对应起来，使研究者能够追溯偏差最早出现在哪个环节，以及后续干预是否改变了结果。

论文图 13｜从具身数据来源到交互经验表示。数据金字塔描述不同来源的规模与针对性，经验表示则描述一次决策如何与行动、反馈和修订建立联系。

数据分布还取决于智能体自身的行为。探索策略、求助时机和失败恢复方式都会影响哪些状态得到记录。将评测中暴露的能力缺口反馈给任务选择与数据采集，再用独立任务检验更新收益，可以形成由能力诊断驱动的数据循环。

面向自主性的评测。

综述从任务所要求的认知能力出发，归纳了目标消歧与主动理解、工具发现与可供性推理、在线扰动处理与恢复、开放环境中的长程任务，以及社会交互与多智能体协作五类评测情境。

它们刻画的是任务的难度来源。前文的自主性分级关注另一维度，即在给定运行边界内，目标解释、决策、执行监控与异常处置由人和系统分别承担多少。

要从实验结果推断自主能力，评测协议需要说明仿真环境保留了哪些物理与语义状态、工具接口预先提供了哪些技能，以及运行中允许何种人工介入。

在这些条件下联合报告任务结果、决策质量、执行质量、恢复过程与安全表现，才能判断观测到的收益来自智能体的哪项能力，以及结论适用于何种环境。

论文图 15｜具身基准中的五类认知要求。各类任务对主动获取信息、管理中间状态及适应环境变化提出不同要求，也对应不同的测量盲区。

通用策略扩大了机器人可以执行的任务范围。走向更高水平的自主性，研究还需解释这些能力如何在不确定环境中持续协同，以及系统何时应当恢复、求助或停止。

论文将限定运行域内的持续任务自主性与开放世界自主性作为不同层次的研究目标。

判断进展的依据，是在明确的运行范围、任务时程与人工支持条件下，系统能否持续承担相应的决策责任，并为其行为及后续更新提供可复核的证据。

参考资料：

https://agenticei.github.io/AEI-Survey-page/

编辑：LRST