小米 Darwin Agent 团队提出 HarnessPAI：用可进化的代码系统提升物理智能体成功率

不改底层模型，用代码补全物理智能体的能力。

作者丨吴思梦

编辑丨岑 峰

一个在标准测试中拿到 96.9 分的物理智能体，只因桌上的盘子和小碟换了位置，成绩就跌到了 39.7 分。

盘子还是那些盘子，任务也没有变，物理智能体却像突然失去了应对能力。类似的情况并不少见：物体换了位置，指令多了一个“不”，原本熟练的操作就可能出错。物理智能体能在既定场景里完成任务，离真正适应现实世界，还有一段距离。

问题出在哪里？过去，人们往往试图通过训练更强的动作模型来解决问题，但以往的VLA/WAM等模型的训练过于关注“动作”，而忽略了真实任务中同样重要的任务指令理解和图像理解能力。

近日，小米 Darwin Agent 团队联合清华大学、南京大学、上海交通大学等机构提出 HarnessPAI，尝试把目光从模型本身移向模型之外，通过外部代码补全动作模型的语言能力和图像能力。它没有修改底层动作模型的任何参数，而是用一套可执行、可演化的代码系统，将任务理解、执行与验证组织起来。

在 LIBERO-PRO 基准的位置扰动和指令扰动测试中，单独使用 π₀.₅ 的成功率为 34.9%，引入 HarnessPAI 后提升至 96.5%。

这个结果带出了一个值得追问的问题：当模型遇到与训练时相近的任务时，明明有能够做好该任务的潜力，单独执行模型却难以发挥该潜力，那么，如何能激发模型自身的潜力，使其变成完成任务的能力呢？

HarnessPAI 尝试证明，通过引入Harness的方式，挖掘出模型的潜力。

论文地址：https://arxiv.org/abs/2609.29166

项目主页：https://darwin-agent.github.io/HarnessPAI/

01

标准测试表现出色，

为什么仍会被一个意外难住？

先看一个简单的例子。

在标准 LIBERO 测试中，物理智能体需要根据指令抓取物体、移动物体并完成放置。π₀.₅ 在这一基准上取得了96.9%的成功率，说明它已经能够较好地完成这类操作。

但当动作模型看到的场景发生变化时，是否依然能正确执行动作？ 例如，对于将碗拿起并放到盘子上这一任务，仅仅改变盘子的位置，并不影响动作模型完成这个任务的能力，然而，如果模型仅仅记得动作而不理解图像，就很有可能执行和训练模型时一样但是完全错误的动作。

同样，指令发生变化时，模型是否能正确理解指令完成动作？ 训练时，要求动作模型拿起在盘子和小碟之间的黑碗，只需在指令中增加一个“not”，即将任务指令改为“拿起不在盘子和小碟之间的黑碗” ，动作模型虽然依然有完成这个任务的能力，但是若不理解指令，仍然沿用原先的动作路径，即使抓取动作本身没有问题，整个任务也会失败。

论文通过 LIBERO-PRO 对这类问题进行了专门测试。与标准 LIBERO 相比，LIBERO-PRO 引入了两类扰动：一类交换物体的位置，称为 Swap；另一类改变任务指令，称为 Task。前者要求智能体重新识别物体及其空间关系，后者要求它根据新指令重新确定目标。

在这两类扰动下，π₀.₅ 的总体成功率降至34.9%，其中 Swap 条件下为39.7%，Task 条件下为30.1%。一个在标准测试中表现出色的动作模型，遇到场景或指令变化后，表现可能出现明显落差。

这并不意味着模型完全不会抓取、移动或放置物体。问题在于，完成一个任务需要把多种能力衔接起来：看清场景，理解指令，找到目标，再把正确的目标转化为动作。某个环节出现偏差，后续动作即使执行得很准确，也无法保证最终结果正确。

类似的问题还会出现在精细控制中。比如，让智能体按下微波炉上的按钮，需要它准确定位按钮并控制动作。如果定位出现偏差，或者通过diffusion生成的动作控制不够精确，任务就可能失败。

面对这些问题，一条直观的路线是继续训练模型，让它见过更多场景、更多指令和更多失败案例。但这意味着需要持续准备训练数据，并更新模型参数。对于任务指令变化多、环境变化频繁的物理智能体相关的任务而言，单靠模型训练未必是唯一的解决办法。并且，对于仅更换场景，更换指令的任务，动作模型自身是拥有完成任务的能力，而并非是无法完成的新动作，需要新的训练数据。

HarnessPAI 选择从另一个方向切入：与其要求一个动作模型独自处理整个任务，不如给动作模型整一套Harness，让程序负责组织任务流程、重新确认场景，并检查每一步是否达到预期，再由动作模型执行具体操作。

02

HarnessPAI：

给动作模型加上一层可进化的代码外壳

HarnessPAI 的整体流程

HarnessPAI 的核心思路，是把代码作为连接感知、任务理解和动作执行的接口。

可以把动作模型理解为物理智能体的一组运动能力：它能够根据视觉观察和任务要求，完成抓取、移动等具体操作。但一个完整的任务往往不只是连续执行动作，还需要知道先做什么、操作对象在哪里，以及怎样判断某一步是否成功。

HarnessPAI 将这些工作组织进一个可执行的程序中。程序可以调用感知工具识别物体，利用几何关系判断目标位置，再调用底层动作模型完成操作，并通过检查机制确认执行结果。

这不是用代码取代动作模型。对于需要复杂接触和运动控制的环节，系统仍然依赖学习得到的动作能力。代码承担的是任务层面的组织与校验，让感知、空间推理和行动不必全部压在同一个模型身上。

更关键的是，这层代码不是写完后就固定不变，而是可以根据执行反馈逐步调整。

HarnessPAI 将系统运行分成两个时间尺度。

第一个时间尺度发生在一次任务执行之内。程序选定后，会按照既定流程运行，不需要在每一步都调用高层大语言模型重新思考下一步怎么做。它可以检查目标是否定位准确、当前步骤是否完成，以及是否满足继续执行的条件。

第二个时间尺度发生在多次任务执行之间。如果某次执行失败，系统会分析失败原因，并尝试修改程序，再通过新的测试验证修改是否有效。有效的修正可以保留下来，成为后续任务可复用的技能。

这一区分很重要。一次执行中的程序是固定的，系统不会在每个动作之间都临时生成新的高层决策；但在多次尝试之间，程序可以根据结果持续演化。前者让执行过程更加稳定，后者则让系统能够逐渐适应特定任务中的问题。

为了让经验可以复用，HarnessPAI 还把技能组织在任务流程的不同节点上。一个典型的操作流程可以拆成接近目标、抓取、搬运和放置等环节。如果问题发生在放置阶段，修正经验就可以关联到相应节点，而不必每次都从头修改整个任务程序。

HarnessPAI 将每个技能挂载到其发生的图节点（接近、抓取、运输、放置）上，使得每种技能都可以根据其所属的任务阶段进行检索。

系统还设置了执行检查和候选程序验证机制。新版本不会因为某一次尝试看起来成功就直接替换旧版本，而需要经过预设的测试与成功条件检查。只有通过验证的修改，才会被保留下来。

这使 HarnessPAI 与简单地让大语言模型写一段 物理智能体 代码有所区别。它不仅生成程序，还尝试通过执行反馈、失败分析和候选验证，让程序逐步变得可靠。

从这个角度看，HarnessPAI 并没有把所有智能都塞进一个更大的模型，而是重新划分了系统中的工作：动作模型负责具体的运动能力，代码负责将这些能力组织成可执行、可检查的任务流程。

03

从34.9%到96.5%，

代码程序带来了什么？

HarnessPAI 的主要结果来自多个物理智能体任务与仿真基准。不同实验对应不同能力，不能简单地把所有成绩放在一起排名，但它们共同展示了代码程序在任务组织、执行验证和经验复用方面的作用。

▎性能提升：让已有动作能力适应更多任务场景

首先是 LIBERO-PRO。

在包含物体位置交换和指令变化的测试中，HarnessPAI 将冻结的 π₀.₅ 作为底层动作模型，整体成功率达到96.5%，相比单独使用 π₀.₅ 的34.9%提高了61.6个百分点。其中，Swap 条件下HarnessPAI的成功率为95.7%，Task 条件下为97.4%。

这组结果说明，在该基准和测试设置下，系统可以通过程序调用感知模型（如SAM，多模态模型Molmo）来补全动作模型在图像理解和指令理解上的不足，并检查执行过程，从而显著改善任务完成情况。能完成任务说明动作模型拥有生成出完成这个任务的动作的潜力，HarnessPAI将该潜力激发出来。

LIBERO-PRO 上的测评结果

在 RoboCasa 的原子任务测试中，HarnessPAI 将 WorldDreamer 的成功率从65.0%提升至92.2%，提高27.2个百分点。这里的原子任务指的是相对独立的基本操作。这个结果进一步表明，HarnessPAI 的思路并不局限于某一个动作模型。

RoboCasa 的测评结果

在 robosuite 的七项操作任务中，论文报告的平均成功率为96.3%，其中五项任务达到满分。对于 Insert 这类需要精确对齐的任务，HarnessPAI 的成功率为83%，而论文列出的 ASPIRE 和 CaP-Agent0 对照结果分别为9%和0%。

robosuite 的测评结果

不过，这些跨论文对照需要谨慎解读：不同方法的评测设置未必完全一致，不能仅凭数字就认定某种方法在所有条件下都更优。更有意义的是观察同一研究中的对照实验，以及系统在不同任务类型上的表现。

研究还测试了 HarnessPAI 在其他物理智能体上的应用。

在 BEHAVIOR-1K 的移动底座人形物理智能体任务中，智能体需要导航并完成拾取收音机的操作。对于这种环境变化较大的任务，在训练场景上演化完代码后， 在新的场景下测试时，无需任何额外的代码演化，导航成功率达到100%，拾取成率为84%，而人类基线为36%。针对测试场景的失败场景进行八轮程序演化后，任务完成率进一步达到100%。

BEHAVIOR-1K 的测评结果

在物理智能体吸尘器的 VacuSim 测试中，HarnessPAI 改善了清洁覆盖率：在40×40的空地图上，覆盖率从4.90%提升至63.76%；在25×25的带家具地图上，从11.72%提升至53.92%。在另一项双足物理智能体行走实验中，系统也能通过外部程序修正已有 PPO 行走策略的路径偏差，而不必重新训练底层策略。

踩高跷 行走 并击球

这些实验的任务类型差异很大，不能据此认为一套程序已经解决了所有物理智能体问题。但它们说明，HarnessPAI 试图提供的并不是某一个特定动作，而是一种能够适配不同底层能力的组织方式。

▎迁移与提效：程序跨模型复用，减少执行开销

论文还进行了跨模型迁移实验：在 π₀.₅ 上演化得到的程序，被直接应用于 DreamZero，没有针对新模型重新演化。在 LIBERO-PRO 的相关测试中，DreamZero 的 Swap 和 Task 成功率分别从0.6%和9.6%提升至73.4%和84.4%。

这项实验显示，程序中包含的任务组织和场景定位逻辑，在一定条件下可以迁移到另一种动作模型上。不过，迁移后的成绩仍低于 HarnessPAI 在 π₀.₅ 上报告的96.5%，也说明更换底层模型并不意味着所有能力都能无损迁移。

除了任务成功率，HarnessPAI 还关注执行成本。

由于选定的程序在一次执行过程中不需要持续调用高层大语言模型进行在线决策，系统可以减少执行阶段的高层模型调用开销。在论文的一个 LIBERO-Goal 测试中，与 Harness VLA 相比，HarnessPAI 串行执行的速度提升约18.4至23.1倍；在使用七块 GPU 并行测试时，报告的速度提升约为117.8至147.4倍。

HarnessPAI和HarnessVLA的时间和成本对比

这里的速度提升来自特定任务和评测设置，不能直接推广为所有物理智能体相关的任务都能获得相同比例的加速。类似地，论文所说的执行阶段高层 API 成本为零，也不代表系统的整个生命周期没有成本。程序演化、开发、硬件运行和底层模型调用仍然可能产生开销。

▎数据反哺：将成功执行轨迹转化为训练数据

HarnessPAI 的另一项探索，是把演化成功的程序变成模型训练数据。

在传统训练流程中，模型通常需要从人工示范或其他数据源学习动作。HarnessPAI 则可以从成功执行的程序中收集观察与动作轨迹，并为成功轨迹提供明确的任务完成标签。经过验证的成功轨迹可以用于微调动作模型，失败轨迹则不会直接作为成功示范保留下来。

论文报告，使用这些轨迹微调 π₀.₅ 后，模型在 LIBERO-PRO 上的成功率从34.9%提升至73.7%，提高38.8个百分点。对于此前没有在 LIBERO 上进行对应训练的 π₀.₅-Base，微调后成功率也达到53.3%。同样，在 LIBERO-Object 上使用 HarnessPAI 的轨迹微调 DreamZero 之后，成功率从5.1%提升至26.5%。

使用 HarnessPAI 的轨迹微调 pi05-Base 和 pi05-LIBERO

LIBERO-Object 上使用 HarnessPAI 的轨迹微调 DreamZero

这为 HarnessPAI 增加了另一层意义：它不仅可以在执行时组织现有动作能力，还可能通过产生高质量示范，帮助后续模型学习。

但这仍不是一个已经闭环的共同进化系统。论文展示的主要路径是先演化程序、再收集数据、最后微调模型，并没有证明微调后的模型能够自动反过来推动程序持续演化。

04

物理AI的进步，不只取决于动作模型

HarnessPAI 提供了一种值得关注的系统设计思路：当物理智能体无法稳定完成任务时，改进方向不一定只有继续训练底层模型。重新组织感知、任务理解、空间推理和执行验证，也可能带来明显收益。

当然，这套方法仍有边界。

首先，它不能凭空创造底层模型缺失的动作能力。如果物理智能体连基本抓取都无法完成，或者底层控制策略无法支撑某种运动，外围程序也无法仅靠重新组织任务流程解决问题。

其次，程序演化需要针对任务进行开发、测试和验证。HarnessPAI 更适合那些能够重复执行、持续评估并逐步积累经验的任务，而不是已经证明可以直接处理任意未知任务的一次性通用方案。

这些限制并不抹去实验结果的价值，却决定了应该如何理解它：HarnessPAI 展示的是，在特定任务和评测环境下，通过可执行程序组织感知、推理与动作，能够显著改善底层动作模型的任务表现。

论文提出，物理AI的前沿不仅取决于更强的动作模型，也取决于能够把感知、任务理解、推理与动作执行连接起来的可执行系统。

这或许是 HarnessPAI 最值得关注的地方。物理智能体真正需要的，不只是一个能把指令转化为动作的模型，还需要一套能够根据现实场景确定目标、组织行动、验证结果，并从失败中积累经验的系统。

当动作模型与代码程序各自承担更适合自己的工作，提升物理智能体能力的路径也就不再只有扩大模型和增加训练数据这一条。

CNCC 即将召开，欢迎参会的研究者、学生，以及关注计算机领域前沿进展的读者加入我们的CNCC 交流社群。

在这里，你可以认识同行、交流研究，分享招生信息、科研合作、约饭、投稿、组队参会等，寻找潜在的合作伙伴。

大会期间，我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见，也在群里见。

进群传送门：扫码进群或添加微信Qvv0909777，备注：CNCC + 单位/学校+姓名+方向。

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。