先在平行世界里试一试，机器人再动手：清华提出ParallelWorld

机器人动手前，能不能先看一看不同选择会带来什么后果？ParallelWorld 将多步预演引入具身智能体的高层规划，将任务成功率从 56% 提升至 83%。

把桌上的两把摩卡壶放到炉灶上，看起来只需要 “拿起来，放过去”。但对机器人来说，先搬哪一把、从哪里抓、放下后是否影响下一步，都可能改变任务的结局。

如果只根据眼前的画面选择一个看似合理的动作，等到执行后才发现问题，后续规划就必须从一个更难处理的局面重新开始。

来自清华大学和新加坡国立大学的研究者提出了 ParallelWorld，尝试把这部分判断提前：让智能体从当前状态出发，探索多条候选行动路径，比较未来的观察与任务进展，再决定眼下这一步怎么走。

这项工作的核心，是把测试时增加的计算用于行动后果的预演。系统保留更有希望的分支，按需继续向前推演；选定轨迹后，只执行其中的第一个动作，再依据执行后的新观察重新规划。

视频链接：https://mp.weixin.qq.com/s/oG47-1IvLLzu0y4B8Q0rNA

• 论文题目：ParallelWorld: Test-Time Scaling for Agentic Embodied Reasoning
• 论文链接：https://arxiv.org/abs/2608.22971
• 项目主页：https://agenticei.github.io/ParallelWorld-page/
• 代码仓库：https://github.com/AgenticEI/ParallelWorld

图 1｜具身系统的三种决策方式。ParallelWorld 在高层规划与动作执行之间加入候选未来的预演和验证，让后续结果参与当前决策。图片来源：论文图 1。

会拆解任务之后，还需要看远一步

高层规划器可以把复杂指令拆成多个可执行的技能。对于空间理解任务，它安排相机移动或物体交互，寻找回答问题所需的证据；对于操作任务，它组合抓取、移动和放置等动作，推动环境朝目标状态变化。

问题在于，按顺序拆解任务，并不自动意味着系统考虑了不同动作的后续影响。有些动作的价值，要经过几次交互才能体现。当前视角无法辨认一个被遮挡的物体时，一次移动也许只能改变遮挡关系，却为后续观察创造了条件；操作时，一种抓取方式可能有利于拿起物体，却未必有利于接下来的放置。

ParallelWorld 因此把 “未来会看到什么、任务会推进到哪里” 纳入行动选择。这里的搜索发生在有明确执行范围和终止条件的高层动作上，底层控制仍由已有技能或策略完成。

让不同的未来进入同一次决策

ParallelWorld 将规划组织为相互连接的预演循环与执行循环。

在预演循环中，规划器根据任务和当前观察提出多个候选动作，每个动作都从某个已有分支继续展开。系统预测或模拟动作后的观察，由此形成一棵包含不同未来路径的搜索树。

验证器随后比较候选结果，判断哪些分支更有助于获取证据或完成任务，并给出反馈。较差的分支被剪去，值得继续探索的分支被保留。规划器结合这些结果，决定继续预演还是转入执行。

搜索的宽度和深度都可以随决策情境变化。规划器决定提出多少候选动作，验证器决定保留哪些分支，规划器再决定是否继续向前推演。这使系统能够把更多计算投入仍有歧义的选择。

图 2｜ParallelWorld 的预演与执行循环。右侧比较不同动作的未来结果，左侧执行选中轨迹的第一个动作，并将新观察送回下一轮规划。图片来源：论文图 2。

进入执行循环后，系统只采取选中轨迹的第一个动作。剩余步骤为当前决策提供参照，但不会被一次性执行。

这一 “滚动规划” 机制有实际意义：未来预测可能随步数增加而偏离环境。每执行一步就重新观察，能够及时修正计划，让多步预演的收益与执行反馈结合起来。

从看得更清楚，到操作得更准确

具身理解的收益集中在需要额外交互的任务

ESI-Bench 覆盖 10 类具身空间智能任务、29 个子类别。由于环境中的倒液体动作无法执行，研究排除了液体体积子类别，对其余 28 项进行了评测。主动方法使用相同的回答模型。

根据论文表 1，ParallelWorld 在其中 26 项上超过顺序式 Active Exploration。几项代表性结果如下。

这些任务的共同难点是：当前画面不足以支持可靠判断，需要通过交互获得更有区分度的观察。论文的定性案例中，顺序探索把目标误认成笔，而 ParallelWorld 找到更有信息量的视角，识别出了画笔。

提升并未覆盖所有子任务。刚性容纳任务从 60.00% 降至 50.00%，几何构型任务从 17.96% 降至 16.90%。这也提示，获得更多观察后，模型仍可能受限于几何推理能力。

机器人操作的八种设置均超过直接基线

操作评测采用 LIBERO-Pro，重点考察指令重定向和位置交换两类扰动下的泛化能力。研究覆盖 Spatial、Object、Goal 和 LIBERO-10 四个任务套件，每种设置包含 10 个任务、每个任务 10 个随机种子，共计 800 个回合。

ParallelWorld 基于 HarnessVLA 实现。论文以 Codex 作为高层规划器复现 HarnessVLA，作为直接比较对象。下表整理了论文表 2 中两种方法的成功率。

ParallelWorld 在八种设置中均取得更高成功率。其中，Spatial 位置交换设置提升 27 个百分点，Object 指令重定向设置提升 15 个百分点。涉及目标身份、相对位置和放置几何关系时，比较候选动作的视觉后果能够提供有用依据。

Goal 与 LIBERO-10 的收益相对有限。关节状态、接触过程和长任务中的误差积累，对执行结果有更大影响，仅靠预测画面较难充分刻画这些因素。

多想一些有用，但搜索方式同样关键

增加候选路径，是否就一定带来更好的结果？论文在 3 个 Spatial 位置交换任务上进行了搜索宽度消融，每个任务使用 10 个随机种子，共 30 个回合。

自适应宽度在这组实验中取得最高成功率，耗时也低于两种固定宽度策略。固定宽度为 2 时，成功率反而低于直接执行，说明增加预演并不保证收益。

作者将差异归因于搜索预算与当前决策不确定性的匹配：分支过少可能遗漏有用选择，分支过多则增加冗余计算和筛选难度。自适应策略允许系统根据任务状态调整候选数量。

不过，这些结果也体现了明确的成本。自适应搜索的平均总耗时约为直接执行的 5.8 倍；这项消融仅覆盖 3 个任务，也还不足以建立普遍的计算量与性能增长规律。如何降低预演成本，是后续走向实际部署需要解决的问题。

预演的边界，是能否预测真正重要的后果

图 3｜有效场景与失败案例。上排展示更有信息量的观察和更有利的操作选择；下排说明，即使获取了足够观察或生成了看似合理的未来画面，精确几何推理和物理接触仍可能导致失败。图片来源：论文图 3。

ParallelWorld 的收益，取决于决定任务成败的因素能否被预演结果可靠表达。当困难主要来自视角选择、目标辨认或空间布局时，比较不同未来能够改善决策；当任务要求精确度量、接触动力学或对执行误差的细致预测时，视觉预演仍有明显边界。

论文给出的失败案例中，模型有时已经看到足够的信息，却仍无法判断物体之间的精确几何关系；有时生成画面看起来合理，动作却在执行时失败。图像预测的视觉合理性，不能直接等同于物理可行性。

这项研究展示了测试时计算在具身系统中的一种具体用法：在动作发生之前，比较它可能带来的后续观察与任务进展，再用执行反馈不断修正计划。

要让这种预演在更多真实场景中发挥作用，还需要更可靠的物理预测、更准确的验证机制，以及可负担的推理开销。ParallelWorld 的结果为继续研究这些问题提供了一个可检验的起点。