从 Computer Use 到 Robot Use：通用智能体距离物理世界还有多远？

大模型智能体已经能够编写程序、操作电脑，并调用工具完成复杂的数字任务。如果把工具换成机械臂、移动机器人或无人机，它们能否同样把事情做好？

这是 RobotWorld 希望系统回答的问题：现有通用多模态智能体，哪些能力可以迁移到机器人任务，哪些环节仍然会失效？

论文题目：
RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments
论文链接：
https://arxiv.org/abs/2610.10409
代码链接：
https://github.com/robotworldai/robotworld
中文博客：
https://robotworldai.github.io/blog/zh/

一、84 项任务，检验从理解到执行的距离

研究团队构建了一个面向 robot use 的仿真评测平台，覆盖 84 项任务和操作、移动操作、运动、驾驶、飞行五个领域。RobotWorld 将机器人作为通用多模态智能体可以调用的工具，在仿真环境中设置了 84 项任务，覆盖操作、移动操作、运动、驾驶和飞行五个领域，涉及机械臂、人形机器人、四足机器人、车辆和无人机等八类形态。

智能体通过工具接口获取图像和机器人状态、发出动作，并根据执行反馈继续调整。评测在规定预算内运行，由预先定义的成功条件判定任务是否完成，而不是依赖模型自报成功。

任务与分析总览。图中场景为概念示意，不同任务运行在各自的仿真环境中。

五个模型的任务成功率。每个模型评测 84 题；右侧为四个展示组，操作与移动操作合并显示。

二、通用智能体如何

用视觉与编程控制机器人？

除了最终成功率，执行轨迹还展示了通用智能体解决机器人任务的方式。模型会编写颜色分割程序、通过运动采样估计相机参数，也会根据物理规律建立近似动力学模型，再把计算结果用于控制机器人。

例如，在积木堆叠任务中，Opus 5.5 先编写颜色分割程序，通过机械臂运动采样拟合相机参数，再将视觉信息转化为空间位置估计。Astra 则先通过连续观察和位置估计抓起第一块积木，随后才进行相机几何计算。同一个任务，两者采用了不同的感知与行动顺序。

同一积木任务中的不同顺序：Astra 先抓取后拟合相机，Opus 5.5 先分割和标定再抓取。横轴为实际控制步。

在无人机颠球任务中，两个模型都进行了离线动力学计算。但持续控制的结果明显不同：Opus 5.5 在 800 个控制步中记录到 15 次有效击球，其中 14 次满足高度要求；Astra 在第 188 步因球过低而终止，累计 3 次有效击球，其中 1 次满足高度要求。

建立动力学模型只是其中一环。智能体还需要协调击球前后的姿态、推力和位置，才能维持连续击球。程序算得出来，控制过程也未必持续得下去。

无人机颠球轨迹对照：Opus 5.5 在 800 步记录到 15 次有效击球，Astra 在第 188 步终止时为 3 次；满足高度要求的击球数分别为 14 和 1。

三、比成功率更具体的三个问题

第一，反馈修正：动作没有奏效后，模型是否改变了策略？

智能体能够读取错误提示，并不代表它会采取有效修正。一些成功轨迹中，模型根据反馈调整了动作幅度或机械臂配置；另一些轨迹则反复停留在无效操作中，迟迟未能推进下一项子目标。

第二，状态判断：模型是否知道物体和机器人现在处于什么状态？

机械臂到达一个新位置，不等于恢复了有效抓取；完成导航准备，也不等于开始了操作。判断进展，需要追踪物体状态和子目标的变化，而不只是记录机器人是否执行了动作。

第三，完成判断：模型认为做完时，目标是否真的满足？

在部分失败轨迹中，模型提前认定目标已经满足，随后继续发出与目标无关的动作或零速度指令。工具调用仍在继续，对未完成目标的纠正却已经停止。

失败机制的轨迹证据：物体失去有效抓取、恢复来得太晚，以及持续调用工具却没有推进子目标。各面板对应不同任务，时间轴不能直接横向比较。

这些观察提示，机器人任务需要的不只是视觉理解或代码生成能力，还需要把状态估计、计算、执行反馈与完成度判断组织成可靠的闭环。

四、为下一步改进提供可检查的证据

RobotWorld 希望提供一个覆盖多种机器人形态、具有明确成功标准的试验场。通过同时查看任务结果与执行轨迹，研究者可以定位问题发生在哪个环节：是看错了状态、算出的方案无法执行、反馈没有带来修正，还是过早停止了对目标的检查？ 从“展示机器人能做什么”，走向“系统理解智能体为什么做得到、又为什么做不到”，是这项工作的核心目标。

项目主页与任务录像：
https://robotworldai.github.io/

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈