上海
机器人明明没有抓住水果，世界模型生成的视频却显示抓取成功？随着世界模型加速应用于机器人训练与决策，如何判断模型的预测是否在“说谎”，成为亟待解决的问题。
10月16日，WorldOracle世界模型评测平台正式发布，并向开发者开放评测提交。该平台由智元机器人、英伟达、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学的研究人员联合开发，以真实机器人执行记录为参照，将模型预测的视频与真实操作过程逐帧对照，检验模型能否准确预测动作带来的物理变化。
世界模型被视为机器人理解和预测物理世界的重要技术。给定当前画面和一组动作，模型需要预测执行动作后将发生什么。这种能力有望用于机器人动作规划、策略评估和训练数据生成。然而，生成画面逼真，并不意味着模型真正掌握了动作与结果之间的因果关系。如果模型将一次失败的抓取预测为成功，机器人就可能高估自身能力，进而影响后续决策。
与主要依赖仿真环境或考察文本驱动视频生成效果的评测方式不同，WorldOracle把考场搬到了真机实录现场。研究团队预先采集机器人或人手执行任务时的画面和动作序列，再让待测模型在相同的初始画面和动作条件下生成预测视频，并与真实执行结果逐帧对照。
这意味着，评测不只关注画面是否逼真，还要判断物体是否发生了正确的运动、操作是否真正完成，以及预测能否在较长时间内保持准确。真实操作中的抓空、物体掉落、液体洒出等失败情况也被保留。模型只有准确预测这些结果，才能获得相应分数。
研究团队将这一能力称为“执行一致性”。在其设计的评测框架中，模型需要经受三方面考验：能否忠实反映给定动作带来的结果，包括错误动作和失败操作；能否适应人类遥操作与机器人自主执行等不同动作分布；以及随着预测时间延长，能否控制误差持续累积。
目前，WorldOracle的评测集包含335条真实操作轨迹，覆盖智元精灵G2机器人、YAM机器人和人类第一视角手部操作等场景，单条轨迹时长约两分钟。其中，约四成交互片段属于失败或次优执行。任务涵盖水果抓取、挂毛巾、倒水和开合抽屉，分别涉及刚体、柔性物体、流体和关节结构等不同物理形态。为检验评测指标是否可靠，研究团队还组织119名参与者，对128组预测结果进行盲评。结果显示，四项评测指标与人类判断的一致率为88.1%至93.2%。
目前，WorldOracle已开放评测榜单和提交指南，支持开放权重与闭源模型参与。开发者通过注册审核后，可根据模型支持的机器人本体和评测赛道提交预测视频，查看综合得分、分项成绩以及预测与真实执行的对比结果。
原标题：《世界模型会“说谎”？真机评测平台WorldOracle来了》
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
