网易首页 > 网易号 > 正文 申请入驻

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

0
分享至


在 RoboCasa365 官方榜单上,HexaShell 以 85.6% 的总体成功率登顶第一。

编辑丨李希

Physical Coding 用代码连接数字世界与物理世界:模型提供理解、推理与编程能力,Harness 组织工具、执行行动并返回反馈,任务与环境检验 Agent 能否真正解决问题,并为进一步改进积累经验与数据。

沿着这一思路,六角未来对此前构建的 HexaShell-Preview 进行了改进,让前沿模型的理解与推理能力能够更可靠地转化为行动。改进后的 HexaShell 在 RoboCasa365 官方榜单中登顶第一,领先第二名21.2 个百分点。

同时,为推动模型本身的进步,六角未来与清华大学、北京大学和新加坡国立大学联合发布了 EmbodiedLab,一个为求知而行动的科学实验评测基准:在可交互、可验证的实验环境中,检验 Agent 自主探索、获取证据和完成任务的能力,并积累经过验证的任务轨迹,为模型训练提供有效数据。


01

HexaShell:登顶 RoboCasa

▎RoboCasa 官方榜单第一,领先 21.2 个百分点

在 RoboCasa365 官方榜单上,HexaShell 以 85.6% 的总体成功率登顶第一,领先第二名超过 20 个百分点——而此前其他方案的成绩还在及格线附近徘徊。


RoboCasa365 是斯坦福、UT Austin 等机构发起的 RoboCasa 仿真平台,是当前全球具身操作领域的主流评测基准之一,其官方榜单云集 π0、英伟达 GR00T、Meta ProWAM 等全球头部具身模型,是行业公认的“硬考场”之一。RoboCasa365 以仿真厨房为场景,任务覆盖食材处理、器具操作、多步骤烹饪等。Agent 需要观察场景、组织动作,并根据执行反馈持续推进。相较于单个动作的完成,把多个操作可靠地衔接成完整的任务流程,对模型的理解、规划与工具使用能力提出了更高要求。

除 RoboCasa 外,HexaShell 在 LIBERO-PRO、RoboTwin、RoboDojo(正在提交官方评测) 等基准上也超过了当前 SOTA 水平。这些基准在任务流程、场景变化和操作要求上各有侧重,也从不同角度检验了HexaShell 的泛化性。


▎通用 Harness:任务逻辑与硬件实现解耦

HexaShell 采用分层架构,把与具体机器人无关的通用能力,和与具体机器人相关的执行细节解耦。通用能力只需实现一次,便可在所有环境中复用。环境差异则统一收敛到最底层的轻量适配层。

  • 统一的机器人接口:模型在任务空间中表达意图,给出末端应到达的位置与朝向,而不直接操作关节空间,也不依赖具体的控制方式。感知、测量与运动接口在所有环境中保持一致。

  • 轻量的适配层:每个环境仅需实现一层适配,把接口请求映射为该环境原生的控制指令,并读取相机与本体状态。同构的机械臂共享同一运动规划模块,真机也能直接接入其自带的运动服务。

  • 不依赖特权信息:Agent 只使用真实机器人同样能获得的观测,包括相机图像、相机标定、本体状态和任务指令,而不访问仿真器内部的任何状态。这为能力从仿真迁移到真机提供了基础。

在具体实现上,约 9,300 行核心代码在所有环境间共享,每个环境的专用适配仅 350–1,450 行。依托这套架构,HexaShell 已在 Isaac Sim、MuJoCo、SAPIEN 三种仿真器中运行,覆盖 ARX X5 与 Franka Panda 两类机械臂,并已接入真机。

前沿模型为 Agent 带来了理解目标、制定计划和分析反馈的能力,HexaShell 让这些能力在现有的评测基准中得到了充分发挥。 要让模型能力继续向前,则需要让它面对更开放的任务和环境,在与真实世界的交互中探索方法、验证结果,为后续训练产生有效数据,拓展能力边界。因此,六角未来团队尝试把更多探索性的任务交给 Agent,检验其主动求知的能力。


02

EmbodiedLab:

为求知而行动的评测新基准

人类是在行动中认识世界的。科学就是一门为求知而行动的学科:提出假设、设计实验、取得证据,再根据证据修正认知。当 Agent 开始承担更开放的任务,同样需要检验它能否通过行动探索未知、形成判断。

▎Act to Know:让 Agent 为求知而行动

EmbodiedLab 希望检验 Agent 能否自主提出方法、获取证据、探索未知,但现有评测仍缺少对这一完整过程的覆盖:一类侧重Act to Change,考查 Agent 能否通过操作达成指定状态;另一类侧重科学探索,却常通过文本动作、数值查询或仪器调用直接返回结果,简化了信息获取所需的物理操作与测量。

在真实任务中,行动决定了能观察到什么,观察又影响下一步行动。EmbodiedLab 将实际操作与自主探索融入同一任务:Agent 仅获得实验目标、可用器材和操作规则,自主决定如何完成实验。

Act to Know关注 Agent 能否判断自己需要弄清什么,并通过行动找到答案。科学实验为此提供了可量化的评测载体:即使原理已知,装置参数仍需测量。Agent 需要自主选择方法、操作装置、读取数据,在“行动—观察—判断—再行动”的循环中逐步查明未知,并以实验结果检验探索的有效性。


▎实验设置与前沿模型的成绩

实验设置

EmbodiedLab 在仿真实验室中设置了30 项定量实验、14 个装置平台,覆盖力学、电学、光学、热学与化学 5 个学科领域,检验 Agent 在精细操作、长流程任务、精准读数、多点数据采集与分析等 4 个能力维度上的表现。同时,EmbodiedLab 还设计了隐藏任务评测,观察 Agent 面对未公开的新任务时,能否继续自主选择方法、取得证据并完成目标。

成功标准

成功 = 结果准确 + 证据有效 + 装置复原。

  • 结果准确:误差在仪器的容差范围内;对于预测或配置类任务,结果提交后装置还会继续运行,检验预测是否准确、配置是否达到目标。

  • 证据有效:引用的数据来自本次运行,且测量条件成立,例如托盘静止、温度稳定。

  • 装置复原:满足任务规定的结束状态,包括关闭设备、断开电源、将部件归位等要求。

评测同时记录成功率与过程分数:成功率衡量完整完成任务的比例;过程分数按开始操作、形成可测状态、取得有效读数、获得充分数据、结果及证据达标、装置复原六个连续阶段累计,满分 100 分,用于比较任务进展。

评测结果

七个前沿模型分别运行在其开发者提供的 Coding Agent 中,完成同一组实验。在提供相机画面、机器人状态与基础控制接口的标准设置下,由 Agent 自行组织操作、测量与分析,最高成功率为 43.3%。


部分 Agent 的多数运行在取得充分数据之前就已失败;表现较强的三个 Agent 在达到准确结果阶段的比例接近,约为 51.7%—55.0%;是否完成实验台复原,进一步拉开了最终成功率。


六角未来欢迎感兴趣的研究者和团队共同参与评测,一起探索 Agent 怎样走出数字世界,在和物理世界的交互中获得可靠的认知,并将这些认知用于新的问题。


03

从真实应用出发,

让智能在物理世界进化

在已有的评测中找到更好的解题方法,也用新的试卷探索物理智能的更多可能。两项工作共同服务于 Physical Coding 的发展,让模型、Harness 与数据在实践中持续迭代,让工具解决问题的能力逐步沉淀为模型的能力,在提升已有任务表现的同时,逐步拓展 Coding Agent 的能力边界。

应用即评测、评测即数据、数据即智能。六角未来相信,真实世界中尚待解决的复杂问题,会不断为智能的发展带来新的方向。真实需求提出问题,实验检验解决方法,经过验证的经验推动模型进步,更强的模型再回到新的任务中,接受下一轮检验。

六角未来期待,AI 能够自主构建工具、探索解决方案,并在行动中检验和修正对世界的理解。从完成一个实验,到推进一项研究,Physical Coding 将逐步走向更开放的科学研究与工程探索,让每一次经过验证的探索,都成为下一次发现的起点。

References

HexaShell

Paper: https://arxiv.org/abs/2610.23479

Github: https://github.com/HexaFuture/HexaShell

EmbodiedLab

Benchmark: https://hexafuture.ai/benchmarks/embodiedlab

Paper: https://arxiv.org/abs/2610.35385

Github: https://github.com/HexaFuture/EmbodiedLab

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
冲出亚洲!成都蓉城因祸得“服”:丢了中超,却赢得世界

冲出亚洲!成都蓉城因祸得“服”:丢了中超,却赢得世界

足球大腕
2026-11-08 22:16:06
世界三大天然良港

世界三大天然良港

谭老师地理大课堂
2026-11-10 07:03:41
赫格塞思被弹劾,美国政治洗牌的一张“试纸” | 京酿馆

赫格塞思被弹劾,美国政治洗牌的一张“试纸” | 京酿馆

新京报评论
2026-11-10 18:28:04
CBA最新消息,山东男篮普卢默,广东男篮博日奇,入选各自国家队!

CBA最新消息,山东男篮普卢默,广东男篮博日奇,入选各自国家队!

7号观察室
2026-11-11 00:50:09
白酒再次成为关注对象!多名院士发现:常喝白酒的人,有6个变化

白酒再次成为关注对象!多名院士发现:常喝白酒的人,有6个变化

任医生聊健康
2026-11-09 12:30:37
无解,降薪重签勇士,再组新三巨头豪阵,西部争冠格局又变了

无解,降薪重签勇士,再组新三巨头豪阵,西部争冠格局又变了

月光婉儿f
2026-11-11 01:40:48
美国校车逐渐变成AI罚款机器:摄像头开出数十万张罚单 安全效果却存疑

美国校车逐渐变成AI罚款机器:摄像头开出数十万张罚单 安全效果却存疑

cnBeta.COM
2026-11-09 23:11:10
跌至西部第十!约基奇轰25+16+9难求一胜 掘金已不在夺冠行列?

跌至西部第十!约基奇轰25+16+9难求一胜 掘金已不在夺冠行列?

颜小白的篮球梦
2026-11-10 12:04:47
公公住我别墅6年,70大寿当众宣布房子留给大儿子,婆婆示意我别写

公公住我别墅6年,70大寿当众宣布房子留给大儿子,婆婆示意我别写

麦子情感故事
2026-10-24 23:07:09
利智风流史:被4男人抛弃,传闻与赌王生3子女,吊李连杰10年

利智风流史:被4男人抛弃,传闻与赌王生3子女,吊李连杰10年

李侽在北漂
2026-11-09 21:27:52
要价50亿英镑,格雷泽再次挂牌曼联,三大疑问:要价比三年前更高

要价50亿英镑,格雷泽再次挂牌曼联,三大疑问:要价比三年前更高

光辉记
2026-11-11 00:44:34
看完火箭110-100掘金,不得不说5个事实,杜兰特才是赢球基本盘!

看完火箭110-100掘金,不得不说5个事实,杜兰特才是赢球基本盘!

田先生篮球
2026-11-10 13:48:56
原来我们身边藏着这么多暴利行业?网友:20多分钟1000多就没了

原来我们身边藏着这么多暴利行业?网友:20多分钟1000多就没了

夜深爱杂谈
2026-10-29 21:47:09
“吃相和面相一样难看!”那个攥着铁叉护食的小女孩看着让人恶心,家长还发在网上,网友:从小不教就这下场

“吃相和面相一样难看!”那个攥着铁叉护食的小女孩看着让人恶心,家长还发在网上,网友:从小不教就这下场

蝴蝶花雨话教育
2026-11-10 00:05:11
本田宣布多项北美混合动力投资,包括一座年产能24万辆的俄亥俄新厂

本田宣布多项北美混合动力投资,包括一座年产能24万辆的俄亥俄新厂

IT之家
2026-11-10 14:35:21
我姐在银行上班,2023年忽悠我485一克买了100克金条保值,砸进去4.8万;今年金价涨到800多,拿去卖时傻眼了

我姐在银行上班,2023年忽悠我485一克买了100克金条保值,砸进去4.8万;今年金价涨到800多,拿去卖时傻眼了

白马惊天剑
2026-11-07 08:59:18
我军已提前摸底,美军一旦对上海发动打击,中方有把握一击必胜

我军已提前摸底,美军一旦对上海发动打击,中方有把握一击必胜

疯狂的小历史
2026-10-16 11:18:38
2026中超落幕,申花狂揽4块冠军奖牌!并让剧院前排的人都坐下!——申花取得久事入主四年来最佳成绩!

2026中超落幕,申花狂揽4块冠军奖牌!并让剧院前排的人都坐下!——申花取得久事入主四年来最佳成绩!

我们爱上海申花
2026-11-10 08:20:27
水果烂了一点,切掉坏的继续吃?中国疾控中心说得很直接:发霉的,切掉也不能吃

水果烂了一点,切掉坏的继续吃?中国疾控中心说得很直接:发霉的,切掉也不能吃

富贵说
2026-11-07 17:48:50
今天 11 月 10 日,全体退休人员注意:11 月养老金发放,必查三项!

今天 11 月 10 日,全体退休人员注意:11 月养老金发放,必查三项!

白昼说故事
2026-11-10 09:46:11
2026-11-11 05:32:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7793文章数 20796关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

体育要闻

大连足球这些年的起落,都从他身边经过

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

教育
时尚
旅游
健康
手机

教育要闻

中俄教育年独家专访|远东联邦大学副校长详解赴俄留学新趋势

蓝色+灰色、绿色+棕色,今年穿4组配色好看又减龄!

旅游要闻

直播间低价旅游卡兑现难 文旅消费陷阱如何破?

痘痘长到25岁还没完?查查内分泌

手机要闻

全系都有背屏!荣耀700系列续航不打折扣:7.96mm厚度同档最大电池

无障碍浏览 进入关怀版