网易首页 > 网易号 > 正文 申请入驻

刚刚,AI圈爆出王炸!实现「万物共脑」,连大脑带具身越狱到现实

0
分享至


新智元报道


物理AI正在成为人工智能产业最受关注的方向之一。

而让AI走出屏幕,则需要三样东西。一颗足够可靠的大脑,一套能组织它持续工作的执行系统,以及一个能连接物理设备的身体。模型能力不断进步,Agent执行框架持续完善,但现实世界中形态各异的设备仍然给智能体的理解与调用带来挑战。

围绕模型能力、Agent执行与物理设备连接Agnes AI此次带来了新的技术进展。

Agnes Harness(AGH)正式开源。作为一套面向真实任务的Agent执行基础设施,AGH支持持续任务执行、工具调用、状态管理与结果反馈。同时,AGH体系中的MHS(Model Hardware Standard)设备交互协议及相关组件也同步开放,让开发者能够在同一套执行环境中连接软件工具与可编程硬件。

此外,新一代模型Agnes 3.0 Pro迎来能力升级,其API即将上线。

从模型推理到任务执行,再到物理设备连接,Agnes AI正在将这些能力整合进同一套技术体系,让AI能够参与更复杂的真实任务,并进一步向物理世界延伸。

Agnes Harness开源:

让Agent能够持续执行真实任务

Agnes AI此次开源的Agnes Harness(AGH),是一套面向真实工作场景的开源Agent Harness,为Agent提供持续运行和多端交付所需的执行底座。

开发者可以通过Web工作台或命令行使用它,也可以接入自己的工具,在此基础上构建面向不同场景的Agent应用。

目前,AGH已在GitHub开放源码及相关开发文档,开发者可以通过源码安装运行,并根据实际需求进一步扩展。

GitHub开源地址:

https://github.com/AgnesAI-Labs/agnes-harness

打开AGH的Web工作台,首先看到的是一个运行在本地环境中的对话界面。开发者可以指定工作目录、发送任务指令,让Agent读取文件、执行命令,再根据执行结果继续修改已有工程。

这一过程依靠AGH的Agent Loop持续推进。模型负责判断下一步操作,Harness则负责调用工具与接收反馈并把结果交回模型,直到任务结束或需要人工介入。


但当任务变得复杂,只看对话记录往往不够。

比如当一个Agent修改了十几个文件,执行过多次命令,最终却没能通过测试时。如何判断是哪一步出了问题?是模型判断失误,还是某个工具执行失败?

在AGH的「轨迹」页面中,开发者可以沿着时间轴回看任务的执行过程。模型调用了什么工具,每个步骤执行了多久,都可以在界面中查看。展开具体记录,还能进一步检查工具参数与执行状态,帮助开发者定位问题。


在扩展能力方面,AGH开放了插件扩展机制。用户可以通过插件接入自己的业务工具,利用MCP连接已有服务,也可以针对不同岗位开发专属界面。

在插件管理页面中,用户能够浏览可发现的插件,查看来源、版本及兼容信息,并进行安装和管理。已经验证过的任务方法还可以通过Skills保留下来,并在其他项目中继续使用。


这些能力也为企业场景的定制提供了基础。

通过FDE(Forward Deployed Engineering)交付方式,工程团队可以深入具体业务现场,根据企业已有系统完成接入与适配。项目中形成的工具、任务方法和业务规则,可以逐步沉淀为可复用的能力,减少后续部署中的重复开发。

AGH还通过App Server让不同使用界面共享同一套后台任务。开发者可以在Web工作台中发起任务,再通过命令行恢复同一会话,不必重新整理此前的操作记录。

从持续执行到业务扩展,AGH为开发者提供了一套可深度定制的Agent运行环境。而当这些工具进一步延伸到机器人、实验仪器等物理设备,Agent的工作范围也随之扩展到现实世界。

从软件到现实世界

Agent开始连接物理设备

除了软件工具与企业系统,AGH还通过MHS将物理设备接入纳入同一套任务执行体系。AGH也进一步从单纯的Agent开发框架,升级为面向多模态大模型、智能体与可编程硬件的开放式基础设施平台。基于MHS支持多类设备接入,让大模型与智能体能够连接真实的物理设备。

Agnes AI团队给AGH布置了一项任务,让办公室里的移动小车找到指定书籍,并通过语音读出书中的内容。

在演示中,小车根据任务要求完成了找书与语音朗读。从接收指令到实际操作,Agent的执行范围开始从软件工具延伸到现实设备。

这背后涉及另一项同步推进开源的技术:MHS(Model Hardware Standard)。

MHS是Agnes AI自主设计的统一设备交互协议,面向各类具有可编程接口的硬件。通过统一的交互方式,设备可以向Agent提供自身的功能与操作信息,让智能体在面对从未使用过的设备时,也有机会理解其能力,并根据任务要求调用相应操作。

在这一体系中,AGH负责组织整个任务,MHS负责连接具体设备。模型根据目标判断下一步需要做什么,AGH协调工具调用与执行反馈,再通过设备接口完成相应操作。涉及关键步骤时,也可以根据任务要求引入人工确认。

Agnes AI还构建了一座名为Mars World的虚拟火星基地,并在其中设计了一项救援任务:一名宇航员在基地外失去联系,Agent需要利用基地内的设备寻找宇航员,并组织救援。

这是一项基于虚拟设备的模拟实验,重点展示AGH如何组织多设备任务,以及MHS如何为不同设备提供统一的交互方式。在这一模拟场景中,Agent可以调度飞行器搜索目标区域,安排机器人执行救援,并协调基地气闸等设施。整个过程需要结合地图、设备状态与任务反馈,持续推进多个操作步骤。

此次开源的还包括配套的设备接入与开发工具。Agnes AI同步开放了MHS 1.0设备协议、MOS 1.0感知数据协议、AgnesHub设备连接组件、Python与TypeScript开发库,以及mhs-check一致性测试套件。

其中,MHS负责设备状态、工具调用与动作请求,MOS负责相机、传感器、地图等观测数据的传输。开发者可以通过公开的设备开发库接入自己的硬件,并使用一致性测试套件检查协议实现情况。

目前,官方仓库已经提供包含11台虚拟设备的Mars World示例,以及移动机器人、机械臂、传感器等本地模拟设备。开发者无需准备实体硬件,也能体验完整的设备接入与任务调用流程。


从办公室里的移动小车,到虚拟火星基地中的多设备救援,AGH与MHS展示了从真实设备连接到复杂任务协同的不同应用方式。随着更多设备适配得到开发与验证,这套开源体系也为机器人巡检、科研实验与现场作业等场景提供了进一步探索的基础。

MHS开源代码:

https://github.com/AgnesAI-Labs/agnes-harness/tree/main/packages/mhs

MHS设备接入指南:

https://github.com/AgnesAI-Labs/agnes-harness/blob/main/docs/guide/mhs.md

Agnes 3.0 Pro能力升级

API即将上线

无论是在软件环境中处理复杂任务,还是通过接口与现实设备交互,Agent都需要模型来处理信息并作出判断。

在执行系统与设备连接之外,Agnes AI也公布了新一代模型Agnes 3.0 Pro的最新能力进展,其API即将上线。

在涵盖科学推理、科研编程、指令遵循、业务任务执行及综合知识等能力的六项公开基准测试中,Agnes 3.0 Pro展现出较为全面的能力表现。其中,GPQA取得91.11分,SciCode取得56.13分,与GPT-5.6 Sol(Max)的成绩相差不到1分;在Tau3-Banking模拟银行业务评测中,以48.0分位列本次对比模型第一。


在高难度科学知识与推理评测GPQA中,Agnes 3.0 Pro取得91.11分。GPQA主要考察模型对专业科学问题的理解与推理能力,为衡量模型处理复杂知识任务的表现提供参考。

在科研编程基准SciCode中,Agnes 3.0 Pro取得56.13分,位列本次对比模型前三。SciCode围绕科学研究中的实际编程问题设计,要求模型结合专业知识、推理与代码实现完成任务。在本次对比中,Agnes 3.0 Pro与GPT-5.6 Sol(Max)的57.1分仅相差0.97分,体现了其在科研编程任务中的竞争力。

不同评测反映的是模型在特定任务下的能力表现。对于Agent而言,更重要的是这些能力能否在实际任务中得到体现。

为此,我们还让Agnes 3.0 Pro尝试了一项模拟企业任务:将历史订单服务迁移至新版API,并完成100笔订单的资金日结核验。

除了评测成绩,我们还让Agnes 3.0 Pro尝试了一项模拟企业任务,即将历史订单服务迁移至新版API,并完成100笔订单的资金日结核验。测试材料中预设了重复记录和财务记录缺失等问题。模型需要理解接口文档修改代码,并逐笔核对各项数据。

最终,Agnes 3.0 Pro识别出3笔金额差异、2笔财务记录缺失和4组未决退款。在独立验收中,交付代码通过了10项测试,100笔订单的逐笔结果与预设标准答案一致。对于证据不足的退款,模型保留了未决状态,没有自行选择金额或猜配订单。

在创意开发任务中,Agnes 3.0 Pro制作了一座可交互的热带植物数字温室。从植物的资料整理,到多张植物插画的生成与组织,再到网页布局和交互开发,任务涉及多个连续步骤。最终呈现的页面支持旋转浏览植物标本架、查看单株植物资料,并通过交互探索不同植物的形态特征。

此外,Agnes 3.0 Pro还将一篇天文学论文转化为交互式科普网页。模型重新组织论文内容,并通过行星凌星模拟等交互设计,将专业研究中的复杂概念转化为更加直观的阅读体验。

从复杂业务数据处理到交互应用开发,这些案例展示了Agnes 3.0 Pro在不同类型任务中的实际表现。

Agnes 3.0 Pro在提升模型能力的同时,依然延续了具有竞争力的定价策略。更低的调用价格,有助于开发者控制长期运行和反复调试的成本,也让复杂AI应用的开发与部署拥有更多尝试空间。

Agnes 3.0 Pro API即将正式开放,参考定价如下:


与此同时,Agnes 3.0 Flash继续保持免费使用。对于需要频繁调试Agent、验证工作流或开展多轮开发实验的用户而言,免费模型能够进一步降低试错门槛,让开发者不必因为Token消耗而限制尝试次数和迭代空间。

从具备复杂任务处理能力的3.0 Pro,到持续免费开放的3.0 Flash,Agnes AI为不同需求的开发者提供了更灵活的模型选择。模型能力与使用成本之间的平衡,也将影响AI应用能否从一次性演示走向持续运行。

3.0 Pro提供模型能力,AGH负责组织任务执行,MHS则将智能体的能力进一步延伸至物理世界。

从Coding、Research到企业系统与真实设备,三者分别面向模型推理、持续执行和硬件连接,为更多Agent应用提供了技术基础。

模型仍在进步,但Agent时代的竞争已经不只发生在模型能力本身。如何将模型、工具、数据、权限、应用和物理设备组织成可靠的系统,正在成为下一代智能基础设施的重要命题。

大脑、记忆和身体,现在都在你手里了。

开源与体验入口:

Agnes Harness:

https://github.com/AgnesAI-Labs/agnes-harness

AGH技术报告:

https://github.com/AgnesAI-Labs/agnes-harness-tech-report

MHS设备接入指南:

https://github.com/AgnesAI-Labs/agnes-harness/blob/main/docs/guide/mhs.md

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中方立场很坚决,若胡塞横扫也门,夺得政权,我们绝不会立马承认

中方立场很坚决,若胡塞横扫也门,夺得政权,我们绝不会立马承认

旧史新谭
2026-10-11 05:34:53
4-0!39岁梅西双响+1V3破门 助迈阿密终结5轮不胜 生涯已进934球

4-0!39岁梅西双响+1V3破门 助迈阿密终结5轮不胜 生涯已进934球

我爱英超
2026-10-11 09:41:37
14亿老百姓的疑问:大数据全覆盖的时代,为什么医院的检查结果,永远不能通用?

14亿老百姓的疑问:大数据全覆盖的时代,为什么医院的检查结果,永远不能通用?

青苹果sht
2026-10-10 06:01:13
国际油价18年间跌了55美元,国内油价却从5.44元涨到8.58元?

国际油价18年间跌了55美元,国内油价却从5.44元涨到8.58元?

爆角追踪
2026-10-10 23:30:31
二十一大马上召开,为什么现在重提70多年前的“两个务必”呢?

二十一大马上召开,为什么现在重提70多年前的“两个务必”呢?

補懂事的孩紙
2026-10-11 08:40:32
男子吃妻子情夫的醋,2010年为让妻子证明更爱他,让妻子将情夫诱来杀死

男子吃妻子情夫的醋,2010年为让妻子证明更爱他,让妻子将情夫诱来杀死

汉史趣闻
2026-10-10 13:59:11
女子找情夫缠绵,被情夫的妻子阻止脱裤子,2015年她砍伤情夫妻子后被杀

女子找情夫缠绵,被情夫的妻子阻止脱裤子,2015年她砍伤情夫妻子后被杀

汉史趣闻
2026-10-11 09:46:16
人社部:要把未参保人员找到动员参保,网友:灵活就业人员是重点

人社部:要把未参保人员找到动员参保,网友:灵活就业人员是重点

东方豪侠
2026-10-11 06:32:43
雅思考试大面积取消,有考生在考场外崩溃大哭:offer待确认,急需语言成绩;多方最新回应

雅思考试大面积取消,有考生在考场外崩溃大哭:offer待确认,急需语言成绩;多方最新回应

91.6陕西交通广播
2026-10-10 21:49:56
由他们去吧!韭菜和镰刀其实也是绝配

由他们去吧!韭菜和镰刀其实也是绝配

细雨中的呼喊
2026-10-10 22:53:11
梅西获评10分+加冕MVP:梅开二度,现场视角还原,太丝滑了

梅西获评10分+加冕MVP:梅开二度,现场视角还原,太丝滑了

侧身凌空斩
2026-10-11 09:39:15
自闭症男童乘电梯遭男子踹倒“被踹后自己躲起来”

自闭症男童乘电梯遭男子踹倒“被踹后自己躲起来”

看看新闻Knews
2026-10-11 00:05:05
永州周女士全网火了!离婚纠纷牵出实名举报,网友:9个男人的原配,才是最揪心的人

永州周女士全网火了!离婚纠纷牵出实名举报,网友:9个男人的原配,才是最揪心的人

火山詩话
2026-10-10 06:55:40
国外发现“饿两天定律”,体重从138斤降到108斤,稳稳瘦下30斤

国外发现“饿两天定律”,体重从138斤降到108斤,稳稳瘦下30斤

健身狂人
2026-10-11 00:58:32
美俄柴油协议,就是今天的慕尼黑协议

美俄柴油协议,就是今天的慕尼黑协议

晓看说
2026-10-11 09:12:58
蓉城冠军要丢!京媒:大连英博有望夺冠,还拥有主动权

蓉城冠军要丢!京媒:大连英博有望夺冠,还拥有主动权

建哥说体育
2026-10-11 08:55:10
男子称三人赴泰旅游,姐夫和弟弟外出后失联 泰国皇家部队‌内部安全行动司令部人士:切勿上他人安排车辆

男子称三人赴泰旅游,姐夫和弟弟外出后失联 泰国皇家部队‌内部安全行动司令部人士:切勿上他人安排车辆

红星新闻
2026-10-10 19:22:04
百万粉丝博主实锤女友出轨多男,“捉奸”细节太劲爆,当场崩溃

百万粉丝博主实锤女友出轨多男,“捉奸”细节太劲爆,当场崩溃

往史过眼云烟
2026-10-10 12:06:25
湖南永州周局长的仕途,为什么能做到极致

湖南永州周局长的仕途,为什么能做到极致

黔有虎
2026-10-10 22:13:23
广西男子河道捞沙时捡到春秋编钟卖了30万元,被判5年并追缴违法所得

广西男子河道捞沙时捡到春秋编钟卖了30万元,被判5年并追缴违法所得

极目新闻
2026-10-10 12:10:07
2026-10-11 12:40:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16399文章数 67153关注度
往期回顾 全部

科技要闻

卸任CEO后,苹果董事长库克再度到访中国

头条要闻

牛弹琴:特朗普发出最后通牒 泽连斯基的至暗时刻来了

头条要闻

牛弹琴:特朗普发出最后通牒 泽连斯基的至暗时刻来了

体育要闻

十年回首:湖人三榜眼的夏天,与NBA无关

娱乐要闻

梅艳芳63岁冥诞骨灰被盗,亲哥从不知情

财经要闻

黄仁勋长女完婚,万亿帝国如何传承?

汽车要闻

红旗天工07上市 限时16.79万起 硬核通关巴音布鲁克

态度原创

时尚
艺术
教育
房产
数码

伊姐周六热推:电视剧《魅影神捕》;电视剧《美人余》......

艺术要闻

中国当代画家,区础坚作品选(二)

教育要闻

秋色漫峰峦 少年共登攀 | 济南望岳路小学首届“大手拉小手”混龄登山节活动燃爆金秋

房产要闻

海棠湾销冠再出牌:海南顶豪「终局答案」,突然砸出!

数码要闻

行业首款八千元档4K 120Hz投影坚果N5S Turbo高刷版亮相,支持小米米家生态联动

无障碍浏览 进入关怀版