网易首页 > 网易号 > 正文 申请入驻

自进化AI「杀」进物理世界!王者峡谷屠神,从0打到全胜

0
分享至


新智元报道


一支王者荣耀AI战队,开局被游戏内置人机按在地上摩擦,一局都没赢过。

谁也没想到,AI教练只带它复盘了五轮,胜率竟从0%直接打到了100%!

全程没有训练任何一个模型,每一版新战术本,都是AI教练自己改出来的。

这场5v5,正在南京2026物理AI与世界模型大会上直播,大屏就挂在爱思科技(Agnes AI)的展台上。


右边记着这支战队每一版的评分和胜率

而在隔壁屏幕上,一条仿真机械臂正一边干活,一边改自己模型的参数,最快30分钟就迭代一轮。

王者战队变强,靠的是AI教练一遍遍改写战术;机械臂越抓越准,靠的是模型边干活边学。这正是AI自我进化的两条路,这一次,爱思同时跑通了。

这套思路有个名字,叫「万物共脑」——让智能从数字世界,走进物理世界!


一个「脑子」根本不够用

为AI装上大脑、小脑与肉身

想想开车:判断「前方拥堵,绕道走」,靠的是大脑;踩刹车、打方向几乎不过脑子,靠的是小脑。要是每踩一次刹车都得先想上两秒,车早就撞了。

今天的大模型,就像一个只会动脑的司机,聪明,但反应慢。可物理世界没有「撤回键」,所以慢一拍,就可能出事。

因此,爱思没有去堆一个更大的模型,而是照着人体的分工,给AI搭了一整套系统。这套系统叫Agnes Harness,是开源的Agent基础设施,一共分成六块:

  • 大脑|LLM(Agnes 3.0 Flash等):理解问题、长远推理,想一次要1.7秒。

  • 小脑|决策模型Jev:在有限的选项里快速拍板,0.23秒给出答案,比大模型快7倍左右;拿不准的,再交回大模型。

  • 反射弧|Workflow(工作流):固定的标准动作写成既定流程,信号一到立刻触发,不占脑力。

  • 记忆与主动性|Agent Loop(自主循环):管住上下文和记忆,自己推着「感知、思考、行动」一轮轮往前走。

  • 学习能力|RSI/TTT:RSI让系统自己改进做事的方法,TTT让模型边干活边学,越用越强。

  • 身体|MHS(模型硬件标准):AI接入物理世界的「USB接口」,机器人、小车、相机都能标准化「接上线」。

开篇那两条进化路线,靠的就是其中的学习能力。

在系统层,Agnes Harness RSI让AI自己改进做事的方法,比如改写战术、提示词和代码,模型本身一点不动;在模型层,Agnes Embed TTT让模型边干活边学,直接更新自己的参数。

把两者合在一起,便是「双进化智能系统」。


系统进化RSI

AI教练复盘五轮,战队从0胜打到全胜

展台上那支王者战队,编制照搬了一支职业电竞战队。场上有指挥(大模型,约每30秒定一次大方向)、选手(Jev,每个英雄配一个,约每2秒做一次决策),还有负责走位、普攻、放技能的「肌肉记忆」(战术本代码,每秒执行5次)。

场下坐着的教练,则是即将上线的Agnes 3.0 Pro。它从不上场,只在每局结束后出手。复盘时,它看的是一份没有战争迷雾的完整录像,场上选手看不到的敌人动向,它都看得一清二楚。

可看得再全,教练能动的也只有一样东西:整支队伍的战术本,包括指挥的提示词、选手能选的动作,以及每个动作背后的代码。至于模型本身,它一个参数都不碰。


复盘、改战术本、通过测试再上场,一轮接一轮循环下去,AI就在系统层面不断改进自己,也就是递归自我改进(RSI)。

一开始,这支队伍一局都没赢过人机。教练改出第一版战术本后,队伍拿下首胜,胜率42%;第二版升到63%,第三版到了90%。到了第四版,教练开始追求赢得更快,一局从约17分钟缩短到约14分钟。

到了第五版,它对人机终于一局不输,胜率打到了100%。

胜率打满了,进化却没有停。此后每个新版本,都得正面打赢上一版才能留下:第5版击败了第4版,第6版又击败了第5版。大屏上的这支队伍,仍在一版一版往上进化。

除了5v5之外,Agnes还在公开的实验报告里,完整记下了1v1和3v3两组实验。

其中,3v3那组用的是一支从零开始的三人队,1v1里学到的东西一点没带。起步阶段,它打了192局,一场没赢。


3v3对局画面,下方是指挥给每个英雄定的计划

于是,AI教练开始翻录像。它写下的批注,像极了一个被气坏的真教练。

第一轮:「79%的存活时间里,英雄血量在九成以上,却待在家里。」

原来,Jev在3.6万次决策里,有2.4万次选了撤退,活脱脱的泉水挂机。教练当即把撤退降成兜底选项,规定英雄一脱离危险就回线。

第二轮:教练发现,指挥一喊撤退,选手有73%的时候都会去选兜底动作。所以它干脆不许指挥再下「回血」这种计划,而是给每个英雄排好一串具体动作。

第三轮:明明局面已经是「敌方3人全死,两座塔都没了,水晶满血」,队伍的计划却还停在「发育」。教练随即补上新规矩:敌人全灭,立刻清兵推塔!

就这样,三轮下来,3v3对内置Bot的胜率从0涨到13%、39%,最后到了60%。

另一组1v1实验里,最开始的战术本只能赢3%。教练一版版改下来,最好的一版胜率到了90%。



当然,教练写的新打法不能直接上场。每一版都要先过研究人员定好的考试,一共五关:代码安全检查、和现役打法对打24局、挑战历代最强的打法、换没见过的英雄再打、对内置Bot打48局。这些局数和门槛,教练一个都改不了。

就算拿一份和现役打法一字不差的复制品去闯关,通过率也只有1.0%。所以1v1的六轮实验里,教练写了111个候选,最后只有4个转正。

从3%的胜率一路打到48局终检95.0分,这几轮1v1实验花掉的指挥和教练调用费,算下来一共才约33美元。

模型进化TTT

机械臂长出「肌肉记忆」,最快30分钟进化一轮

在王者荣耀里,模型的参数一个没动。可到了机械臂这里,要改的就是模型本身了。


这是因为,模型一旦训完、部署出去,参数基本就定死了,干活时碰到的新情况,没法马上变成新本事。

放到机械臂上,问题就很具体:抓不稳,只能先攒一批数据,停下来重新训练,再部署回去。一轮迭代往往要按周算,中间抓取失败了,还得靠人工调参。

爱思的解法,是Agnes Embed TTT(测试时训练)模型。它把数据采集、训练和推理放进同一个任务循环,机械臂一边干活,模型一边实时调整权重参数。

展台上演示的,是一只Franka Panda机械臂在MuJoCo仿真环境里干活:把红色方块搬进蓝色目标盘,五个步骤只要错一步,就算失败。


而且在这个实验里,Agnes Harness也跟着模型一起进化。

具体来说,机械臂每干一轮活,系统就采集它的运动轨迹,把空抓、半路掉落这些无效动作统统剔掉,只拿成功轨迹里的有效步骤去训练模型。训完之后,再用测试集考一遍。

  • 考过了:直接更新模型,Harness不动;

  • 没考过:Harness出手,把抓取任务拆成更细的步骤,重新采集轨迹,再调模型参数。

也就是说,模型靠训练长本事,Harness负责把动作拆细、把训练排好,给模型创造更好的学习条件。

而且每次训练,动的参数都很少:752.4M参数的主干整体冻结,只放开后面7.35M参数的决策头,不到总量的1%。训出来的新版本,任务完成率还要比现役版本高出至少5个百分点,才准上线。


这样练下来,在仿真研究里,机械臂的任务成功率从约30%涨到约70%,再涨到约90%。每一轮迭代的时间,也从按周算,压到了最快30分钟至1小时。

按新加坡国立大学助理教授李晓凡的说法,团队把数据采集、训练与推理整合进了同一个任务循环,在特定实验条件下,模型最快约30分钟就能迭代一次。


走进物理世界

一个大脑,同时指挥机器狗、小车和火星基地

不过,会进化的大脑想走出屏幕,还得先接上「身体」。

这个过程的难处在于,机器狗、相机、机械臂各说各的协议,每接一台设备,都得重写一遍底层代码。

为此,爱思定了一套标准,叫MHS(模型硬件标准)。设备接入后,先到中枢AgnesHub报到,登记自己的状态、能干什么、能提供哪些数据。

之后,大模型不用碰设备的底层代码,只用7个通用工具(查看、读取、调用、停止等)就能统一指挥。

比如在一段实测里,小车Car01和机器狗Go02被放到了一起。负责调度的Agent能用的,就是两台设备接入时登记的几项能力:看、说话、做动作、放音乐。

它先调出两台设备的摄像头,确认「两台设备面对面,相距约0.9米」,再让它们用英文互相问好。

接着,小车放起《YMCA》,机器狗跟着节拍跳了起来。


下方是两台设备摄像头的第一视角

同样的办法,也能管住一整座基地。在仿真的火星基地Mars World里,12台设备同时在线,全由同一个Agent调度。

人只说了一句「宇航员失联了」,系统就自己排好了救援:跳跃器升空找人,机器人赶到宇航员身边,气闸打开舱门,把人带回居住舱。

另一轮任务是处理陨石坠落。负责拍板的小脑Jev只用了0.6秒,带着87%的把握,就派巡视车完成了对接。


右边是12台设备的实时状态

整个调度过程中,人随时可以按下界面右上角的「全部停止」。这个按钮背后,是MHS定下的硬规矩:设备在任何状态下都必须接受停止指令,一旦断开连接,1秒内就要停下所有动作。

急停和互锁这些最后一道保险,仍然由设备自己的控制器负责。

回到南京的展台,机器狗、瓦力和一台双臂轮式机器人,接的也是同一个Harness大脑。


现场,有人在Agnes Harness里敲下一句:「小狗,去找你的好朋友瓦力,然后打个招呼。」

Agent调出机器狗的摄像头看了一眼,回了一句:「瓦力就在正前方,正对着我!走过去靠近它。」


右边是机器狗摄像头的画面,瓦力就在正中间

机器狗走到瓦力跟前,挥了挥爪子,大声打招呼:「瓦力,你好呀!好久不见,我是机器狗,很高兴见到你!」最后,它在任务报告里写道:「现在我俩正面对面站着呢。」


有人又补了一句「跳个舞吧」,它当场就跳了一段。而从找人、走过去到挥爪打招呼,每一步都是Agent看着摄像头画面自己定的。

从实验室到工厂

FDE让智能转化为真金白银

无论是峡谷超神,还是机器狗跳舞,这些场景更多只是极客的玩具。

而如何让AI真正走进企业的业务流程,解决实际问题,实现降本增效,才是技术从炫技走向商业价值的关键。

这也引出了Agnes此次展出的最后一块拼图:FDE(前线交付工程)。


FDE的工程师会进到企业的业务现场,把查询做成插件,把判断规则写成Skills。

每家企业不一样的地方放进插件,执行交给Harness,验证过的能力沉淀下来,到了下一个项目,就能像搭乐高一样直接复用。

展台FDE区挂着三块屏,分别是AIGC、医疗器械和环保科技三个行业的案例。环保科技那块的标题最直白:「把环保专家经验变成自己的AI产品」。


除了这三个行业,爱思也在和天创机器人探索电力作业场景。爱思负责视觉理解与任务推理,天创负责硬件与运动控制,双方正基于真实环境展开验证。

合作中,Agnes Harness扮演了「具身大脑」的调度角色。

比如,你只需下达指令「明天早上十点去打开配电箱」,机器人就会自动执行。这不仅有助于解决传统具身智能在复杂任务理解、动态决策和跨设备协同方面的局限,也为多任务编排及非固定流程下的任务执行提供了技术支撑,让机器人能够更灵活地应对不同场景中的作业需求。


写在最后:通往AGI的必由之路

同样的模型,也被做成了普通人能直接用的产品。

展台上就摆着本地AI工作台「爱思办公」、AI短剧平台Pavo,旁边还有开发者用Agnes做应用的「AI+黑客松」决赛现场。

在爱思科技创始人杨通看来,今后要创造的是一种真正能够参与现实世界的智能。

而这一切的底座,便是模型。


Agnes AI是一家全模态基础模型公司,从王者荣耀到机器狗、火星基地,背后调度的都是自家的Agnes 3.0系列。

目前,Agnes模型的Token调用量超65万亿,图片生成达4800万张,视频生成时长1.68亿秒。

在Agnes看来,AGI必须扎根物理现实。它得在一次次真实的抓取、搬运、救援与交付中积累因果常识,最终建立起自己的「世界模型」。


大会三天就会落幕,但在南京的这个展台上,物理AI才刚刚觉醒。

编辑:Aeneas 摩西

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
医疗反腐吹哨人兰越峰:700天走廊坚守,88票全票解聘,良知的时代叩问

医疗反腐吹哨人兰越峰:700天走廊坚守,88票全票解聘,良知的时代叩问

十为先生
2026-09-28 10:40:51
饿死人就开战?菲律宾司令放狠话:中国若不撤出仁爱礁,必有一战

饿死人就开战?菲律宾司令放狠话:中国若不撤出仁爱礁,必有一战

前行之路
2026-06-14 13:03:38
为娶小17岁的梅婷,他抛下儿子与妻子离婚,如今68岁却孤独终老

为娶小17岁的梅婷,他抛下儿子与妻子离婚,如今68岁却孤独终老

做一个合格的吃瓜群众
2026-10-10 14:01:02
考公上岸是铁饭碗吗?网友:在我们山东,一个月2000的事业编都比月薪上万的个体户有面子

考公上岸是铁饭碗吗?网友:在我们山东,一个月2000的事业编都比月薪上万的个体户有面子

带你感受人间冷暖
2026-10-20 00:05:22
女优筱田优引退3年爆不伦格斗家「已怀身孕」 男方人间蒸发

女优筱田优引退3年爆不伦格斗家「已怀身孕」 男方人间蒸发

孤独的独角兽影视
2026-10-21 10:15:08
被传上午被免职,下午被带走,登 24 年春晚却忽然消失的黄宏今咋样

被传上午被免职,下午被带走,登 24 年春晚却忽然消失的黄宏今咋样

星娱叨叨社
2026-10-08 14:52:34
张家齐妈妈急着澄清买房,李松蔚没接钱的话,先问了一句你祝福她吗

张家齐妈妈急着澄清买房,李松蔚没接钱的话,先问了一句你祝福她吗

子夜观综记
2026-10-21 15:32:08
林依轮长子和模特陈瑜官宣结婚,晒家人全家福照,林依轮夫妇出镜

林依轮长子和模特陈瑜官宣结婚,晒家人全家福照,林依轮夫妇出镜

韩小娱
2026-10-21 14:52:13
52岁刘恺威新恋情曝光,与小20岁黎纪君十指紧扣逛街甜似初恋

52岁刘恺威新恋情曝光,与小20岁黎纪君十指紧扣逛街甜似初恋

开开森森
2026-10-20 09:26:14
思文这次真的翻车了!《我家那闺女2026》淡淡爸妈都离婚20年,她在观察室瞎撮合啥啊?

思文这次真的翻车了!《我家那闺女2026》淡淡爸妈都离婚20年,她在观察室瞎撮合啥啊?

浑水默娱
2026-10-21 12:50:12
苦战五局险胜河北!刘仁德短板尽显,丁心怡亮眼发挥成最大惊喜

苦战五局险胜河北!刘仁德短板尽显,丁心怡亮眼发挥成最大惊喜

金毛爱女排
2026-10-22 00:00:04
多名院士提倡:超过65岁的老人,宁可在家做家务,也别出去做这些

多名院士提倡:超过65岁的老人,宁可在家做家务,也别出去做这些

健康之光
2026-10-18 04:45:05
美国梦碎、欧洲躺平、中国内卷:普通人阶层跨越的终极真相(2026深度好文)

美国梦碎、欧洲躺平、中国内卷:普通人阶层跨越的终极真相(2026深度好文)

经济学教授V
2026-09-03 19:17:17
为什么近代中国保住了西藏和新疆,却唯独没保住外蒙古?

为什么近代中国保住了西藏和新疆,却唯独没保住外蒙古?

磊子讲史
2026-10-07 15:31:54
血型决定寿命长短?美国60万人研究发现:A型血60岁前或更易中风

血型决定寿命长短?美国60万人研究发现:A型血60岁前或更易中风

任医生聊健康
2026-10-21 08:10:20
撕破脸!美国议员放狠话:谁敢断乌克兰卫星信号,直接砍光经费

撕破脸!美国议员放狠话:谁敢断乌克兰卫星信号,直接砍光经费

老马拉车莫少装
2026-10-16 03:15:38
1987年,4架以色列F-15突袭沙特沙漠深处的中国导弹基地,即将投弹前,塔台喊停:北京只说了一句话,中东从此变天……

1987年,4架以色列F-15突袭沙特沙漠深处的中国导弹基地,即将投弹前,塔台喊停:北京只说了一句话,中东从此变天……

回京历史梦
2026-10-21 09:45:14
贵州省黔西南州林业局党组书记、局长刘华接受纪律审查和监察调查

贵州省黔西南州林业局党组书记、局长刘华接受纪律审查和监察调查

贵阳网
2026-10-20 10:46:13
我国捐款最多的8位运动员

我国捐款最多的8位运动员

网观天下
2026-10-17 13:47:08
本以为圆满!郑钦文拿世界冠军已是高光,谁知更大惊喜接踵而至!

本以为圆满!郑钦文拿世界冠军已是高光,谁知更大惊喜接踵而至!

好叫好伐
2026-10-13 20:15:42
2026-10-22 05:39:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16485文章数 67169关注度
往期回顾 全部

游戏要闻

恐龙生存恐怖游戏《永生咒魇》登陆PC抢先体验

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天记录披露

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天记录披露

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

昔日彩电一哥缘何在今天被挤下牌桌?

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

汽车要闻

纯电/插混动力+乾崑智驾 北汽星钽5X预售价13.99万起

态度原创

房产
健康
教育
时尚
军事航空

房产要闻

J&P 集团亮相 2026 中国品牌出海博览会| 深耕跨境20载,品牌出海有J&P

痘痘能根治吗?皮肤科医生说实话

教育要闻

在南京,哪所小学“不卷”?其实卷的都是家长!

50岁的马伊琍,迎来了最佳赏味期

军事要闻

美原油储备降至44年来最低 美以伊战事或重燃

无障碍浏览 进入关怀版