网易首页 > 网易号 > 正文 申请入驻

米哈游发了个VLA论文

0
分享至

henry 发自 凹非寺
量子位 | 公众号 QbitAI

米哈游,您是准备亲自下场研究“官方脚本”了?(doge)

就在米哈游崩坏AI研发团队最新发布的研究Gamer中——

你敢信,AI竟然自己玩起了《崩坏:星穹铁道》。

键盘鼠标交给AI,上来就能和可可利亚打上一架。



碰上场景机关,也能自己上手。走到“气泡弹珠”前启动装置,把自己弹到另一片区域,落地接着跑。



跟着NPC跑图同样可以,流萤在前面带路,AI就在后面跟着,上楼梯、拐弯,一路跑到广场。



我勒个乖乖,这打Boss、开机关、跟人跑图,都让AI学会了。

这以后充值页面里,会不会有个“AI代肝”选项?

(注:《崩坏:星穹铁道》是米哈游开发的一款银河冒险题材的回合制角色扮演游戏。玩家乘坐星穹列车探索不同世界,通过跑图、对话和解谜推进剧情,并组建角色队伍进行回合制战斗。)

VLA代肝,不烧心

咱言归正传,米哈游给Gamer的定位,是面向长流程、实时交互的通用视觉—语言—动作(VLA)基础模型。



上面演示玩《崩铁》的主力版本,由团队基于参数量80亿的Qwen3-VL-8B进一步训练而来。

它能根据游戏画面和任务,决定按哪些键、鼠标往哪里移动、什么时候点击,再把这些操作真正执行出来。

换句话说,屏幕画面是它接收的视觉信号,任务指令告诉它要做什么,键鼠操作则是它输出的动作。

相较于以往的AI玩游戏,Gamer这次最大的亮点是把跨游戏的实时操作与长流程的记忆、规划,接进同一套VLA框架。



实战时,模型完全依靠屏幕画面、任务指令和已有记忆做判断,无需读取游戏内部接口或底层状态。

随着任务推进,它还会动态记录“刚才完成了什么”、“下一步准备干什么”。

在论文中,研究还给出了一组硬核的实测数据:在覆盖五个主线篇章、总计约50小时的《崩铁》长流程评估中,Gamer的自主运行时间占比超过了95%。



而为了实现这一效果,研究设计了一套三阶段训练流程:

先用跨游戏数据练操作,再用任务示范补上思考和记忆,最后让模型进入游戏,通过试错和反馈继续提升。

首先,是持续预训练(Continued Pre-Training,CPT),让已经具备图文理解能力的基座模型,进一步学会操作游戏。

具体来说,团队把不同游戏的录屏与玩家操作对齐,让模型学习画面和动作之间的关系:人物往前走,场景会怎样变化;鼠标往右移,镜头会转向哪里。

这些操作被整理成统一的键鼠格式,让不同游戏的数据可以进入同一套训练流程。

执行时,Gamer每隔200毫秒读取一次画面,一次安排随后六个动作块,每个约33毫秒,对应30Hz的控制节奏。

相当于看一眼,安排接下来一小段动作,再根据新画面继续调整。

其次,在微调阶段,团队整理了约1000小时高质量《崩铁》演示,把目标分成具体操作、阶段性小目标和完整任务,教模型将动作组织起来。

值得一提的是,这里有两个极其实用的工程设计,核心目的都是解决长流程中的推理延迟与上下文爆炸问题:

-稀疏思考”机制:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。
-记忆摘要机制:旧记录即将移出上下文时,模型先记下任务进度、失败尝试、重要地点和后续计划,让接下来的操作有据可循。

-“稀疏思考”:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。

最后,在在线强化学习阶段,团队提出TA-GRPO,把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,再利用游戏环境核验的结果更新模型。

比如,有没有到达目标地点、有没有完成当前任务,都能成为训练反馈,训练后台则负责初始化和核验。

此外,配套的Streaming-vLLM推理引擎还能复用已处理的上下文,并提前吐出生成且核验完毕的动作块,让游戏画面先动起来,大幅压低操作延迟。

实验测试

在跨游戏实验中,团队测试了Gamer的CPT版本,涵盖《我的世界》、基于《毁灭战士》的ViZDoom,以及OmniGameArena和GameWorld等多个游戏环境。

比如在《我的世界》里,它能自己转视角锁定史莱姆,追上去挥剑劈砍:



切到第一人称射击游戏ViZDoom,它又能迅速拉枪瞄准,连续点射逼近的敌人:



此外,在上述四项公共基准上,Gamer-8B-CPT的平均得分为29.5,所列通用模型对照中,最高为仅17.6。

而在七类小游戏、共40个未参与训练的任务中,基座模型仅有 3.2%,经过CPT升至15.0%,SFT后提升至39.2%,加入强化学习后更是达到了49.7%——

作为对比,同场竞技的通用模型最高分(GPT-6.1-Sol)仅为 17.1%。



这些结果支持了团队的核心判断:通过统一的键鼠接口,把跨游戏学习、长期记忆和实时操作结合起来,可以让AI在复杂游戏中持续执行任务,并通过交互继续改进。

团队也在论文结尾指出,这类能力有望用于自动化测试、加快游戏迭代,并支持新的玩法机制,从而降低开发成本。

游戏成为AI的练习场,练出来的AI,又能反过来帮助开发游戏。

团队介绍

最后,我们来认识一下这项研究背后的团队。

论文贡献者名单共列出了8位共同一作,其中5位在米哈游实习期间参与了该项目的研发:



Run Luo:新加坡国立大学计算机科学博士生,曾参与GUI-R1、OpenOmni等项目,在Gamer中负责三阶段训练、数据、基础设施及评测建设。



张宽(Kuan Zhang):清华大学人工智能学院博士生,GameScaling与GameVerse共同一作,主要负责持续预训练、数据及评测建设。

值得一提的是,他在个人主页中写道,他是英雄联盟的大师段位玩家。



Qi Deng:米哈游崩坏AI研发团队成员,负责强化学习、训推基础设施,以及数据与评测建设。

Yukun Chen:中国科学院大学研究生,GameScaling共同一作、多模态推理研究RuCL一作,主要负责监督微调、数据及评测建设。

Zhihao Yang:中国科学院大学计算机专业博士生(本科毕业于同济大学),主攻游戏与智能体方向,在项目中负责强化学习、数据及评测建设。



Yufei Zhang:米哈游崩坏AI研发团队成员,主要负责训练与推理基础设施建设。

Renrong Hu:米哈游崩坏AI研发团队成员,主要负责基准(Benchmark)建设与评测。

Yi Zhang:来自中国科学技术大学,在米哈游实习期间参与项目,主要负责基准建设与评测。

(其他论文贡献者可参考论文主页)

而将视角拉远,这支米哈游崩坏AI研发团队的布局已覆盖AI NPC、游戏智能体与研发自动化三大方向,持续探索大模型在游戏体验革新与工业化管线中的落地。

论文指导者之一郑银河,正是《崩坏》系列AI NPC与Gameplay技术团队的负责人。

此前,郑银河曾在云栖大会上披露过《崩铁》的AI帕姆,以及赋能内部研发的Agent平台EchoX。

而在学术方面,该团队还联合高校推出了GameScaling和Video-Arena,分别探明跨游戏持续预训练的Scaling Law,以及模型对动态游戏画面的理解边界。

参考链接
[1]https://arxiv.org/html/2611.18397v1
[2]https://mihoyo-gamer.github.io/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
千亿化工龙头,控股股东拟大手笔增持

千亿化工龙头,控股股东拟大手笔增持

数据宝
2026-11-21 00:09:12
全民“戒断”红果可能吗?网友:智商低的喜欢看,越看越低

全民“戒断”红果可能吗?网友:智商低的喜欢看,越看越低

东方豪侠
2026-10-24 11:42:15
越秀:力促广州站至广州东站铁路通道建设落地

越秀:力促广州站至广州东站铁路通道建设落地

南山璘
2026-11-20 13:17:26
环球体育:U17世界杯开启,五大新星有望闪耀卡塔尔

环球体育:U17世界杯开启,五大新星有望闪耀卡塔尔

懂球帝
2026-11-20 12:08:09
北京93-87险胜广厦,沃特斯34+10,陈盈骏16+8,塔克27+7

北京93-87险胜广厦,沃特斯34+10,陈盈骏16+8,塔克27+7

懂球帝
2026-11-20 22:02:09
这则宣扬“几乎不休息”的新闻,上热搜了

这则宣扬“几乎不休息”的新闻,上热搜了

吴女士
2026-11-20 14:03:42
2027年,家有这4个生肖,事业稳当,挣钱不愁,日子越过越宽裕

2027年,家有这4个生肖,事业稳当,挣钱不愁,日子越过越宽裕

人閒情事
2026-11-20 11:33:04
CBA杯赛最新排名!A组北京第1,C组辽宁第2,D组广东第1山东第2

CBA杯赛最新排名!A组北京第1,C组辽宁第2,D组广东第1山东第2

老吴说体育
2026-11-20 09:27:43
逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

火山詩话
2026-11-20 12:08:28
医保将要升级了!2027年起,看病买药、住院,或迎来这些新变化

医保将要升级了!2027年起,看病买药、住院,或迎来这些新变化

混沌录
2026-11-20 22:45:05
“刚表白成功就亲上了?”女大学生视频,看呆了家长:不能理解

“刚表白成功就亲上了?”女大学生视频,看呆了家长:不能理解

番外行
2026-11-08 15:19:21
天下足球为何给C罗专题却没给梅西?

天下足球为何给C罗专题却没给梅西?

带你领略快乐真谛
2026-11-20 23:57:30
刚满18岁就出道,内娱星二代彻底不装了,陆毅女儿比沈佳润还夸张

刚满18岁就出道,内娱星二代彻底不装了,陆毅女儿比沈佳润还夸张

春之韵
2026-11-19 02:20:25
3-0击败日乒主将!国乒21岁1米83新星复苏:王皓爱将曾赢张本智和

3-0击败日乒主将!国乒21岁1米83新星复苏:王皓爱将曾赢张本智和

李喜林篮球绝杀
2026-11-20 16:16:11
四川成都一女神太漂亮了,身高170五官精致,美得让人移不开眼

四川成都一女神太漂亮了,身高170五官精致,美得让人移不开眼

动物奇奇怪怪
2026-11-17 15:04:39
普京要动真格了!一旦苏洛维金重掌兵权,对乌克兰将是一场灾难

普京要动真格了!一旦苏洛维金重掌兵权,对乌克兰将是一场灾难

陈腕特色体育解说
2026-10-13 22:02:24
为什么克莱在热火迎来第二春?必须要感谢这三位贵人

为什么克莱在热火迎来第二春?必须要感谢这三位贵人

球毛鬼胎
2026-11-17 18:41:43
华为星芒OSTA O1 Pro发布!HarmonyOS 7 AI先锋版

华为星芒OSTA O1 Pro发布!HarmonyOS 7 AI先锋版

科技美学
2026-11-20 22:19:59
最荒诞的死法?

最荒诞的死法?

张佳玮写字的地方
2026-11-11 22:48:57
许家印在看守所的待遇

许家印在看守所的待遇

年代回忆
2026-10-22 23:21:45
2026-11-21 00:51:00
量子位 incentive-icons
量子位
追踪人工智能动态
13705文章数 176601关注度
往期回顾 全部

游戏要闻

不是哥们,什么叫二游圈子也流行矮人笑话?

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
教育
时尚
本地
数码

房产要闻

6.6亿!海口卖地!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

无障碍浏览 进入关怀版