网易首页 > 网易号 > 正文 申请入驻

MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

0
分享至

鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI

GPT-6 Astra能直接读取编辑小模型权重了。

MIT刚刚做了个实验,瞬间引爆大模型圈——

0.8B的「源神」Qwen3.5交给Astra,仅改动其中0.016%的权重,模型性能可以直接飞升。

全程没用训练,也没梯度下降。



同样的采样设置下,MATH-500得分从7.9%飙升到48.1%,数学运算能力是原来的约6倍。

甚至连原本没要求优化的指令执行能力也通通提高了3倍。

而修完模型还没完,让Astra从零写小游戏网络的权重,效果也是不错。

它一次回复交卷,得分超过训练了5亿步的PPO基线20倍。


视频链接:https://mp.weixin.qq.com/s/tdEmYQz4B9W4OfNpkU-anw

团队给这套打法也起了个名字:

Weight-Space Programming,权重空间编程。

Astra爆改模型权重

简单来说,就是让大模型直接分析神经网络权重,判断它在做什么、哪里出了问题,再按要求修改,甚至从零写出一个网络。

具体过程,先看最直观的Qwen实验。

研究者给Astra准备了一个Python环境,里面放着Qwen3.5-0.8B的全部权重。

要求只有一条:尽可能提高模型数学能力。



通常训练模型,要根据输出与目标之间的差距计算损失,再通过反向传播得到梯度,由优化器更新参数。

这次,具体改什么、怎么改,要由Astra分析后决定。

于是它发现,这个小模型的数学表现,有一大截是被推理循环拖下去的。

一道题摆到面前,它反复生成相似文字,却迟迟交不出答案。在最初96条练习回答里,有85条一直跑到了32768个token的长度上限。

而且这个问题连Qwen自己的模型卡都提醒过。。。

Astra沿着失败表现一路查下去,把循环追到了前馈网络,并在第15层和第19层的各64个输出列中修改相应权重影响。

最终,MATH-500回答触及长度上限的比例,从93.0%降到了33.1%。

研究者又分别给了Astra 10、25和50次前向调用预算,修改后的MATH-500得分依次是12.3%、14.1%和48.1%。

其中Astra省掉的是梯度训练,但模型诊断和验证都还在。



那么它是如何从权重中找到这些线索的呢?

先看阅读能力。

研究者训练了四个玩不同游戏的小网络,再把原始权重以文本形式交给Astra。其中四个网络的架构、输入通道和动作选项完全相同。

结果,Astra正确认出了四个游戏名称:打砖块、乒乓、吃豆人、高速公路。


视频链接:https://mp.weixin.qq.com/s/tdEmYQz4B9W4OfNpkU-anw

其中打砖块这一局,Astra是通过权重集中的位置进行推断的。

换成生成图像的扩散模型,它也能从权重中辨认圆形、方形和三角形。

不过,细节上翻了个车:模型实际生成实心图形,它却全读成了轮廓。

形状能看对,但填充没看出来。

研究者接着增加难度,拿来三个720万参数的小语言模型,分别用Python代码、日语罗马字和英语训练,再移除输入、输出层,只留下中间四个Transformer模块。

这下,连哪个数字对应哪个字符都不知道,模型也没法直接运行文本了。Astra用Python分析权重,但不能给这些网络或其中的层输入数据、观察运行结果。

但它仍然在两轮尝试中认对了三个模型所学的语言,还找出了全部归纳头。



从识别用途,到定位内部部件,再到修改行为,这条路径开始接上了。

另一个小车爬坡实验,就把修改效果变成了能直接看到的动作。

原本用PPO训练的网络总是往坡上冲,然后卡住;要过关,得先倒车拉开距离,再加速冲坡。

研究者给出权重、场景描述和一段失败记录,Astra不用工具,一次回复写出补丁,只改了3.5%的权重,就让小车在1024次测试中全部成功。

模型没能通过训练学会的动作顺序,被Astra直接写进了权重。


视频链接:https://mp.weixin.qq.com/s/tdEmYQz4B9W4OfNpkU-anw

训练不存在了?

既然能往现成网络里补逻辑,研究者干脆又把要求往前推了一步:

给你一个权重全为零的网络,直接把它写成能用的。

在MinAtar小游戏实验里,Astra拿到游戏规则、源代码和指定网络结构。没有训练数据、损失值、梯度和工具,也不能先把网络放进环境里试跑。

它需要自己想好策略,再把策略转成各层权重,一次回复交卷。

最后,Astra生成网络的平均得分可达517.4。

作为对照,PPO训练1亿步得15.8,训练5亿步得25.3,直接超了20倍。



这项工作的看点,是让一个现成的通用前沿大模型,围绕自然语言目标,自己分析和改写权重。

Astra本身积累的知识与能力,仍然来自它此前的训练;分析权重、生成代码、批量推理和评测,也都要花计算资源。

GPU暂时还不用准备退休。

但下次小模型表现不好,开发者可能真能先多问一句:

这次,还需要重新训练,还是直接改权重就行?

参考链接:
[1]
https://x.com/i/trending/2117328869283840499
[2]
https://rikiyat.github.io/blog/weight-space-programming/
[3]
https://x.com/rikiyatakehi/status/2117313742891327994

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

唠叨说历史
2026-11-18 15:06:45
李一桐变得越来越妩媚了,黑丝袜搭配白衬衣尽显制服风韵!

李一桐变得越来越妩媚了,黑丝袜搭配白衬衣尽显制服风韵!

说不尽的人心
2026-11-22 10:41:55
2-0,4-0!英超疯狂1夜!曼联惨败,布莱顿大爆冷,积分榜出炉

2-0,4-0!英超疯狂1夜!曼联惨败,布莱顿大爆冷,积分榜出炉

过期少女致幻录
2026-11-23 03:34:31
股票跌、基金跌、黄金跌、比特币跌,为什么所有资产都在跌?

股票跌、基金跌、黄金跌、比特币跌,为什么所有资产都在跌?

村夫观天下
2026-11-22 21:31:28
3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

刘姚尧的文字城堡
2026-11-22 20:13:56
终南山第一隐士:隐居30多年,天天清水煮白菜,现亲人已认不出他

终南山第一隐士:隐居30多年,天天清水煮白菜,现亲人已认不出他

快乐彼岸
2026-10-22 04:01:15
首都医科大学孙永全教授因病离世,年仅62岁

首都医科大学孙永全教授因病离世,年仅62岁

双一流高校
2026-11-23 00:08:08
29岁中国女排名将称国外没有瘦肉精!拒道歉不回应 网友:崇洋媚外

29岁中国女排名将称国外没有瘦肉精!拒道歉不回应 网友:崇洋媚外

念洲
2026-11-22 08:51:44
特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

星落山间
2026-11-22 17:33:19
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

小豫讲故事
2026-09-17 06:00:15
仰天长啸+捂脸痛哭!桥本一周两冠世排升13位 日媒:国乒也在忌惮她

仰天长啸+捂脸痛哭!桥本一周两冠世排升13位 日媒:国乒也在忌惮她

颜小白的篮球梦
2026-11-22 23:22:20
儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

温情邮局
2025-09-28 11:57:16
油价又调了,新能源车主下半年就剩两条路,第二条很多人不想承认

油价又调了,新能源车主下半年就剩两条路,第二条很多人不想承认

沙雕小琳琳
2026-11-23 03:06:58
报复连夜落地!凌晨4枚锆石狂轰6万人小城,普京赌的是乌军拦不住

报复连夜落地!凌晨4枚锆石狂轰6万人小城,普京赌的是乌军拦不住

观锐器
2026-11-19 23:10:04
0-3!迈阿密国际季后赛惨败,梅西0进球0助攻,下场不赢就出局

0-3!迈阿密国际季后赛惨败,梅西0进球0助攻,下场不赢就出局

体育知多少
2026-11-22 09:21:53
吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

华庭讲美食
2026-11-22 14:02:23
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
伊朗副外长证实调解方卡塔尔代表团访问德黑兰

伊朗副外长证实调解方卡塔尔代表团访问德黑兰

澎湃新闻
2026-11-22 01:49:02
77年我把大院千金藏在草垛,20年后她成一把手,开车堵了我家大门

77年我把大院千金藏在草垛,20年后她成一把手,开车堵了我家大门

卡西莫多的故事
2026-05-09 09:42:29
2026-11-23 04:11:00
量子位 incentive-icons
量子位
追踪人工智能动态
13709文章数 176603关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
时尚
艺术
家居
公开课

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

艺术要闻

世界十大著名宫殿盘点:中国独占两席

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版