RSI 向前迈进一大步？GPT-6 像编程一样编辑模型权重，数学能力提高 6 倍

昨晚推上 AI 圈最热门的研究：

我们可能可以像编程一样，让 AI 编写 AI 模型的模型权重文件了。

有个团队用 GPT-6 Astra 直接编辑了 Qwen3.5-0.8B 模型的权重，大幅提升了它的数学能力。

他们仅更改了0.016%权重的情况下，将MATH-500 数学测试准确率提高到原来的约 6 倍，IFEval 指令跟随测试准确率提高到原来的约 3 倍。

实验 8 · 修改模型权重后的表现

Qwen3.5-0.8B · 原始模型与 50 次前向调用预算的修改版

MATH-500 · 数学题准确率

原始 7.9%

修改后 48.1%

GSM8K · 数学应用题准确率

原始 13.8%

修改后 67.1%

IFEval · 严格提示级指令遵循准确率

原始 21.0%

修改后 62.3%

三组条形均采用 0—100% 的相同尺度。开启思考，最多输出 32,768 token，修改前后使用相同采样设置。前向调用可批量处理题目。

数据：作者原始模型与修改版评测日志

没有进行重新训练，也没有进行后训练和强化学习，只是直接更改了它的参数。

这带来了一个非常新的范式，有望推进模型的可解释性研究，也就是说我们可能可以不通过训练，直接提高模型能力。

特别大的模型由于参数量太大，可能会比较麻烦，但小模型在未来一段时间内能力会大幅提升。具体有这么几个方向：

1.释放它已有的能力，比如实验里改善的千问 Qwen3.5-0.8B 出现重复推理、频繁触及思考长度上限的问题

2.将某种控制策略直接移植到模型里面去。模型的控制和对齐是非常难的事，现在有机会直接干预它的部分行为。

3.重新组织计算。用更有效的计算路径，替换模型训练出来的低效策略。

相当于给模型训练和控制做了一套编程体系，这个想象力太大了。

我们现在来介绍一下这个研究。

昨天 MIT CSAIL 团队发布了一项研究。一句话概括：让 GPT-6 Astra 直接修改千问 Qwen3.5-0.8B 的模型权重文件，大幅提高了它的数学成绩。

Astra 只修改了大概0.016%的权重，就让这个模型在 MATH-500 数学测试集中的准确率从7.9% 提高到 48.1%，变成了原来的 6 倍左右。

它到底做了什么？

平时我们说 AI 写代码，是让它开发网站、修改程序，但这次它的操作对象是一个 AI 的内部参数，也就是决定模型如何处理信息的底层参数。

研究人员禁止它使用梯度下降来训练模型，但给了它分析工具、带答案的练习题（不包含最终评测集）以及运行模型的工具。

GPT-6 可以观察错误、分析内部状态、提出修改方案，然后再测试是否有效。

结果 GPT-6 Astra 在给定提示和工具的帮助下发现该模型存在一个严重问题：

做题时经常陷入反复的重复思考，迟迟给不出最终答案。

在作者的设置下，模型运行 MATH-500 测试集时，有 93% 的回答会耗尽输出长度上限，许多回答因此没能给出最终答案。

随后它找到了与重复思考相关的内部计算参数，直接修改了其中两个层的一小部分权重。

修改完成后，更多题目能够顺利做完并交出答案，数学分数因而大幅提升。

这里并没有凭空提高模型的数学能力，只是通过修改权重修复了缺陷。

把它原本具备、却被过度重复思考所限制住的能力释放了出来。

实验 8 · 修复重复思考

01 观察失败答案

查看练习题上的错误与截断

02 定位相关计算

结合权重与运行时激活分析

03 修改局部权重

在编号 15、19 的层各选 64 个 MLP 输出列

04 验证修改效果

对照测试，再在未见评测集上评分

MATH-500 回答触及输出长度上限

原始 93.0%

修改后 33.1%

此项越低越好。触及长度上限不等于完全没有输出；该比例也不等于逐条判定的循环发生率。流程为依据原始日志整理的示意。

来源：实验 8 设置、修改报告与评测日志

作者也试过另一个较少出现循环的小模型 Gemma 3 270M，但这次没有获得明确的数学能力提升。

对照实验 · 较少循环的 Gemma

Gemma 3 270M · MATH-500

模型

准确率

原始

6.8%

修改后 · 50 次调用预算

7.0%

沿用作者正文的宽松答案格式匹配口径（acc_lenient）。作者未报告可靠的能力提升；不能直接与 Qwen 的评分口径横向比较。

数据：Gemma 对照实验及评分说明

这个实验非常有意思。

我们一直在讨论 RSI（递归自我改进），也就是让 AI 改进自身，并用改进后的能力继续自我改进。

这项研究为自迭代探索了一条值得关注的路径：

我们观察到了明确的信号，模型开始尝试理解另一个模型哪里出了问题，并主动通过修改权重来修复缺陷。

甚至可能 Anthropic 这种头部厂商内部已经有类似方案了，即用自己的模型来辅助训练和修改模型。

作者将这个方向称为“权重空间编程”。

不过，这次展示的是一个模型修改另一个模型，尚未展示模型修改自身并持续自我改进。

在同一项研究里，他们还做了另一个实验：

给 Astra 游戏规则、源码和网络结构，让它从零写出一个会玩游戏的小型神经网络。

以往神经网络的权重通常通过训练得到，而这次就像编程一样，在给定的网络结构内直接把权重写了出来。

在三个小游戏的测试中，这个直接写出来的模型甚至超过了作者使用相同网络结构、训练了一亿步的 PPO 模型。

大语言模型会先构思出该怎么玩，再把策略翻译成小网络内部的计算逻辑。

实验 5 · 从零写出小游戏网络

给定游戏规则、源码和网络结构，由 Astra 一次写出权重

Breakout

Seaquest

Asterix

游戏

PPO 1 亿步

PPO 5 亿步

Astra 一次写出

Breakout

15.8

25.3

Seaquest

5.6

88.9

53.1

Asterix

25.8

55.2

53.2

数值为每项 1,000 局的平均游戏得分，越高越好；不同游戏之间不可直接比较。PPO 为作者测试的对应预算下最佳种子。上方画面来自原文实时演示，不表示最终得分。

演示画面：研究原文实验 5

数据：作者公开的小游戏评测 JSON

直接修改模型权重此前已有相关研究，但这项工作带来的全新方向在于：

让大语言模型自动参与分析、设计并验证这些权重和神经网络的修改。

虽然目前实验主要针对小型模型，但这展示了一种可能性：

随着模型能力提升，我们能够编辑权重的模型规模会越来越大，模型也将逐渐走向自主进化。

这是向 RSI 迈出的有意思的一步。

困扰我们已久的大模型幻觉、可解释性以及对齐等难题，都有可能在这个方向上取得重大突破。

虽然近期模型更新对我们普通人来看，感知不到太多的进步

但这些前沿模型模型展现出的能力，在前沿科学领域的发展速度真的非常惊人。

原始研究：rikiyat.github.io/blog/weight-space-programming/