北京
Jay 发自 凹非寺
量子位 | 公众号 QbitAI
Astra修改小模型权重？MIT那篇爆火研究，被大佬公开质疑了。
Astra前两天刚刚凭借一项惊人能力刷屏AI圈——不用训练、不算梯度，直接修改另一个AI模型的权重。
MIT团队宣称，Astra仅修改Qwen3.5-0.8B的0.016%权重，就让数学成绩从7.9%暴涨至48.1%，相当于提升到原来的6倍多。
甚至有网友感慨：AI已经开始读懂另一个AI的大脑了。
然而，事情似乎出现了反转。
一位来头不小的圈内大佬公开发文，提出了质疑。
这项研究存在严重误导。
image.png
质疑者叫Matthew Honnibal，spaCy的作者、AI公司Explosion的联合创始人。
魔术师戏法
这背后到底发生了什么？
Honnibal用了一个很妙的比方，讽刺了MIT研究所做的事：障眼法。
舞台魔术师常常用多种方式来表演同一个戏法。
第一次，他可能用了一个特殊的道具；下一次，他会向你展示道具并无特殊，但他自己藏起了东西；第三次，可能又利用了某种强迫选择。
当你观看表演时，你会假设只有一种技术，所以每当魔术师表演一次，似乎都推翻了你对其工作原理的假设。
Honnibal认为，Astra这项研究的实验呈现，就酷似这样一场魔术。
回到Paper，原文其实展示了三项不同的能力：
- 读权重：只看原始的权重数字，就能识别一个小型神经网络正在执行什么任务。
- 写权重：不依赖环境反馈，从零开始直接生成或修改小型网络的参数，让它能玩《打砖块》之类的小游戏。
- 修复大模型：通过修改Qwen的部分权重，大幅提高其数学测试表现。
但这篇论文摘要给人的核心印象却是——
Astra「仅通过观察原始权重」，就能理解并修改另一个模型。
如果只是一眼扫过，很难不让人理解为：
无论是识别一个小型网络的功能，还是修复一个大语言模型的数学能力，都源于同一种「读脑」神技。
但，这是真的吗？
Honnibal仔细梳理了论文中的8组实验后发现：实现这三件事的实验条件，天差地别。
也就是说——
纯纯是在偷换概念。
两种技术路径
那么不同实验之间，到底有什么猫腻？
首先，在识别小型网络任务、修复一个卡住的赛车模型等实验中，Astra确实做到了「只看原始权重」。
因为实验条件非常苛刻：
- 直接将权重数字（raw floats）作为输入，放进Astra的上下文。
- 不允许Astra运行Python代码。
- 不允许Astra执行目标网络来观察其行为。
在这种模式下，Astra处理的模型参数规模都非常小，在1.7万到17.2万之间。这确实很了不起，但距离真正理解一个现代大语言模型，还有很长的路。
但到了最引人注目、也最令人振奋的Qwen数学能力修复实验，就完全不是这么回事儿了。
在修复8亿参数的Qwen模型时，Astra并没有直接读取原始权重。
取而代之的是，Astra被授权使用Python编程，并且最多可以进行50次前向测试。每次允许模型处理一批练习题，通过观察模型的表现来分析和修改权重。
这根本是两码事。。。
Honnibal一针见血地指出，将这两种方法打包在一起，很容易让读者误以为：
噢，那种在小模型上实现的「读脑术」，同样可以规模化地应用在8亿参数的大模型上。
但事实是，在处理真正的大语言模型时，Astra更像一个「场外教练」，需要通过编程、运行、观察等一系列工程手段来介入。
真正的价值
那么，这是否意味着MIT的研究毫无价值？
当然不是。
必须承认，即使剥离了「读心术」的光环，Astra所展现的能力依旧非常了不起。
Honnibal也坦言，让一个AI模型被提示去设计并执行人类机器学习工程师才能完成的任务——编写代码片段来分析甚至直接修改网络权重——这本身就是一个巨大的进步。
一两年前的AI模型，在所有这些任务上都会失败。
这说明，今天的顶尖大模型，已经具备了相当复杂的工具使用和推理能力，能够作为一个「AI工程师」来诊断和修复其他模型。这本身就是一项值得关注的工程突破。
真正的问题，在于成果的呈现方式。
将两种截然不同的能力，模糊地包装成一种统一的、能够读写AI大脑的「超能力」。
说实话，乍一听还以为是A社做的事。。。
也侧面反映了如今AI圈的Hype狂潮吧。
原文：https://honnibal.dev/blog/astra-read-write-misleading
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
