AI领域最重要的成果之一！九成神经元只干一件事，读懂大模型比想的容易

使用 AI 模型有时像在开黑箱：拿到结果，却不清楚它如何产生，也不知道算力是否浪费、内部职责是否彼此掣肘。检查发现，多数神经元只负责一件事，模型内部可以直接读懂。可解释性也许没那么难，网络本来就很干净，并非一团乱麻。

Goodfire 研究员 Nick Cammarata 参与过 OpenAI 早期的可解释性工作，并启动其第一个大规模自动化可解释性项目。这篇长文重查了曾令他悲观的经典证据。

Menlo Ventures 合伙人 Deedy Das 于 2026 年 10 月 15 日在 X 上推荐这项工作，称它是 AI 领域最重要的成果之一，并转述了其中的主要发现。

Das 还指出，现代模型已在数学上达到超人类水平，能攻破生产环境中的软件系统，也在改变白领工作的性质。读懂内部机制，有助于更有针对性地设计模型和调整行为。

城市与打结的城市

这项研究在反驳什么

机械可解释性（mechanistic interpretability）要打开模型，追踪内部计算。此前领域担心，网络会把无关内容塞进同一神经元或表示方向，原有机制像一团必须先解开的结。

文中所说的“干净”，并非每个神经元都对应一个人类词语，而是网络自身的组织可以追查。研究者可以沿神经元、回路和数据流提出解释，再用实验检验。

如果网络确实任意纠缠，稀疏自编码器（sparse autoencoder，SAE）等分解模型或许不可避免。他认为，早期的混乱多由工具、架构和解释方式造成。

三个核心概念

多义性（polysemanticity）指神经元看似承担多个无关职责，或暂时找不到统一解释。它描述的是观察结果，也可能暴露观察者和工具的问题，不能单独证明模型在任意混装。

神经元也不只是给输入贴名词标签，它更像回路中的门，正负两端共同决定放行和拦下什么。语言模型常把上下文信息汇集到逗号等标点，只看触发位置很容易误判职责。

叠加（superposition）在文中是一项机制假说：容量紧张时，网络让互不相关且很少同时出现的内容共用神经元。它们因为不易互相干扰而被放在一起，彼此之间没有可利用的共同模式。

递归泛化（recursive generalization）仍是普通泛化。神经元围绕主要职责生长，再沿邻近方向长出分支；有训练检查点时，可以按时间观察这些联系怎样形成。

一个神经元先响应“iy”，再延伸到“diy”和不含“iy”的“do it yourself”。另一个行星地质神经元也响应 Cesium 地理 JavaScript 库，回路显示它是从地质概念长出的支路。

视觉模型的神经元地图

旧证据为何倒下

原始 InceptionV1 的末层曾几乎无法解释。作者回忆，早期工具大约只能看懂 5%；修正可视化和归因方法后，同一模型约为 50%；用现代正则重新训练同架构后约为 70%。

在参数量和数据集相同的现代 ConvNeXt 中，末层约 99% 的神经元容易解释。残差连接、层归一化等改进本为帮助深层学习，却也让高层概念组织得更清楚。

作者训练了三个不同规模的 ConvNeXt，参数量从 9.2 万到 2860 万，覆盖约 300 倍尺度。小模型的神经元负责更粗的概念，模型变大后才逐渐分化出更窄、更具体的职责。

经典“猫车神经元”并非同时检测猫脸和汽车前部。它识别共同的 V 形，以圆钝的 O 形为负向边界，回路还连到 V 形火焰、消防船水柱和狐狸脸。

2019 年发现的经典回路曾被解释为汽车信息藏进一组狗神经元，再由下游恢复。重新检查后，汽车与狗是因朝向和姿态相似而汇合，InceptionV1 中有一百多个这类跨对象姿态神经元。

特征可视化（feature visualization）在深层优化时容易落入训练集中常见的狗图案，制造出隐藏编码的错觉。实际没有机制读出那组组合；据作者所知，此后也没人发表第二个具有这种结构的回路。

语言模型的数据

2023 年，Anthropic 研究单层小模型时，神经元解释评分中位数为 0，满分 14。Cammarata 在 OpenAI 启动的项目按最宽松口径也只把约 1.7% 判为可解释。

Qwen3-32B 的初步审计估计，约 90% 的神经元响应极只有一项主要职责，约 7% 有两项相关职责，约 2% 至 4% 尚未理解。这些数字只表示模型所处的大致状态。

这些比例会随弱激活阈值、层深、子回路密度以及“一件事”的标准变化。把跨语言的相近习语算作一个职责还是两个，会改变数值，却不会回答内容为何共享一个神经元。

稠密模型与混合专家模型（Mixture of Experts，MoE）结果相近。纯神经元构成的 Kimi K3 归因图（attribution graph）把钱包、现金和证件连到失物与诚信，再回答“归还”。

早期结果偏低，是几项普通限制叠加所致。旧解释器无法完成猜想与检验的循环，指标偏爱模拟激活数值，研究者不了解常见语言模式，样本又多是小型或简化模型。

小模型的神经元通常承担更宽的职责，旧架构的深层也更容易出现学习失败。作者手工追踪的数百个弱激活几乎都能沿合理回路连回主要职责，但这些抽检不能覆盖所有情况。

某个神经元的触发样本，几乎全是鸟

理解为何会自我加速

一张几乎空白的地图很难提供帮助，回路图只会把陌生神经元解释成更多陌生神经元。随着解释增多，上游输入、下游作用、所在专家和注意力流向开始构成交叉线索。

解释必须能被推翻。转向（steering）观察调强神经元后模型写什么，消融（ablation）测量移除机制后答案概率如何变化，正负两端与相邻回路也须吻合。

覆盖面扩大后，剩余异常会暴露工具盲点。团队由此发现 SwiGLU 的双负状态（double-negative regime）；约 4% 的神经元，其最高激活列表几乎全来自这条路径，混合分解可能将其遮住。

Cammarata 据此认为，网络主要遵循泛化这一套学习原则，容量紧张时也不会普遍切换到任意叠加。小模型只是把相近内容概括得更粗，并非把无关职责藏进高维组合。

现代架构与工具让直接研究比 2023 年的结果顺利得多。大模型虽然拥有更多机制，却往往学到职责更窄的神经元；周围地图越完整，新解释可利用的约束也越多。

原网络的神经元、注意力与回路至少应成为研究工具箱的一部分。自动化代理已能绘制回路、构建显微镜、检验解释，并把高层判断追溯到具体连接。

文章把下一步明确标为高度推测：如果这套流程能继续扩展，直接研究模型自身机制也许已经覆盖了大部分需要，可解释性可能比此前假设的更容易处理，甚至在较近时期取得进展。

文章没有说什么

这篇长文没有声称所有神经网络都已完成审计，也没有证明每个神经元绝对单义。作者对注意力的进展少于神经元，对语言模型残差流也检查得较少，相关结论仍有限。

Kimi K3 尚未开始同等规模的全面审计，Qwen3-32B 仍有约 2% 至 4% 的响应极没有理解。稀疏自编码器和探针仍可作为视图，只是不宜在研究起点就取代原模型机制。

遇到看似混乱的神经元时，作者建议先检查工具偏差、数据覆盖、架构缺陷、正负响应和递归泛化。叠加只有“暂时解释不通”这一种症状，因此应放在更靠后的假说位置。

关于作者和推荐人

Nick Cammarata 是 Goodfire 研究员，参与过 OpenAI 早期的机械可解释性工作，并启动了 OpenAI 第一个大规模自动化可解释性项目，研究大模型内部机制已有十年。

Deedy Das（@deedydas）是 Menlo Ventures 合伙人，投过 Anthropic、OpenRouter、Goodfire 等项目，曾任 Goodfire 董事；此前在 Glean、Google Search 工作，毕业于康奈尔大学计算机专业。