机制可解释性的核心假设可能是错的，Goodfire 研究员称

AI 可解释性初创公司 Goodfire 的一位研究员，对解释神经网络为何难以理解的主流理论发起了一次全面挑战：他认为，这个领域多年来一直在解决一个错误的问题，而它研究的那些模型，远比任何人意识到的更容易读懂。

Nick Cammarata 在加入 Goodfire 之前，曾参与撰写机制可解释性研究的几篇奠基论文。他于 10 月 15 日发表了《神经网络本来就是干净的》（Neural Networks Are Already Clean），这篇 2.6 万词的长文认为，所谓的叠加假说，即解释神经网络不透明性的主流理论，建立在对证据的误读之上。他对Qwen3-32B（一个 320 亿参数的语言模型）的审查发现，经过仔细分析，约 90% 的神经元只有一个主要功能，而不是这个领域所假定的、由互不相关的概念交织成的一团乱麻。他对 InceptionV1（产生了被引用最多的多义性例子的视觉模型）所做的扩展分析表明，那些著名的「混乱」神经元其实只是在检测 V 形几何结构，因此它们是连贯的，而不是混乱的。

这篇文章立即引发了尖锐对立的反应。独立 AI 研究者 Adam Majmudar 在 X 上写道，这是「今年最重要的成果，可以和《Attention Is All You Need》相提并论」，并称它让这个领域从争论对齐是否可解，转向探讨对齐是否可能在明年就得到解决。Sam Altman 也公开表态，并在同一周概述了 AI 发展的三种可能的长期治理架构。对齐研究中心（ARC）的研究员 Jacob Hilton 则表示反对：他在 X 上写道，这篇文章「遗憾地对这个领域的现状描绘了一幅不现实的图景」，并指出研究人员目前对顶级大语言模型内部发生的事情的理解不到 0.01%。

叠加假说，以及这个领域为何相信它

要理解 Cammarata 在质疑什么，有必要先了解这个领域相信什么、为何相信。

神经网络由数以百万计的单个神经元组成，这些数学单元会对输入中的模式作出激活响应。几十年来，研究人员一直假定神经元是相对干净的检测器：一个神经元对应「狗」，另一个对应「曲线」，再一个对应「法语文本」。考虑到生物神经元有时被描述的方式，这在直觉上说得通。

麻烦出现在研究人员真正开始观察的时候。2020 年，Cammarata 和他的合作者 Chris Olah 发表了《放大：电路导论》（Zoom In: An Introduction to Circuits），这篇里程碑式的论文分析了一个名为 InceptionV1 的视觉模型。他们发现，有一个神经元似乎对猫脸和汽车车头都有强烈反应，而这两个类别之间没有明显的共同点。其他神经元似乎也会被完全不相关的刺激激活：运动器材和狗，直升机和某些姿势，火焰和流水。

2022 年，Anthropic 的研究人员把这一观察形式化为叠加假说。这个论证很优雅：神经网络需要编码的概念远多于它拥有的神经元。一个语言模型可能需要表示数十万个不同的特征，但它可能只有几百万个神经元，不足以让每个特征都有自己专属的单元。该理论提出的解决办法，是利用一种受控的干扰，把多个特征塞进每个神经元，以表示的精确度换取纯粹的容量。这会让神经元看起来是多义的，即被几种不相关的事物激活，不是因为这些概念彼此相关，而是因为它们在数学上被挤在了一起。

这个假说之所以有影响力，是因为它为一个观察到的问题提供了有原则的解释，并指向一个具体的工程方案：如果神经元是特征的压缩叠加，就需要一个工具把它们分解开。这个工具就是稀疏自编码器（SAE），它利用稀疏性约束，试图从混乱的神经元激活中重建出原本「干净」的特征。Anthropic 在 2023 年发表了《迈向单义性》（Towards Monosemanticity），这是一篇标志性的 SAE 论文，Anthropic 还在扩展这一方法上投入了大量资源。SAE 研究成为这个领域的核心项目之一。

Cammarata 正是构建这个框架的人之一，如今他认为，这个框架建立在一次误读之上。

是 V 形，而不是猫和车

InceptionV1 的神经元 4e:55，也就是那个似乎同时被猫和车激活的神经元，成了这个领域文献中多义性的经典例子。Cammarata 现在认为，它检测的是与两者都不同的东西：V 形。

从正面看，猫脸的几何结构在下半部分形成一个大致的 V 形或倒 V 形。驶向镜头的汽车，其正面轮廓也会形成 V 形。火焰以 V 状的形态跳动，水流绕过障碍物时也呈 V 形分开。当 Cammarata 重新审视神经元 4e:55 的完整激活模式时，他看的是它响应的所有刺激，而不只是那两个放在一起显得奇怪的刺激，结果发现了一个连贯的几何主题。表面上的多义性，化解成了一个单一、合理的视觉基元。

另一个经典例子也得到了新的解释。研究人员曾观察到，汽车相关的特征似乎被编码在与狗相关的神经元中。Cammarata 的重新分析表明，狗和汽车经常出现在相似的摄影构图中：两者往往都是正面呈现、位于画面中央，镜头大致与面部齐平。这些神经元检测的可能是一种拍摄角度模式，而不是语义上不相关概念的叠加。

这些并不是孤立的重新分析。Cammarata 提出了一种他称为「递归泛化」的通用替代机制，来解释过去所说的多义性。按照他的说法，神经元在训练开始时承担一个狭窄的检测任务：一个简单的模式、一个特定的字母组合、一种基本的几何形状。随着训练推进，神经元的有效感受野会自然扩展，涵盖那些与最初种子共享统计或几何结构的相关输入。这种扩展是递归的：每一个激活该神经元的新输入，都会让类似的输入在后续训练步骤中更可能激活它，像树一样向外分枝。

对于语言模型的神经元，这一含义可以从字母对「iy」这样的例子中看出：一个最初对这个字符序列激活的神经元，经过训练后可能开始对「diy」激活，进而对与「自己动手」（do it yourself）语义相关的短语激活。在训练完成后从外部看，激活列表像是一堆松散关联的想法；而沿着训练过程追溯其发展，每一次激活都通过一条连续的统计相似性路径与上一次相连。

Cammarata 的论点是，这个领域所说的多义性（神经元对不相关的事物作出反应），在大多数情况下其实是递归泛化：神经元在对相关的事物作出反应，只是要识别出它们之间的关联，需要比最初的分析所提供的更多上下文。

生产规模下的神经元审查

这一说法可以通过实验检验，Cammarata 在两个尺度上做了测试。

InceptionV1 采用没有残差连接的前现代架构，其最后一层历来被认为几乎无法解释，估计可清楚读懂的神经元比例从基本为 0% 到最多 5%。用递归泛化框架重新分析后，Cammarata 报告同一层的可解释性达到 99% 到 100%。他还把 InceptionV1 与参数量相同、带有残差连接和 LayerNorm 的现代架构 ConvNeXt 作比较，发现 ConvNeXt 的最后一层在标准分析方法下就已经有 99% 可解释。起主导作用的似乎是架构差异，而不是规模或数据。

在语言模型尺度上，Cammarata 审查了Qwen3-32B，这是阿里巴巴通义千问团队的一个 320 亿参数模型。结果是：约 90% 的神经元，无论在正向还是负向响应方向上，都有一个可以清楚识别的主要功能。另有 7% 有两个相关的功能，不是任意的组合，而是作者判断在语义上相关联的概念。无法解释的剩余部分为 2% 到 4%。

这些数字来自 Goodfire 自己的分析，由一位与结果有直接职业和机构利害关系的研究员完成，尚未得到独立复现。审查方法中，什么算「一个功能」、什么算「两个相关功能」，需要人对概念相似性作出主观判断，而这可能受到分析者预期的影响。Cammarata 承认这一点；未来验证这一框架，需要由独立审查者采用同样的标准。

让这些数字显得惊人的参照点，是OpenAI 2023 年的一项自动化可解释性研究，Cammarata 称，在那套流程下只有 1.7% 的神经元可以被清楚解释。Cammarata 认为，这一巨大差距不是因为模型发生了根本变化，而是分析方法的改进，包括更好的可视化、对每个神经元更长时间的审视，以及递归泛化这一解读视角。

这对稀疏自编码器意味着什么

如果 Cammarata 的框架是对的，SAE 研究计划就面临一个棘手的问题：它到底在解决什么？

SAE 的设计初衷，是把多义神经元分解成构成它的特征：把一个叠加了三个不相关概念的神经元，拆成三个独立、可解释的单元。这个工具的存在本身就预设了这种分解是必要的。如果神经元一开始就不是任意多义的，如果它们编码的是连贯的概念家族，只是在没有正确解读框架时看起来纠缠在一起，那么 SAE 可能是在一个本来就可解释的表示之上，强加了一个人为的结构。

这并不意味着 SAE 研究白费了。SAE 仍然是分解 Transformer 残差流表示的有用工具，而这在架构上与研究单个 MLP 神经元不同。Anthropic 的 SAE 工作所带来的对特征的机制性理解，无论如何解读最初的神经元层面的观察，都依然有价值。但最初的动机，即神经元在不分解的情况下从根本上无法读懂，恰恰是 Cammarata 所质疑的。

Jacob Hilton 的反驳：0.01% 不是 90%

在一些研究人员看来，神经网络「本来就是干净的」这一说法，往好了说也为时过早。

对齐研究中心的研究员 Jacob Hilton 在文章发表后 24 小时内作出回应。他的反对意见针对的是与技术细节不同的层面。即使 Cammarata 说得对，单个神经元在「这个神经元检测 V 形」这一层面是可解释的，Hilton 认为，单个神经元的可解释性，并不等于理解模型如何推理。

研究人员真正需要理解的，不只是每个神经元孤立地检测什么，而是神经元如何跨层交互、产生模型的输出，即完整的计算电路。一个模型生成有害回复或作出危险判断，是通过跨越数千个神经元的一连串交互完成的。知道每个神经元对什么作出反应，并不能告诉你哪些神经元以何种组合、出于什么原因促成了一个具体决定。

Hilton 估计，目前的机制可解释性研究所刻画的，可能还不到顶级大语言模型推理时内部计算的 0.01%。像 Qwen3-32B 这样的模型，每个输入要经过约 64 个 Transformer 层，涉及数百万次神经元激活、数十亿次浮点运算，以及横跨可能长达数十万 token 上下文窗口的注意力模式。知道 90% 的神经元有可识别的功能，是一个起点，而不是终点。

Hilton 的批评并不质疑单个神经元的结果，而是认为 Cammarata 的表述（「神经网络本来就是干净的」）夸大了这些结果所代表的进展。这个领域对单个神经元的认识比此前以为的要好，但还没有一张关于这些神经元如何共同运作、产生行为的地图。

对 AI 安全评估的意义

可解释性之争的实际利害，远远超出了学术上的优先权之争。

目前的 AI 安全实践主要依赖行为评估：在数千种条件下测试模型的输出，试图推断它在部署时是否会安全行事。这种方法有一个根本局限：它只能发现评估者想到要测试的失效模式。一个在所有测试条件下都表现安全的模型，仍可能隐藏着在新情境下产生不安全行为的内部表示或推理模式。

机制可解释性提供了一种潜在的补充：不只是测试输出，而是直接检查内部电路，理解是否存在危险的推理路径。如果一个模型有一条电路，会在指令被包装成虚构情节、实际上却在执行现实世界有害规划时被激活，行为测试可能会漏掉它，而电路层面的检查则可能发现它。

这一前景取决于这个领域取得远比 Hilton 认为的更大的进展。如果单个神经元的可读性与完整电路理解之间的差距像他说的那样大，那么在部署规模上进行电路层面的安全审查目前还不可行。

如果得到验证，Cammarata 的贡献将推动进展，因为它确立了电路的低层组件，即单个神经元，比想象的更容易处理。可靠地检测具体、一致特征的神经元，比激活是不相关模式模糊混合的神经元，更能被有把握地沿着电路追踪。90% 这个数字如果在独立复现下站得住，将大大简化电路层面分析中识别神经元的那一步，不过 Hilton 关于电路复杂性的观点依然成立。

双方都同意的关键界限是：可解释性的发现必须通过干预来验证，而不只是观察。识别出一组神经元似乎表示某个概念，并不等于证明这些神经元在该概念相关时对模型行为有因果贡献。基于可解释性的安全论断，其标准要求证明抑制或放大这些神经元会让行为朝预测的方向改变；Cammarata 的文章提出了这一更高的门槛，但大规模的系统性验证尚未达到。

Sam Altman 的三种治理情景

就在这篇文章流传的同一周，Sam Altman 概述了三种可能的长期情景，描述 AI 发展可能如何被治理；这些设想能否实现，与可解释性之争的安全含义直接相关。

第一种情景是 IAEA 模式：一个仿照国际原子能机构建立的国际机构，在全球 AI 开发者中制定并执行安全标准，拥有检查权，并能阻止超出约定能力或安全阈值的模型部署。这是 Altman 表示倾向的方案。核能的类比有其局限，AI 模型可以通过软件复制和部署，这是铀浓缩设施做不到的；但带有核查机制的独立国际监督这一总体框架，在军控领域有被证明有效的记录。

第二种情景是 Altman 所说的「Demis 方案」：把主要 AI 实验室合并成一个共同开发前沿 AI 的机构，共享安全研究，在没有竞争压力的情况下运作，不必偷工减料。它的吸引力显而易见：消除让安全捷径变得诱人的竞赛态势。问题在于：把所有前沿 AI 能力集中在一个组织里，是用可能失去制衡的机构失灵，取代竞争带来的分散，没有任何独立机构能纠正错误判断。

第三种情景被 Altman 形容为「糟糕」：某一个 AI 开发者获得对 GPU 供应链、数据中心和算力基础设施足够的经济控制，可以通过切断其他开发者获取硬件的渠道，阻止他们训练或部署危险模型。这种说法让人联想到 AI 安全研究者 Eliezer Yudkowsky 的论点；Altman 明确表示，无论谁掌握这样的权力集中，他都认为是危险的。

一个 IAEA 式的机构，无法对一个从根本上不透明的 AI 模型进行有意义的检查。如果可解释性工具进步到检查人员能够审查模型内部电路、查找具体危险能力的程度，IAEA 情景就会变得可行得多。如果 Hilton 所说的 0.01% 更接近现实，任何检查体制都几乎是在盲飞。

接下来会发生什么

Cammarata 的文章是一项研究主张，而不是经过同行评审的论文。最重要的下一步是独立复现：由没有参与开发递归泛化框架的评估者，在 Qwen3-32B 和其他生产模型上运行同样的神经元审查方法。如果独立审查者发现同样高的可解释性比例，这个领域重新定向的理由就会充分得多。

SAE 研究计划需要作出回应。Anthropic 在 SAE 方法上投入了多年工作和大量算力；在 Cammarata 的框架下，SAE 相比直接的神经元分析是否还有附加价值，这篇文章没有回答，需要实证比较。一个合理的结果是，两种方法在不同的分析尺度上都有用：直接研究神经元用于理解单个特征检测器，SAE 用于理解 Transformer 中更大范围的残差流几何结构。

Goodfire 的 Ember API 为外部开发者提供可解释性能力，是该公司在这一论点上的商业押注。该公司在 2026 年 2 月由 B Capital 领投的一轮融资中，以 12.5 亿美元估值筹集了 1.5 亿美元。在更早几轮融资中支持过 Goodfire 的 Anthropic，既是 Cammarata 所挑战的 SAE 研究计划的领导者，又是发起这一挑战的公司的财务利益相关方。这种张力不会因为一篇文章而化解。

这个领域可以达成共识的是：Cammarata 所说的 2023 年自动化方法得出的 1.7% 可解释性，与他 2026 年人工分析得出的 90%，两者之间的差距不是噪声。研究人员观察神经元的方式发生了某种变化，让答案发生了巨大改变。这种变化反映的是对同一现实更好的分析，还是对模糊激活模式一厢情愿的解读，如今是这个领域核心的实证问题，而答案将决定 Altman 描述的那些治理情景，在任何近期的规划周期内是否在技术上可行。