AI 的自我报告不可靠：开放权重研究勾勒出内省的失效

问一个语言模型它内部有没有发生变化，你几乎一定会得到一个自信的回答。而那个回答不携带任何可靠信息。南加州大学的一项新研究精确测量了这道落差，其结果对「AI 安全审计该如何设计」以及「什么才算对已部署模型的有效监督」有着直接影响。

这篇论文由南加州大学信息科学研究所的 Emilio Ferrara 于今日发布在 arXiv 上，提出了「开放权重掩蔽内省」框架（Open-Weight Masked Introspection，简称 OWMI），并用它在来自七个模型家族的八个开放权重语言模型上跑了超过 78000 次受控测量。结论清晰且有统计边界：没有任何一个模型的口头报告，能以高于随机的准确率区分「真实的内部干预」与「伪造的干预」。整项研究汇总的 AUROC 约为 0.5007 —— 这个分数在 0.15 个百分点的误差范围内，与随机猜测在统计上无法区分。

更重要的结果，是这项研究往同一批模型内部看时发现的东西。一个在模型内部激活上训练的简单线性探针，在模型开口之前的最后一层，能以高达 95.8% 的留出集准确率还原出干预信号。信息就在模型的表征里。它只是没有抵达模型的语言。

OWMI 如何测量模型能对自己报告些什么

研究 LLM 内省的核心难题在于确立真值。当一个模型说它「注意到」自己的处理过程发生了变化时，通常没有任何东西可以用来核对这个说法。以往的方法通常依赖行为层面的衡量 —— 激活被改动后，模型的输出会不会变？—— 但这把「变化检测」与「口头报告」混为一谈了。一个输出在干预后发生偏移的模型，可能只是对干预作出了反应，却无法报告这种反应；而一个不论有没有发生变化都给出同样口头免责声明的模型，也谈不上在准确地内省。OWMI 绕开这个问题的方式，是主动施加变化而不是去推断变化，并且把「变化是否影响了输出」与「模型能否报告它」这两个问题分开。

该框架选定一个开放权重模型，然后修改三类内部计算对象之一：残差流中的某个位置、某个特定注意力头的输出，或者由稀疏自编码器识别为可解释特征的某个方向。这三者都深藏在 Transformer 架构内部，对只看文本输出的用户不可见。施加改动之后，OWMI 会向模型提一个标准化的问题：它的计算是否被改动过；并同时记录「是/否」的回答以及附着其上的置信度。

要让结果具有意义，这个框架需要三个零假设对照条件。第一是伪操作运行 —— 完全相同的流程，但实际上什么都没改 —— 用来确保一个总是回答「是」的模型仍然只得到随机水平的分数。第二是影响量匹配的随机方向：一个与真实干预幅度相同、但方向随机而非有意义的扰动，用来检验任何表面上的检测能力，反映的究竟是对特定对象的觉察，还是对扰动的泛化敏感。第三是一个纯文本观察者，它只能看到模型可见的输出，用来排除那些外部读者无需接触激活、仅凭表层行为就能推断出来的效应。

这个OWMI 库在 Hugging Face 上以 MIT 许可证公开发布了上述全部组件：干预算子、三个对照条件、探针库、配对评分估计量，以及等价性检验流程。用意是让这一类测量，在该领域的模型与能力不断演进的过程中始终可复现。

残差流入门：究竟改动了什么

基于 Transformer 的语言模型，通过研究者称为「残差流」的东西在层与层之间传递信息。每一层从这条流中读取、处理，然后把自己的输出加回去，而不是把整条流替换掉。随着信息在网络中前进，这条流累积起对输入越来越抽象的表征。一个 token 在最后一层的最终表征，就是被投射到词表空间以产出下一个词的那个东西。

这套架构有一个对 OWMI 的设计至关重要的性质：因为每一层是往流里添加而不是替换，所以在第 10 层施加的干预，等到模型在第 30 层生成答案时，仍然作为一个被叠加的信号存在着。干预不会消失，它随着残差一路向前传播。这意味着：一个没能用语言报告出干预的模型，其失败并不是因为被改动的信号在下游被冲刷掉了。那个被改动的信号一直都在。

OWMI 直接在这条流上的若干位点施加干预 —— 加入一个代表特定概念或激活的向量 —— 然后问模型能否报告「有东西变了」。注意力头是另一类天然的目标，因为它们的输出投影是可解释的组件，在每一层都对残差流有所贡献。第三类干预使用稀疏自编码器特征，也就是激活空间中那些经由可解释性研究认定为对应人类可理解概念的方向。它们是模型表征系统中语义最明确的对象之一。当 OWMI 瞄准其中某个方向时，它改动的是研究者已经知道携带可解释信号的东西。

稀疏自编码器这个角度值得简短说明，因为它在这里承担了真实的可解释性工作。Transformer 在激活中存储的信息量，远远超过它拥有的神经元数量，办法是把概念表示为若干神经元方向的组合 —— 研究者称这种现象为「叠加」（superposition）。稀疏自编码器经过训练，可以把这些过完备的表征分解成一个更大的字典，字典里是稀疏的、更易被人读懂的方向，每个方向对应着诸如一个主题、一种句法角色或一个语义概念的东西。当 OWMI 拿一个 SAE 特征当作干预目标时，它改动的是一个研究已经将其与特定可解释含义关联起来的方向 —— 这让问题更可处理，也让这个零结果更加醒目。模型不只是没能察觉一次随机噪声注入；它没能察觉的，是对一个它自己的激活本就围绕其组织起来的东西所作的改动。

由此得到的是一套精确的测量装置。实验者确切地知道什么被改了、什么时候被改的，以及要让口头报告准确无误，究竟需要哪个信号抵达语言输出。

分离现象：信息在场，口头报告缺席

在剂量组测试中 —— 覆盖八个模型的 11216 组配对试验 —— 没有任何一个模型的口头报告胜过抛硬币。等价性检验把区分优势的上界锁定在 AUROC 不足 0.15 个百分点，p 值低于 0.0001。这不是那种可能反映统计功效不足的「未能拒绝零假设」，而是一个有界的零结果，排除了任何有意义的效应量。

另一组广度测试在三个模型上追加了 19520 次测量，横跨三类计算对象、从第 8 层到第 31 层的六个深度、四个基准领域和四个探针族。在任何一个轴的任何一档上，口头报告都没有升到随机水平之上。无论干预瞄准的是残差流、注意力头还是稀疏自编码器特征，无论它发生在网络的浅层还是深层，也无论领域涉及语言、代码还是推理任务，结论都成立。

这项研究的另一个发现同样重要。当 Ferrara 在模型用来产出口头答案的那同一批激活上训练线性探针时 —— 也就是读取模型的内部表征而非它的输出 —— 在两个经过剂量校准的模型上，探针分别以 75.0% 和 95.8% 的留出集准确率还原出了干预。在模型写下答案之前的最后一层，两个剂量校准模型以及 Mistral-7B-Instruct-v0.3 都能在留出集上零误差地把干预与伪操作分开，而 200 次标签打乱的置换检验中没有一次达到实测的差距。随着探针捕捉的激活越靠近输出层，信号是变得更锐利，而不是更模糊。

这就是这篇论文的核心发现：失效不在信息层面。模型是能接触到相关计算的。是从内部激活通往口头输出的这条路径上的某个环节，在信息变成语言之前把它丢掉了。

一项微调结果证明这个任务是可解的。一个被明确训练去报告此类干预的模型，在完全相同的流程上取得了 5.15 的 d′ 和约 1.0 的 AUROC —— 在留出方向上接近完美的还原。障碍不是架构上的不可能，而是未经训练的口头输出根本不经过那条承载信号的通道。

有一个模型还产出了一项值得记录的额外发现。它的「是/否」口头回答在所有试验中从不变化 —— 无论是否发生过干预，都是同一个恒定回答。但附着在这个恒定回答上的置信度，却能以 0.647 的 AUROC 把干预与伪操作分开。这是同一份自我报告的两个通道之间的分离：连续的概率值携带了一些信号，离散的那个词没有。按论文修正后的表述，这并不能证明「存在无一阶通路的元层面觉察」，而更像是在证明：即便系统中存在那点边际信号，它也是从置信度渗出来的，而不是从模型给出的结论里。

OWMI 发现了此前内省研究没有发现的什么

最接近的先前工作，是 Anthropic 的 Jack Lindsey 于 2026 年 1 月发表的论文《大语言模型中涌现的内省觉察》。该研究把概念表征注入模型激活，发现受测模型中能力最强的 Claude Opus 4 和 Claude Opus 4.1，在某些条件下能以高于随机的准确率检测并说出被注入的概念。这一发现暗示前沿闭源权重模型中至少存在某种弱形式的内省觉察，并引发了一波后续研究，去弄清它是否可泛化、由什么机制产生、以及在不同模型家族之间如何变化。

OWMI 与那项工作在若干对结果解读至关重要的维度上有所不同。Lindsey 研究的是前沿闭源权重模型，主要是 Claude 各版本；OWMI 覆盖的是横跨七个家族的开放权重模型。Lindsey 要求模型检测并说出一个被注入的概念；OWMI 问的是模型能否察觉自己的计算「有没有被改动过」—— 相关但不同的任务。Lindsey 的对照是伪操作式的基线；OWMI 采用三臂设计，其中影响量匹配的随机方向专门用来检验：模型追踪的究竟是干预的语义内容，还是仅仅对泛化的扰动作出反应。

这些方法论上的差异意味着两项研究并非直接矛盾。以下两种情况都与两边的结果相容：前沿闭源权重模型发展出了一条开放权重模型尚未具备的弱内省通道；或者，「具名概念检测」（Lindsey）本就是一个与「任意计算改动检测」（OWMI）不同且更容易的任务。前者可能只要求模型把一个概念编码得足够强，强到能在语言层面被注意到；后者则要求模型独立地察觉「自己计算的某个方面与基线不同」—— 一个更抽象、也更有挑战的检测任务。两项研究合在一起确立的是：关于语言模型能否内省，这个领域尚无一个干净的统一答案 —— 答案取决于哪个模型、哪项任务、以及施加了哪些对照。OWMI 的具体贡献，是在「计算改动检测」这一版本的问题上，给出了迄今最严格的多模型受控零结果。

另有一项2026 年的平行研究，起初得到的结果显示 Llama 3.1 8B Instruct 在某个浅层条件下能以 97.3% 的准确率检测到干预，随后作者发现，这个效应与干预本身引入的一种泛化的「倾向回答是」偏差几乎完全相关。在 40 种「层 × 注入强度」的组合中，表面上的检测能力与这种泛化的「是」偏差相关系数高达 0.999。控制掉这一偏差之后，剩余信号坍缩到接近零 —— 这是一个警示性案例，说明表面上的内省能力如何在严格对照下溶解。OWMI 的等价性检验框架，正是为防止这一类错误而设计的。

更大的研究图景显示出这个领域争议之多、演进之快。Plunkett 等人（2025）发现，GPT-4o 和 GPT-4o-mini 在经过针对性微调后，能够准确报告在复杂偏好任务中引导其选择的内部决策权重 —— 但这是通过显式训练获得的行为层面自我知识，而非自发的内省通路。Binder 等人（2024）发现，前沿模型可以通过微调学会预测自己在假设情境中的行为，这为「特权式自我通路」提供了证据。Song 等人（2025）则主张，有意义的 AI 内省要求特权通路 —— 即模型掌握的、外部观察者无法推导出来的关于自身的信息 —— 并发现现有指标往往未能严格确立这道门槛。OWMI 的结果落在这片争议地带之中，是迄今最有力的大规模证据，表明未经训练的口头自我报告 —— 具体指对计算层面变化的报告 —— 在各个开放权重模型家族中目前都不携带可靠信号。

这为什么关系到 AI 监督体系的架构

安全层面的含义是直接的。监管语境下正在制定的 AI 监督框架 —— 欧盟《人工智能法案》、《2026 年国际 AI 安全报告》、以及各类企业 AI 治理方案 —— 越来越多地把模型透明度和自我报告当作潜在的监督机制来讨论。如果一个模型能准确报告异常的内部状态，这项能力就可以替代一部分外部监控；一个能标记出「自己的处理过程中发生了不寻常之事」的模型，将是一个有用的早期预警信号。

OWMI 的结果构成了反对把这种做法当作首要安全机制的理由。口头自我报告不只是噪声大 —— 它与承载相关信息的那条机制性通道在结构上就是断开的。问一个模型「你的计算变了吗」，在统计意义上等同于让它抛一枚硬币、再把结果当作内省报上来。模型那个自信的回答，对于它权重里究竟发生了什么，什么也没告诉你。

这并不只是针对未来 AI 系统的理论顾虑。当下的企业 AI 部署中，常常包含一些让模型反思自身输出、标记不确定性或解释其推理的监控环节。这些机制对许多目的都有用 —— 用户信任、错误检测、审计留痕 —— 但 OWMI 的结果提示，不应把它们理解为在读取真实的内部状态。一个说「我对这个答案很有把握」的模型，和一个说「我不确定」的模型，都是在通过 OWMI 证明其不携带内部状态可靠信号的那条口头输出通道作报告。听起来自信的回答和听起来不确定的回答，可能同样地与模型激活的实际内容脱节。

另一条路 —— 用探针、稀疏自编码器或机制可解释性工具直接读取激活 —— 是行得通的。那些产出无信息量口头报告的同一批激活，可以被一个外部线性分类器以高达 95.8% 的准确率解码出来。这意味着，把投入放在激活层面的监控基础设施上，而不是放在「向模型询问它自己状态」的系统上，才是通往有意义监督的更可靠路径。Anthropic、Google DeepMind 以及若干学术团队已经建起了激活读取系统的原型；OWMI 的结果为这些路线提供了更坚实的经验基础和更清晰的理由。

这对 AI 治理还有一层次生含义。欧盟《人工智能法案》及相关框架，要求高风险 AI 部署满足一定的透明度和文档义务。如果自我报告被用来满足这些透明度义务 —— 比如要求模型解释其推理或标记其不确定性 —— OWMI 就提供了经验依据，去质疑这些自我报告是否扎根于真实的内部状态。读取激活的外部可解释性工具建造成本更高，但信息量更大。政策层面的问题是：透明度要求是否应当明确规定实现透明度所凭借的机制，而不只是要求模型有能力产出解释性文本。

这项研究的局限，以及接下来会怎样

OWMI 这项研究本身也有需要留意之处，论文和 Hugging Face 的模型卡都作了仔细记录。最值得注意的是，八个受测模型中只有一个带有框架所定义的、真正意义上影响量匹配的随机对照：Qwen2.5-7B-Instruct，其校准落在目标值的 1.1% 以内。Mistral-7B-Instruct-v0.3 则比影响目标高出了 41.2%。其余六个模型带的是单位范数随机方向，它统一了扰动的大小，却没有统一扰动对模型计算的功能性影响。论文中逐模型的对比结果应当带着这一点来读。

模型卡还标出了具体的实现缺口。重建探针族在 OWMI 库中已实现，但未在所报告的测试组中计分。自发轨道 —— 用来测试模型在无人询问时会不会主动标记内部变化 —— 虽然执行了，却没有产出任何一组完整的「干预—伪操作」配对。那些在作答前会输出一段推理链的模型，需要远高于默认 128 token 的探针预算，否则它们的回答会在抵达可计分的报告之前被截断 —— 这是一项现实约束，影响着哪些架构能在较长任务上被干净地评估。

Qwen3-14B 参与了测试，但被排除在所有报告结果之外：384 次试验中只有 5 次产出了可计分的输出，且该模型没有完成任何一组「干预—伪操作」配对。所有数字都是在这八个模型的名单上计算的，这份名单横跨七个实验室家族 —— 但其构成偏向 70 亿到 140 亿参数的较小模型。这个零结果在更大的开放权重规模（700 亿以上、1000 亿以上）是否仍然成立，是当前研究无法回答的经验问题。

OWMI 这篇论文是正在评审中的预印本。它 45 页的手稿尚未经过正式同行评议，其结果 —— 尽管在两个独立发布的来源（arXiv 摘要和详尽的 Hugging Face 模型卡）之间保持一致 —— 仍有待独立复现。等价性检验框架是这套方法论的强项，但那些具体的数值边界（95.8%、0.5007）是由单一研究团队自行报告的。

该框架也只覆盖开放权重模型。这个零结果对前沿闭源权重模型 —— 也就是 Lindsey 发现至少表现出有限内省能力的那一类 —— 是否成立，是 OWMI 用当前数据集无法回答的开放经验问题。这不是一个小缺口。与安全最相关的模型，恰恰是那些部署在高风险应用中的前沿闭源系统。OWMI 的发现最直接适用的是开放权重生态，那个生态庞大且仍在增长，但与「当下最重大的安全问题所在的专有前沿」是两回事。

Ferrara 之所以把 OWMI 库发布出来，正是因为这幅图景应当被长期追踪。内省能力如果在未来几代模型中发展出来，会表现为在这里使用的同一套流程上 AUROC 升到随机水平之上。这个框架被设计成一件纵向的测量仪器，而不只是一次性的研究。这一代开放权重模型做不到的事，下一代或许能做到 —— 而当那个转变发生时，社区需要受控的基础设施来识别它。微调的结果已经指出了方向：一个能被明确训练成以接近完美的准确率报告计算层面干预的模型，具备必要的架构。悬而未决的问题是，对应的能力能否在规模化的通用训练中自行涌现，而无需被显式地诱导出来。

那些长期追踪模型能力的治理框架，如果能在标准能力评测之外一并纳入 OWMI 式的内省测量，将会受益 —— 因为模型的口头报告开始携带可靠内部信号的那一刻，也正是基于自我证词的监督策略在实质上更站得住脚的那一刻。在那一刻到来之前，这个领域有一条清晰的经验性指令：把监督建立在行得通的东西之上。眼下，那意味着读取激活。信息就在模型里。语言没有把它带出来。