全局工作空间在循环中幸存：可解释性研究测出循环 Transformer 的不同之处

2026 年 9 月 1 日，Wenlong Wang 与 Fergal Reid 在 arXiv 上贴出的一篇新预印本，把机制可解释性最强的那件工作空间分析工具，扩展到了一类此前基本被这个领域忽视的 AI 架构：循环式与深度循环 Transformer。这份结果确认，全局工作空间 —— 也就是 Anthropic 研究者今年 7 月在标准 Transformer 内部识别出的那个由可言说、因果活跃的表示构成的紧凑内部枢纽 —— 在循环模型里同样会形成。但循环从根本上改写了「这个工作空间如何被读取、被修改、被操控」的规则。对越来越多在构建或审计循环架构模型的研究者和从业者来说，这篇论文的意思很直接：为标准前馈堆叠校准过的工具，不能不做架构适配就移植到循环系统上；而且在某些方面，恰恰是工作空间干活最多的时候，它反而更难够到。

重访全局工作空间

要理解 Wang 和 Reid 测了什么，得先回忆 Gurnee 等人 7 月那篇论文确立了什么。在 Claude Sonnet 4.5 及相关模型上工作时，Anthropic 的研究者引入了雅可比透镜（Jacobian lens）—— 一种技术，它对模型词表中的每个 token，计算某个中间激活对模型未来输出的平均线性化影响，并在一个大规模提示词语料上对这项计算取平均。逐层施加这个透镜，就能揭示模型在处理过程中的任一时刻「准备好要说出」哪些概念 —— 哪怕那些概念从未出现在模型实际写出的内容里。完整论文《语言模型中可言说的表示形成一个全局工作空间》发表在 Anthropic 的 Transformer Circuits 平台上。

结果是一个结构丰富的内部空间 —— J 空间 —— 占据着中间层的一个带状区域。J 空间里的内容在被要求时可以被说出来，对直接指令有响应，对多步推理具有因果性，能被那些对同一表示执行不同操作的下游电路广泛读取，而且是选择性的：它在纯自动化的处理（比如语法解析）中不出现，但在模型需要串联推理步骤或报告自身内部状态时会出现。这五项性质合在一起，符合认知科学家所称的全局工作空间的功能特征 —— 大脑中那个共享的表示枢纽，它让信息可被灵活、审慎地使用，而不是被锁在某个专用处理电路内部。

关键在于，J 空间不是被设计出来的。它是从「预测下一个 token」的训练中涌现的，这提示：某种形式的紧凑、共享、可言说的工作空间，也许是「必须串联复杂推理」的系统的一个收敛性架构解。

标准 Transformer 构建这个工作空间的方式，是把一层层各自独立参数化的不同层，按固定深度顺序叠起来。循环 Transformer 构建有效深度的方式不同：一组核心层被复用 —— 权重共享 —— 跨多次迭代，然后网络才产出输出。这个架构差异不是表面的。它改变了网络所执行的每一项计算的动力学，也引出一个直接的问题：为标准情形开发的可解释性工具箱，能不能迁移过来？

扩展这面透镜：虚拟展开适配器

把雅可比透镜施加到循环 Transformer 上，需要解决一个不平凡的技术问题。标准的透镜计算把每一层当作序列中的一个不同步骤，对最终层激活相对于每个中间层激活的雅可比取平均。而在循环架构里，同一批权重在每次迭代中被复用，「64 层中的第 5 层」并没有良好定义 —— 有的是「第 2 次迭代的第 3 块」，而它与「第 1 次迭代的第 3 块」以及该块的其他每一个实例共享权重。平均雅可比的数学需要被重新定义。

Wang 和 Reid 用他们称为「虚拟展开适配器」的东西来处理这件事。它不把网络的权重共享迭代当作「同一组参数被应用了多次」，而是就透镜计算而言，把每一次迭代当作一个概念上不同的层 —— 把循环结构「展开」成一个虚拟的深度序列。这让每一次循环都能被标准的雅可比透镜机制寻址，从而可以在每个虚拟层上独立地拟合透镜、生成读数并跑因果实验。方法细节见预印本，该文尚未经过同行评议。

随后，完整的工作空间套件 —— 透镜拟合、读数，以及十一族因果实验 —— 被施加到两个公开可得的循环模型上：字节跳动 Seed 的 Rui-Jie Zhu 及同事开发的 Ouro-2.6B，以及马里兰大学与 ELLIS 图宾根研究所的 Jonas Geiping 及同事开发的 Huginn-0125。一个标准的 64 层非绑定权重 Transformer，Qwen3.6-27B，作为前馈基线。

Ouro-2.6B：工作空间每一圈都重建一次

Ouro-2.6B 是一个 26 亿参数的模型，它的 48 个 Transformer 层被组织为 12 层循环 4 次。Ouro 训练方案的一个显著特征，是 Ouro 论文所称的深度监督：训练损失不是只施加在完整前向传播的末尾，而是让模型在每个循环边界上都产出有意义的输出。这意味着模型被明确激励在每一次迭代结束时生成一个可读的状态，而不只是在最后一次结束时。

这项工作空间研究发现，这个监督选择在网络内部有一个直接的结构性后果。J 空间在 Ouro 中确实形成 —— Wang 和 Reid 确认，在该架构的循环部分中，涌现出一个由可言说、因果活跃的表示构成的中层带，满足全局工作空间的各项性质 —— 但那个工作空间是在每一次循环中从零重建的，而不是从上一次带过来的。第一次迭代结束时存在于工作空间中的内容，并不会被简单地传播进第二次迭代；网络会把它重建一遍。

这对干预的后果很重要。在标准 Transformer 中，研究者可以在某一层给 J-lens 向量打补丁，然后让前向传播继续，相信被打进去的内容会在网络剩余深度中一直对下游电路可用。而在 Ouro 中，这套逻辑在每一个循环边界上都失效。因为工作空间的内容是被重建而非被传输的，那些内容的线性传输跨不过循环边界：在第一次迭代打的补丁，不会以透镜所预测的形式存活到第二次迭代。这意味着写入和消融 —— 研究者修改模型内部工作空间的核心操作 —— 必须施加在剩下的每一次循环迭代上，而不是在单一位置。干预面被剩余循环数乘了一遍。

这不只是研究者跑因果实验时的一点实际麻烦。它还意味着，人们常用来为循环架构辩护的那套效率说法 —— 一个 26 亿参数模型跑四圈，在计算上大致等价于一个约 100 亿参数的标准模型 —— 需要被延伸到可解释性上。那份「让小模型逼近大模型表现」的被乘过的算力，同样把「通过工作空间干预来全面审计模型内部表示」的成本和复杂度也乘了一遍。

深度监督与可言说访问之间的关系，在这里也被澄清了：正是那个逐迭代的训练信号，让被注入工作空间的内容在每个循环边界上变得可言说。而没有这种监督训练出来的架构 —— 比如 Huginn —— 在这方面行为不同。

Huginn-0125：内容会留存，但只能透过一扇窄窗

Huginn-0125 呈现的是一幅结构上不同的画面。该架构是一个 35 亿参数模型，组织为两层前奏、一个循环 16 次的四层循环核心，以及两层尾声。与 Ouro 不同，Huginn 是专门为潜空间推理而设计和训练的 —— 为的是在多次循环中建立起复杂的内部表示，而不必把中间状态外化出来。它的训练没有逐迭代的深度监督；损失施加在尾声输出上，即在全部 16 次循环完成之后。

在 Huginn 内部，J 空间确实形成，内容也确实留存。重要的是，Huginn 会把工作空间内容跨全部 16 次循环带下去，而不是每次重建 —— 这一性质与「模型在迭代中收敛到一个稳定不动点」相一致，而 Blayney、Arroyo、Obando-Ceron 及同事在一份2026 年 4 月的机制分析中，此前已用不同方法确认过这一点。

变的是干预的有效射程。当 Wang 和 Reid 对 Huginn 的虚拟展开层施加读取、写入和消融时，他们发现这些操作只在大约连续两次循环的滑动窗口内有效。在第 6 次迭代打的补丁会影响第 6 和第 7 次迭代的处理，但影响不到第 10 次。在第 3 次迭代消融掉一个工作空间概念，会把它从第 3 和第 4 次迭代的前向传播中移除，但到第 6 次迭代时，那个概念已经从持久的隐状态里自我重建出来了。

这个两循环窗口不是设计时设定的硬架构参数；它是 Huginn 在训练中学会如何使用其循环所涌现出来的性质。它的实际后果是：研究者能够操控 Huginn 内部表示的范围 —— 任何单次干预的影响窗口 —— 只占该模型总计算深度的一小部分。那种在标准 Transformer 中能产生可靠行为改变的、广泛的网络中层工作空间修改，在 Huginn 上要达到可比的效果，需要在多个循环步骤上反复施加干预。

值得注意的是，在 Huginn 中已有内容能否被操控，并不随深度监督的有无而变 —— 这一点与训练损失如何施加无关。Ouro 和 Huginn 都对其工作空间内容表现出某种访问约束，但机制不同：Ouro 的「每圈重建」造出一道传输壁垒；Huginn 的「持久状态加滑动窗口」造出一道时间局部性壁垒。

这对对齐监控意味着什么

Wang 和 Reid 的这些发现，到来的时点是循环式与深度循环 Transformer 不再只是学术好奇心的时候。援引匿名信源的报道提示，至少有一个前沿生产级 AI 系统可能把循环深度纳入了其推理架构。

GPTS24 对那件事的调查曾指出 AI 安全研究者提出的一个担忧，其中包括 Redwood Research 首席科学家 Ryan Greenblatt：循环深度把模型有效推理的一部分挪进了思维链监控读不到的隐藏激活状态里。Greenblatt 预测，机制可解释性 —— 直接读取并操控内部表示的能力 —— 会是解决循环推理所造成监控缺口的必需方案。

Wang 和 Reid 这篇论文把那个预测变得技术上精确，并在此过程中揭示出：那个预测自带前提条件。机制可解释性用于工作空间级监控最强的那件工具 —— 雅可比透镜 —— 有能力在循环架构内部检测到全局工作空间。工作空间就在那里。但「如何修改其中的内容」这套访问规则，取决于因架构而异的性质；每一种新的循环设计，都必须先把这些性质刻画清楚，干预工具才能被有用地施加。

对 Ouro 这样的模型，基于工作空间干预的对齐监控需要在剩下的每一圈上打补丁 —— 这套多点干预方案的前提，是准确知道在推理的任一时点还剩多少圈，并且把所有补丁同时或按序施加。对 Huginn 这样的模型，工作空间干预的有效性在两次循环内就会衰减，这意味着：任何通过在计算中某一点针对工作空间而达成的行为修改，都可能在输出产生之前，被模型自己后续的处理部分抹掉。

这两种失效模式都不会让基于工作空间的可解释性对循环模型变得不可能。但两者都意味着：在基于干预的监控能够交付对齐审计所要求的可靠性之前，可解释性工具箱需要对循环结构做显式的架构建模 —— 也就是虚拟展开适配器所要支撑的那类建模。一个「当架构是标准 Transformer 那样」施加的单点 J-lens 补丁，在多数情况下不会按预期起作用。

延伸阅读：OpenAI 的 Astra 与循环深度 AI 中的监控缺口

深度监督塑造了可言说的访问

Wang 和 Reid 论文中较出人意料的发现之一，关乎逐迭代训练监督在塑造工作空间能做什么上所起的作用。作者观察到一种干净的不对称：新注入的内容能否在某个循环边界上被说出来，取决于那个边界是否收到过明确的训练信号。带逐迭代深度监督的 Ouro，允许在循环边界注入的内容在那些边界上变得可言说。没有这个信号的 Huginn，则不支持在中间循环步骤上对注入内容做同样的按需言说。

这个发现的实际含义超出了所研究的这两个模型。它提示：训练期间做出的架构选择 —— 具体说就是是否以及在何处施加中间损失信号 —— 塑造的不只是模型在下游任务上的表现，还有「工作空间如何被访问和修改」这一内部结构。一个带明确逐迭代监督设计的循环模型，可能对基于工作空间的可解释性方法更友好。而一个只朝着最终输出损失训练的模型，可能带着一个更难从外部够到的工作空间 —— 不是因为工作空间不存在，而是因为「把内容注入其中」的机制在训练时没有被激励过。

这不意味着深度监督的循环模型在所有方面都更可解释 —— Ouro 在每个循环边界上重建工作空间，本身就带来了它自己的约束。但它确实提示：可解释性的考量能够、也应该被纳入循环训练方案的设计；而「在何处施加训练信号」这个选择，对架构内部组织的影响远远超出基准分数。

此前的可解释性工具，以及迁移的极限

Wang 和 Reid 的研究把自己放在与雅可比透镜之前那些可解释性工具的关系中来定位。logit 透镜把模型的反嵌入矩阵直接施加到中间残差流激活上，已在标准 Transformer 上被广泛使用，能快速读出每一层「认为下一个 token 可能是什么」。调谐透镜（tuned lens）则训练逐块的仿射探针，让输出分布匹配得比直接反嵌入更准。两者都提供逐层读数，但依赖的是激活与输出之间的相关关系而非因果关系。两者都不是为处理权重共享的迭代架构而设计的。

此前解读 Huginn 内部表示的努力用过这些更简单的工具，成效有限。布朗大学与哈佛的 Wenquan Lu、Yuechuan Yang 及同事在一篇2025 年的预印本中，试图用 logit 透镜和一个叫 coda 透镜的变体来检测 Huginn 内部的潜在思维链 —— 两者都是相关性方法，能揭示各层预测什么，却无法确认因果责任。coda 透镜只在表示穿过最后的 coda 块之后才读出，它能识别模型即将产出什么，但支撑不了对齐监控所需要的那种计算中途的操控实验。

雅可比透镜在这两点上都有改进：它用模型自身的平均梯度结构，来定义从中间激活到输出的映射 —— 那是一种可以通过干预来检验的因果关系。关键在于，雅可比是在一个大规模、多样化的提示词语料上取平均计算的，这把「一般意义上可言说的表示」与「只是碰巧能预测当前 token 的表示」区分开来。Wang 和 Reid 引入的虚拟展开适配器，把这套因果机制扩展到了循环架构上，而这是 logit 透镜和调谐透镜都没有被设计来做的。

一项相关的在先贡献来自 Blayney 及同事的2026 年 4 月那篇机制分析论文，它用不同方法记录了循环架构中的「推理阶段」，并确认 Huginn-0125 在多次循环中收敛到一个不动点表示，而 Ouro 不会。那项分析与 Wang 和 Reid 透过透镜看到的结果一致：Huginn 的内容持久画像反映的是它的不动点收敛，而 Ouro 被重建的工作空间反映的是在一个深度监督设计中缺少这种收敛。这两篇论文用不同方法，得出了一幅连贯的图景。

此前没有任何工作做过的，是把一个因果上有效、能做干预的可解释性框架施加到这些架构上，并把它对工作空间访问的后果测绘出来。那正是 Wang 和 Reid 的贡献，它把讨论从「激活长什么样」推进到了「当你试图改变它时会发生什么」。

架构在分化，可解释性研究必须跟着适配

2025 到 2026 年循环 Transformer 的发展轨迹，是规模不断扩大、实用兴趣不断上升的一条线。马里兰大学的 Huginn-0125 论文在研究规模上演示了通过循环实现的测试时算力扩展。字节跳动的 Ouro 模型把这条路推到了 7.7 万亿训练 token，逼近生产竞争级模型所用的数据量。更近一些，一族 Looped-MoE 架构把循环深度与稀疏专家路由结合起来，找到了效率增益，提示循环设计在某些推理区间里可能有优势。

循环架构在各研究实验室间的扩散 —— 以及它们在至少一部分生产语境中的疑似采用 —— 意味着 Wang 和 Reid 指出的这道可解释性缺口不是一个理论上的顾虑。那些围绕标准 Transformer 架构建立起工作流的对齐审计者、安全研究者和可解释性从业者，如果要对使用循环推理的模型提供有意义的监督，就必须调整这些工作流，把循环边界、工作空间重建和滑动窗口访问约束都考虑进去。实际上，这意味着任何当前围绕 J-lens 读数搭建的自动化对齐审计流水线 —— 包括 Gurnee 等人演示的「反事实反思训练」和评测意识检测方法 —— 都不能开箱即用地施加到循环模型上。流水线中每一个涉及写入工作空间或从中消融的组件，都必须为因架构而异的访问模式重新实现。虚拟展开适配器为那次重新实现提供了概念脚手架，但工程工作还在前面。

Wang 和 Reid 施加到 Ouro 和 Huginn 上的虚拟展开适配器与工作空间套件，代表着这个层级上因果有效、可做干预的可解释性首次被带到循环架构上。这篇论文隐含指向的下一步包括：扩展到 Looped-MoE 模型，那里循环与稀疏专家路由之间的相互作用可能造出额外的访问约束；开发针对特定循环次数和边界结构校准的多点干预方案；以及研究能否在不牺牲循环所带来的性能优势的前提下，修改训练方案让工作空间更容易被访问。

这篇论文目前确立的是：当一个 Transformer 开始循环时，全局工作空间并不会消失 —— 它在循环中幸存了下来。变的是访问的架构，而变的方式取决于模型是怎么训练的、以及它的隐状态如何跨迭代演化。如何可靠地读取并操控那个工作空间里的东西，是可解释性社区必须解决的问题 —— 只有解决了它，循环模型才能以雅可比透镜当前为前馈同类所提供的那种信心接受审计。