可解释性工具被改造来防止 AI 遗忘早先任务

周一挂上 arXiv 的一篇新论文为稀疏自编码器提出了一种意想不到的用途 —— 这是各大 AI 实验室过去两年为窥探大语言模型内部而构建的可解释性工具。研究者 Faber、Filus 和 Pawela 没有用它们揭示模型知道什么，而是用它们保留模型已经学到的东西：从 SAE 结构推导几何约束，在监督式持续学习基准上减少灾难性遗忘。

这篇题为《Sparse Autoencoders Can Induce Local Geometry for Mitigating Catastrophic Forgetting》的论文（arXiv:2610.22439）描述了一种名为 SAGA —— 稀疏自编码器几何锚定 —— 的方法。在使用 ViT-B/16 骨干的三个标准视觉基准上，作者报告在类增量学习设定中，相对 ER、DER++ 和 ER-ACE 等领先的回放基线，CIFAR-100 上准确率提高 12.15 个百分点，CUB-200 上 4.79，ImageNet-R 上 3.22。所有数字均为预印本的作者自报；尚无独立复现发表。

为什么灾难性遗忘一直抗拒简单解法

灾难性遗忘描述的是神经网络在多个任务上顺序训练时，逐渐覆写编码早先知识的权重。标准梯度下降没有机制区分「对任务 1 重要的权重」和「可以为任务 2 更新的权重」，所以在新数据上微调模型往往会侵蚀先前习得的行为。

已经出现三大类解法。正则化方法 —— 最著名的是弹性权重巩固（EWC）—— 在每个任务后计算逐参数的重要性分数，并惩罚未来的大幅变化。架构方法通过扩展模型或路由到独立参数集来预留容量。回放方法存储早先任务的代表性样本，并在新数据训练时混入，直接锚定行为。

实践中，回放一直是最难击败的基线。正则化保护的是参数重要性的统计代理，而不是行为本身。SAGA 没有消除回放 —— 它用回放样本来确定几何约束应当施加在表示空间的哪里。它的贡献在于这些约束从何推导、如何构造。

稀疏自编码器几何如何创造一种新的表示约束

可解释性社区构建稀疏自编码器是为了解决另一个问题：transformer 模型中的单个神经元是多义的，同时编码多个不相关的概念，因为模型往激活中塞进的表示比它拥有的神经元还多 —— 这种现象叫叠加。训练一个把激活扩展到更高维、稀疏激活空间的辅助网络，让研究者能把模型行为分解为更可解释的单元。

Anthropic 的《Scaling Monosemanticity》论文（2024 年 5 月）在 Claude 3 Sonnet 规模上展示了这一点，找到了对应欺骗、谄媚和安全漏洞的特征。OpenAI 于 2024 年 6 月在 GPT-4 上跟进了一个 1600 万潜变量的 TopK SAE。Google DeepMind 的 Gemma Scope（2024 年 8 月）在 Gemma 2 模型上分发了 400 多个 SAE。

Faber、Filus 和 Pawela 观察到的是，这些表示的结构属性 —— 局部稀疏、过完备、几何可分 —— 可能对一个完全不同的目的有用。因为 SAE 空间中相近的输入倾向于激活不同的特征子集，该空间表现出天然的局部可分性。训练样本落在这一稀疏几何不同区域的任务，在顺序微调期间相互干扰的压力更小。

SAGA 把这一点机械化地落地。在每个任务训练之后，该方法在该任务的激活上训练一个稀疏自编码器，然后计算编码器雅可比矩阵的主要右奇异方向。这些方向标识出 SAE 编码结构认为表示空间中最重要的取向。SAGA 把它们转化为低秩约束，限制模型的表示在未来训练期间沿这些方向允许漂移的幅度。

关键是，在后续任务中 SAE 本身不需要保存。只有推导出的雅可比奇异方向被带入后续，使该方法比保留完整任务数据或任务专属模型的方法更轻。作者提供了理论基础，把该方法与潜码匹配联系起来，并推导出在保持受保护方向时冻结读出漂移的条件界。

基准结果与预训练骨干的注意事项

在类增量学习协议下的 CIFAR-100、CUB-200 和 ImageNet-R 上，SAGA 报告在评估方法中既有最高的平均准确率也有最低的平均遗忘。CIFAR-100 上相对最强回放基线 12.15 分的增益相当可观；三个数据集上的一致增益表明结果并非特定于某个基准。

不过作者自己的限定很重要：「从零训练的结果更为混杂。」一个在 ImageNet-21k 上预训练的 ViT-B/16 在持续学习开始之前就已经学到了丰富且广泛可泛化的特征层级。SAGA 利用的稀疏几何可能部分反映的是那种预训练质量，而不仅是 SAE 推导的约束。在预训练骨干上成功的方法，在随机初始化网络上 —— 那里表示几何更嘈杂 —— 往往优势更小。

更大的领域：基于 SAE 的持续学习作为新兴方向

一篇同期论文 SAE-FD（稀疏自编码器特征蒸馏，arXiv:2605.25525）把相关的「SAE 在潜空间」策略应用于 LLM —— LLaMA-2-7B-Chat、Vicuna-7B 和 Mistral-7B —— 使用一个训练一次后冻结的门控 SAE，作为顺序微调期间蒸馏的参照。在 TRACE 基准上，SAE-FD 报告 52.70% 的平均准确率，高于此前最佳的 50.40%，且反向迁移更低。

SAGA 和 SAE-FD 使用不同的架构、针对不同的设定 —— 视觉对语言、锚定几何对特征蒸馏 —— 但合起来它们构成了一个独特且不断增长的研究簇：把 SAE 表示的结构属性当作持续学习工具，而非分析仪器。

被 ICLR 2026 接收的 EWC-LoRA 论文以不同方式处理这个问题，通过低秩分解在全维空间中估计参数重要性，并对一个共享的 LoRA 模块施加正则化，在视觉和语言基准上相对任务专属适配器都取得了一致增益。SAGA 的表示空间几何与 EWC-LoRA 的权重空间正则化原则上可以结合。

该方法尚未处理的问题

SAGA 需要干净的任务边界信息 —— SAE 在每个任务完成后训练，这预设了离散的任务切换，而不是部署中常见的连续分布偏移。回放样本仍然是锚定约束所必需的，所以回放的数据管理负担被重新表述而非消除。而且论文的结果在图像分类上；LLM 通过注意力头动态、MoE 路由和更长程的表示依赖引入了额外复杂性。

Masip 及同事的研究（arXiv:2601.22012）把遗忘表述为一种特征层面的现象，涉及分配容量和下游读出扰动两方面的变化，为 SAGA 底层的几何观点提供了独立的理论支持 —— 但也指出了把任何基于几何的方法扩展到深度语言模型中更纠缠的表示结构的困难。

可解释性基础设施作为潜在的训练资产

SAGA 隐含的论点超出任何单个基准：Anthropic、OpenAI 和 Google DeepMind 为可解释性构建的基础设施 —— 大规模训练 SAE、构建检视特征的工具、建立标准 SAE 协议 —— 可能有第二种生产性用途：在顺序训练期间稳定模型。按当前证据水平这一推断仍是推测，但它与典型预印本结果的推测在结构上不同，因为这些基础设施已经存在。

SAE 推导的几何约束能否泛化到已部署系统规模的语言模型微调，将决定 SAGA 是一座重要的方法论桥梁，还是一个范围谨慎的基准结果。机制可解释性与持续学习的汇合至少值得跟踪 —— 为让模型内部可读而构建的稀疏表示，可能恰恰也是让这些内部在持续训练压力下保持稳定的那种结构。