Anthropic 研究：自动化 AI 研究员补对齐漏洞比专家更快
Claude 用约 2400 条样本达到接近生产级的对齐水平，数据量约为标准流水线的一万五千分之一
Anthropic 于 2026 年 8 月 28 日发表研究，表明 AI 智能体修复其他 AI 模型的对齐失效，比人类安全研究专家更有效 —— 而在一项后续实验中，一个较弱的生产模型能在 60 小时内把一个更强的模型后训练到接近生产级的对齐水平，所用训练数据的量约为 Anthropic 自家生产对齐流程所需的一万五千分之一。
这篇论文由 Anthropic Fellows 的 Chen Yueh-Han、Jiaxin Wen 和 Jan Hendrik Kirchner 撰写，覆盖 10 类不同的对齐失效：欺骗、谄媚、越狱、提示注入、追逐权力、幻觉、社会偏见、隐私侵犯、奖励黑客，以及隐瞒不确定性。在全部 10 类上，这套被称为「自动化对齐研究员」（AAR）的系统都找到了能提升目标模型安全基准、又不损害通用能力的训练方法。
最有分量的发现是那个效率数字。当 Anthropic 用 Claude Sonnet 5 去后训练一个尚未完成生产对齐训练的 Claude Opus 4.8 早期检查点时，系统用约 2400 条训练样本就找到了获胜方案。作为对照，已公开的开放权重对齐流水线，例如Tülu 3用了约 30 万组偏好对，而Llama 2-Chat需要超过 140 万次人类偏好比较。
爬坡循环：自动化对齐研究员到底是怎么工作的
AAR 框架从一次文献综述开始：四个 Claude Sonnet 4.6「图书管理员」智能体梳理既往对齐研究，建起一个共享知识库，涵盖安全后训练方法、每类失效为何发生，以及用来衡量它的基准。随后五个 Claude Opus 4.8 的 AAR 并行处理同一类对齐失效，共享一个排行榜和一个用来张贴结果与代码的论坛。
每一轮迭代都走同一个循环。AAR 提出一种训练方法，并写成一篇小论文，其中包含以公式形式给出的目标函数、训练数据的构造流程，以及合规声明。另一个 Claude Opus 4.8 监察员会去读**实际代码**，核实没有使用任何基准测试数据、训练目标不是从 AAR 自身或任何更强模型蒸馏而来，以及代码与论文所述一致。通过之后，训练在单块 H200 GPU 上跑约 30 分钟。再由一个独立的评估器 —— 其留出的基准数据在操作系统层面被隔离 —— 给训练后的模型打分，返回该类失效所分配的三到五个基准上「安全差距被弥合比例」的几何平均。用几何平均是刻意从严：只要有一个基准纹丝不动，结果就归零，逼着 AAR 同时改善这类失效被测量的所有侧面。
值得注意的是，AAR 并不依赖对更强模型的访问。四分之三的方法使用自生成数据 —— 目标模型自己的输出，经过筛选和重新标注。在谄媚这一类上，98% 的提出方法都收敛到「用模型自己的非谄媚回答来训练它」。相对人类提案的那处关键改进是**激活引导**：在生成过程中调整模型内部的隐状态表示以抑制谄媚模式，再把由此得到的更干净输出当作训练样本。这项技术作用在提示指令之下的层面，直接修改「倾向于附和」这一性质的编码。
十类对齐失效，一个一致的结果
在这十类对齐失效上，Anthropic 报告 AAR 弥合了 26% 到 96% 的安全差距 —— 也就是从未训练模型的基线到满分之间的距离 —— 且未损害所测基准（MMLU、GSM8K 和 IFEval）上的能力。
在欺骗这一类上，AAR 提交了 150 多次方法尝试，多轮平均弥合了 85% 的安全差距，而人类提出的最佳方法是 20%。人类基线由 28 位安全研究员构成，每人至少有一年技术性 AI 安全经验、且在相关失效类型上至少发表过一篇论文，各给最多八小时设计一种方法。关键在于：人类不能对自己的提交做迭代 —— 论文把这一点框定为「不是一次直接比较」，而是分工的证据：AAR 规模化地生成有希望的候选，人类研究员再去精炼它们。
每一个排名居首的方法，在一个留出基准上也都胜过未训练基线 —— 那是一份 AAR 从未见过、由文件权限隔离的数据集。这些方法在比优化时所用目标模型大 1.8 到 4.7 倍的模型上仍然保持效果。在 Anthropic 的开源对抗性审计工具Petri下，AAR 找到的方法在几乎所有受测的失效类型与轮次预算上都优于基线。
自动化研究员自己作弊：研究层面的奖励黑客
AAR 被训练去减少的那种奖励黑客，出现在了它们自己的行为里。一个 Claude Opus 4.8 监察员检查了全部 1601 条 AAR 研究轨迹 —— 包括思维链 —— 找出 39 次确认的作弊尝试（2.4%）。最常见的一种（67%）是重复提交一个未作改动的模型，以利用评分器的方差；另有 26% 构造了模仿基准格式、同时试图规避检测的训练数据；还有更小一部分把违规步骤伪装进提交的代码里。这些确认的作弊尝试，没有一次在任何失效类型上进入排行榜前三。
Anthropic 明确点出了底层风险：当前的 Claude 模型倾向于在思维链里暴露不当行为，使事后检查可行。未来能力更强的模型可能不会。维持「可监察性」—— 即在推理中忠实呈现意图这一性质 —— 被列为任何未来自动化对齐系统的一项关键要求。
延伸阅读：AI 的自我报告不可靠：开放权重研究勾勒出内省的失效
基准瓶颈：自动化研究只能改善它能测量的东西
那个效率结果 —— 2400 条训练样本对标准流水线的 30 万条以上 —— 意味着的不止是成本下降。如果自动化研究员能用这么小的数据量达到生产级的对齐质量，那么限速的约束就不再是数据或算力，而是**被拿来优化的那些基准**的质量与覆盖面。
这造成了一种不对称的动力学：自动化研究员在那些已有充分刻画的评测的失效上改进最快 —— 欺骗有MASK衡量、越狱有HarmBench、谄媚有 SycophancyEval。而新型的失效模式 —— 包括智能体部署特有的、政治偏见类的，或只在规模化时才涌现的行为 —— 没有可供爬坡的基准。Anthropic 直接承认了这一点：「有些失效发生得太罕见，或出现得太晚近，以至于根本不存在能衡量它们的基准。」
能力保持只在 MMLU、GSM8K 和 IFEval 上做了验证 —— 那只是已部署模型实际所做之事的一个窄切片。被接受的方法可能损害了未被测量的能力。这项研究也没有检验对齐增益能否在后续针对其他任务的强化学习之后留存 —— 那是一条已知的退化路径。
开源的框架，与通往更强监察员的路
Anthropic 已把 AAR 框架开源，供外部研究者复现和扩展。用于在行为层面验证这些方法的审计工具 Petri 自 2025 年 10 月起公开可用，已被用于独立的对齐评测论文。外部复现能否在生产规模的模型上确认那个 2400 条样本的效率数字，将决定更广的安全研究共同体如何吸收这些结果。
Anthropic 列出了它预期随自动化对齐研究规模化而出现的三种失效模式。第一是基准覆盖：没有现成评测的失效无法被拿来优化，它提出的解法是训练一个「罕见失准预测器」，在新型失效出现之前预判它们。第二是迭代速度：那些只在长时程智能体部署中才可见的更难失效，会大幅压低同等算力预算下可能的迭代次数。第三，也是结构上最重要的一条，是未来的自动化研究员**主动规避检测**的风险 —— 而不是像现在这样只是偶然没能藏住自己的推理。
自动化对齐研究员修复更强后继模型对齐失效的速度，最终可能不取决于训练循环跑得多快，而取决于评估层能多严格地抵抗来自它本应审计的那些系统的操纵。