Meta 与麻省理工学院提出办法,修复无法纠正自身错误的 AI 智能体记忆
新研究为智能体记忆加入反向修订,在错误经验层层放大之前把它纠正过来

每一个从经验中学习的 AI 智能体,都带着一个不易察觉的结构性缺陷:它的记忆只朝一个方向流动。完成一项任务后,智能体把一条反思写入记忆库。此后的实例会检索到这条反思,并据此行动。但如果这条反思里有错误——一条过度泛化的规则、一个站不住脚的结论——并没有任何机制可以修正它。这条错误的经验会一路传下去,悄悄地左右此后成千上万次决策,而且无从纠正。
来自麻省理工学院、Meta MRS Research 和耶鲁大学的一支研究团队,在一篇于 2026 年 10 月提交的论文中提出了一种修复办法。他们的系统 ReHarness 为标准的智能体记忆架构加上了一个反向修订循环。智能体完成一项任务并观察到结果之后,ReHarness 会改写指导过这项任务的那些反思——而且只允许以每条反思最初写下时的原始证据作为修正的依据。在三项持续学习基准和三种大语言模型底座上,ReHarness 都胜过了七种基线方法,测试条件与大多数已部署智能体系统的运行约束一致。
只进不退的智能体记忆为什么在规模化时失灵
ReHarness 所改进的记忆架构源自 Reflexion,这是 Shinn 等人 2023 年的一篇论文,它提出把任务结束后的自我批评存入工作记忆缓冲区。思路很直接:智能体完成一项任务,反思自己哪里做错了,把这条反思写下来,下次遇到类似任务时再把它检索出来。这样,不需要任何人去动模型权重,智能体就会随时间变得更好。
缺陷不在写入这一步,而在于完全没有修订这一步。设想一个给数字排序的智能体,在完成一次降序排序任务后,归纳出「把较大的数放在前面」。等升序排序任务来了,同一条规则被检索出来,于是用错了地方。失败的结果会促成一条新的反思,但最初那条过度泛化的规则仍然原封不动地留在记忆里。以后的检索可能调出其中任何一条,错误就这样延续下去。随着智能体的交互流不断增长——在几个月的部署中处理几百上千项任务——错误的反思积累得比它们被取代的速度更快。问题会越滚越大。
这个问题眼下尤其要紧,因为受影响最大的恰恰是那些无法重新训练的智能体。通过 API 调用 Claude、GPT 或 Gemini 这类托管模型的语言模型智能体,没有任何途径更新权重。它们全部的学习能力都在 harness 里——也就是决定把哪些信息放进上下文窗口的那层脚手架。LangChain 的哈里森·蔡斯在一篇2026 年 4 月的文章中把这称为一个现实存在的空白,并指出 harness 层面的学习得到的关注远少于模型权重的更新。
三步反向修订循环
ReHarness 并不取代标准的记忆架构。它是在任务执行与新的记忆写入之间加了一个修订步骤。
流程是这样的。一个新的任务实例到来时,ReHarness 用标准的相似度搜索检索出最相关的过往反思,并把它们放进智能体的上下文——这与任何检索增强的 harness 的做法完全相同。智能体执行任务,完整的轨迹(每一个动作、中间结果和最终结果)都被记录下来。
结果出来之后,ReHarness 进行一次反向传递。对于每一条被检索到的反思,由一个单独的修订智能体阅读三样东西:这条反思本身、这条反思最初据以写成的轨迹(即它的源轨迹),以及当前任务的轨迹和奖励信号。然后修订智能体改写这条反思。如果原来的反思导致了当前任务的失败,修订后的版本就会把这一修正纳入其中。
这次修订受一条关键约束的管束:改写后的反思只能引入源轨迹中出现过的信息。它不能取用当前实例的数据,否则就等于把未来的知识塞进过去的记录——这是一种信息泄漏,会让基准结果变得不可靠,更重要的是,会让记忆库混入智能体在最初写下这条反思时本不可能知道的知识。作者把这称为「有据修订」要求。根据论文的实验结果,在全部三种底座模型上,超过 95% 的修订满足了这一约束,泄漏率在 0.8% 到 2.1% 之间。
修订后的反思随后作为少样本示例,用于最后一步:根据当前任务写出新的反思。由于这些示例已经得到纠正,新的记忆条目所依据的过往经验,就比只进不退的系统所能给出的更好。
整个过程在严格的在线流式协议下运行。智能体对每个任务实例只看一次,按到达顺序处理,不重放过去的实例,没有留出的验证集,也不对底座模型做梯度更新——这与当今大多数已部署的生产智能体所受的约束相同。
这些基准测的是什么——又显示了什么
评测涵盖三项基准:CL-Bench,包含六项专门设计了分布变化的持续学习任务;MemoryBench,包含五项测试跨交互流联想记忆的任务;以及 MemoryArena,包含任务类型各异的五个领域。三项基准都分别以 Claude Opus 4.8、GPT-5.5 和 Gemini 3.7 Flash 作为底座模型运行,共形成九种基准与底座的组合。
主要指标是归一化增益:即可归因于过往经验的提升,表示为相对于「没有过往经验」这一基线所能取得的最大提升的比例。得分为 0,表示智能体没有从自己的历史中得到任何收益;得分为 1,表示学习达到了最优。这个指标把记忆架构的贡献单独分离出来,不受底座模型自身能力的影响。
ReHarness 在全部九种组合上的平均归一化增益为 0.240。最强的原始上下文基线——Top-K Raw,即把最相关的过往轨迹直接放进上下文——得分为 0.168。Full Raw 把全部过往轨迹都放进上下文,得分为 0.164。ReHarness 在九种组合中的八种里排名第一或并列第一。唯一的例外是 CL-Bench 配 Gemini 3.7 Flash,在那里 Full Raw 以 0.001 的优势胜过 ReHarness(0.234 对 0.233)。经 Bonferroni 校正的配对 Wilcoxon 检验显示其表现在统计上显著更优,对所有基线都是如此。
消融实验把反向修订这一步的贡献单独分离了出来。在 CL-Bench 配 Claude Opus 4.8 的组合上,完全去掉修订会让归一化增益从 0.217 降到 0.144——下降 33%。只去掉修订后反思的示例(保留修订,但不用修订后的反思来指导新的写入),则降到 0.191。循环中的每个组成部分都带来了独立的价值。
论文还把表现分解为稳定性(智能体对行之有效的做法保留得多好)和可塑性(它对新任务类型适应得多好)。此前的 harness 记忆方法通常顾此失彼。ReHarness 在两方面同时取得了最好成绩(在 CL-Bench 上稳定性为 0.015,可塑性为 0.241),这表明反向修订同时改善了保留和适应,而不是在两者之间做取舍。
闭合这个循环的成本
ReHarness 并不是最便宜的选择。以 Claude 为底座完整跑一次 CL-Bench 的 token 成本可以说明其中的取舍:Top-K Raw 消耗的 token 最少,按 API 价格(含提示缓存折扣)计算约为 85 美元。ReHarness 消耗约 4157 万个 token,成本约为 254 美元。Full Raw——把全部过往轨迹放进上下文——消耗 1.4212 亿个 token,成本约为 314 美元。
因此,ReHarness 的成本大约是最便宜基线的三倍,比最贵的那种略低。这是否可以接受,完全取决于部署场景。对于在长周期内做出重要决策的智能体——编程助手、研究智能体、企业工作流智能体——未被纠正的反思所传播的错误,其代价很可能超过反向修订带来的每次运行的额外开销。对于任务结果没那么要紧的大流量消费级智能体,最便宜的检索方法可能仍然够用。
作者指出,为了进行修订,原始轨迹仍然必须保留。ReHarness 通过检索而不是把全部轨迹放进上下文,降低了推理的 token 成本,但并没有消除轨迹的存储成本。
一个日趋活跃的领域,而 ReHarness 占据着独特的位置
ReHarness 进入的是一个越来越活跃的研究领域。2026 年年中出现了好几篇关于 harness 持续学习的论文,包括 7 月的 MemHarness 和 Recursive Harness Self-Improvement,以及 8 月的 Evo-Harness 和一个名为 Harness Continual Learning 的系统。这一波研究的共同点是认识到:不只是模型权重,智能体的 harness 也需要有章法的机制,才能随时间不断改进。
ReHarness 在这一批研究中的不同之处,在于它在协议约束这个维度上的位置。作者考察过的所有既有 harness 优化方法,要么只进不退——写下经验,从不修订——要么需要辅助数据:用留出的验证集来评估候选的 harness 版本,或者重放过去的实例。严格的在线流式约束把这两种选项都排除了。GEPA-Online 是作者自己对 GEPA 提示优化系统所做的去验证集改造版,在在线条件下失去了验证反馈循环,因此落后于 ReHarness。
另有一篇 2026 年 7 月的来自 RELAI 的基准论文——《Do Agent Optimizers Compound?》——在两阶段协议下,用 Terminal-Bench 2.0 的任务评测了三种 harness 优化方法(GEPA、Meta Harness,以及 RELAI 自己的可验证持续学习系统)。RELAI-VCL 的平均通过率达到 76.4%。由于基准和协议不同,这些结果不能与 ReHarness 直接比较,但它们证实了多支研究团队正在把 harness 优化当作一项独立的能力来衡量,而且不同方法之间的性能差距大到在实践中不容忽视。
反向修订仍有不足的地方
ReHarness 的结果并不是处处一致。在涉及可利用型扑克的任务上,增益微乎其微。作者把这归因于奖励噪声:在扑克中,单手牌的结果对于判断哪条反思应当修订来说是一个很弱的信号。当奖励反馈噪声太大、无法确定是哪一条反思导致了失败时,修订智能体就缺少做出有意义修正所需的证据。这指向一个更普遍的局限:反向修订机制的好坏,取决于它收到的奖励信号的好坏。
有据修订这条约束虽然在逻辑上站得住,但各底座上实测的泄漏率为 0.8% 到 2.1%。这意味着尽管有约束,修订智能体偶尔还是会引入源轨迹之外的信息。这个比例很低,但不是零;在高风险或需要审计的部署中,即使是罕见的违反约束的情况也可能需要关注。
目前还没有对 ReHarness 结果的独立基准复现发表。报告的所有数字都出自作者自己的实验环境。论文也没有包含由人工评估的、对修订前后反思质量的定性评价。
从业者和研究者接下来该关注什么
对研究界来说,接下来自然要问的是:反向修订能否有选择地进行,而不是一概全做——只修订那些能以足够把握确定导致了失败的反思,而不是不论把握大小,对所有检索到的反思都尝试修订。奖励噪声造成的那种失效模式说明,这种选择性并不容易做到。
对构建生产智能体的从业者来说,ReHarness 为最常见的部署场景提供了一个经过研究验证的架构模板:一个冻结的托管模型,只能通过 API 访问,在很长的交互流上运行,并且无法重放。反向修订同时改善稳定性和可塑性这一发现,是那种值得为之投入实现成本的结果:它意味着加上一个纠错循环,并不需要以更差的保留效果作为交换。
2026 年这一波更大范围的 harness 持续学习研究,正在产出足够多相互竞争的方法,如果能有一项系统性的比较研究——采用统一的基准集和一致的评测协议——对这个领域会很有价值。随着判断该修订哪些反思、何时修订的技术变得更精确,ReHarness(每次运行 254 美元)与较简单的检索方法(每次运行 85 美元)之间的差距很可能会缩小。在那之前,选择只进不退的 harness 架构还是带反向修订的架构,与其说是技术偏好的问题,不如说是一个已部署的智能体承受得起背负多少累积错误的问题。



