谷歌自我改进记忆:记下修改理由,智能体 harness 换模型后迁移更好
有修改日志时 Gemini 3.8 Flash 得分 84.75,没有时为 73.42,从头开始则达到 82.98

一篇由 Google Cloud AI、Google DeepMind 与宾夕法尼亚州立大学合作完成的预印本论文本周广为流传,配上的是「谷歌在递归自我改进上取得新进展」之类的中文标题。这种说法引出了论文本身从未提出的解读:谷歌已在内部实现递归自我改进,新的 Gemini 模型如今能继承旧模型的经验。论文实际展示的内容要窄得多,但对任何构建智能体的人都更有用:当智能体底层的模型更换时,负责持续调优智能体外围代码的优化器,如果继承的不只是改好的代码,还有一份结构化日志、记录此前每次修改的理由,效果会更好。整项研究中没有任何模型权重发生变化。作者将论文发布在 arXiv 上,属于尚未经过同行评审的预印本。
这篇编号为 arXiv 2611.18856 的论文提出了自我改进记忆(Self-Improvement Memory,简称 SIM),适用场景被作者称为持续递归自我改进(Continual Recursive Self-Improvement,简称 CRSI)。arXiv 显示第 1 版于 11 月 13 日提交;11 月 18 日和 19 日,随着 explainx 和中文媒体智东西相继报道,关注度骤升。谷歌在 11 月 18 日发布了 Gemini 4 Neon,距 Gemini 4 Hydrogen 发布仅六天,这让人很容易把两件事联系起来。但模型卡并不支持这种关联。
对从业者而言,最有价值的收获是论文所量化的可移植性问题。为某个模型调优的 harness 是一项不断贬值的资产,而让它得以迁移的,是其背后每次修改的推理记录。
论文测试的是 harness 优化,而非模型自我改进
harness 指包裹在语言模型外、把它变成智能体的一切:系统提示词、工具定义、上下文管理、执行流程、停止规则和记忆。在论文的设置中,真正负责解题的策略模型是冻结的。另一个优化器(本身也是语言模型)反复对 harness 代码提出修改,在一组任务上测试候选方案,并保留最好的那个。作者把这称为智能体系统层面的递归自我改进;而近期一篇领域综述指出,这种用法把从有界的自我完善到开放式自我改进等不同层次的目标混为一谈。
CRSI 关心的是接下来会发生什么。团队先在某个基准或模型上优化 harness,即「源」阶段,随后基准或模型发生变化,优化器在「目标」阶段从最终的源 harness 继续优化。论文测试了两种变体:跨数据集 CRSI,即基准变化、策略模型不变;跨模型 CRSI,即策略模型变化、基准不变。
实验覆盖四个领域。编程方面,源是包含 89 个任务的 Terminal-Bench 2.1,目标是包含 66 个任务的 Terminal-Bench 4。文本分类方面,优化器从包括 LawBench 和 USPTO-50k 在内的三个数据集,迁移到 Banking77 等八个未见过的数据集。智能体工作空间任务方面,从 Harvey LAB 迁移到 JobBench、GDPval 和 APEX-Agents 的等权平均。工程设计方面,从 EngDesign 迁移到 Frontier-Eng。根据论文的基准表,每个基准都被大致对半分为演化集和留出集,所有报告的分数均来自留出集。
Gemini 3.8 Flash 在跨数据集 CRSI 中担任策略模型,在跨模型研究中担任目标策略模型,后者的源策略模型是 Claude Opus 5.5。在主要对比中,它还担任优化器的提议者和选择者,包括由 Opus 执行任务的情形。这一细节很重要,因为人们很容易把这套设置理解为 Gemini 继承了 Claude 的记忆。实际被继承的,是一个为 Opus 打造的 harness 和一份修改日志,而不是 Claude 记住的任何东西。
为 Opus 演化的 harness,得分低于 Gemini 自己的起点
驱动这项研究的问题是可以量化的。论文报告,把为 Opus 演化出的 harness 首次用在 Gemini 上时,它在每个领域的得分都低于 Gemini 的种子 harness,差距从文本分类的 0.60 分到工作空间任务的 5.48 分不等。FourWeekMBA 对这篇预印本的总结报告了相同的区间。按作者的说法,继承现成代码可能比从头开始更糟,因为新的优化器看到的规则、拦截器和提示词片段,都没有记录各自原本要解决什么问题。它可能把一个修复真实 bug 的补丁当作冗余删掉,或者重试一个早已证明行不通的思路。
论文的案例研究用一种名为「过早完成」的失败模式把这一点讲得很具体:智能体在没有实际完成工作的情况下就宣布任务结束。在 Terminal-Bench 2.1 的源阶段运行中,种子 harness 只要求模型确认它自己声称的完成。在一次失败的运行中,智能体从未创建所需的用户账户,用另一个账户做了测试,却仍然报告成功。经过三轮被接受的修改,源优化器构建出一道执行关卡,代码增长到 275 行,增加了四条拒绝路径。两个原本五次运行只成功一次的任务,变成了五次全部成功。
到了目标阶段,两种条件分道扬镳。没有 SIM 时,优化器把同一道关卡改了四次,其中两次是为了修复它自己引入的完成死锁,还一度把一道继承来的关卡归为自己的成果。有 SIM 时,优化器读到了这道关卡存在的原因,保留了它,并加以扩展,让智能体在结束前把自己的得分与理论上下限进行比较。作者报告称,这道关卡在目标 harness 中从 275 行增长到了 437 行。
自我改进记忆如何记录一次修改及其结果
SIM 是一个结构化文件,而不是聊天记录。修改按反复出现的根因假设归类,论文举的例子就是「过早完成」。当优化器诊断出新的根因时,文件新增一个条目;当诊断与已有根因吻合时,就把新的尝试追加进去。每次尝试都会记录轮次、修改描述、改动的文件、优化器在评估前预测能修复的任务、评估后实际修复或未能修复的任务、通过的试验次数,以及运行所在的领域、基准和模型。
「预测对照实际」这一配对,是 SIM 区别于普通变更日志的设计选择。由于预测在评估前就已记录,下一个优化器可以看出前任对问题理解得有多准,并据此为那些推理分配权重。日志也会保留失败。每轮只记录被选中的候选方案,但其中包括出现退化或未能修复预测任务的修改。在案例研究中,一个关于过早终止的条目记录了两次尝试,两次都被选中,却都没有修复它预测的四个任务中的任何一个。
优化器在系统提示词中读取完整日志,不做检索也不做截断,负责为候选方案排序的选择者读取的也是同一份记录。作者要求优化器把条目当作先验经验而非事实:核对领域、基准和模型,在发生变化后重新评估修改,并在基准和模型都变化时降低针对具体任务的证据的权重。新的诊断是否与旧根因吻合,由提议者模型自己判断,文本完全相同的则按确定性规则合并。对比中的每种条件都使用十轮、每轮五个候选方案。论文称一轮编程大约需要四小时,其中评估占 1.7 小时;按本刊的计算,这意味着顺序执行的十轮运行大约需要四十小时。
有一个设计上的后果值得注意。由于完整日志不经截断地放进提示词,它会随着每次被接受的修改而增长,而论文的十轮运行并没有测试 harness 积累到数百个条目时会怎样。到了那种规模,团队就需要摘要或检索,而这恰恰是作者选择不纳入设计的部分;因此这种方法的上下文长度上限是一个悬而未决的工程问题,而不是实测结果。与相邻的方法相比,SIM 以通用性换取透明度:RRSI 对 harness 演化做正则化,ReHarness 在智能体运行时修订已存储的经验,而 SIM 保留一份可审计的账本,供人工审阅者逐行阅读。
这就是「反思记忆」在目标从解题智能体转向优化器之后的样子。早期Reflexion 一脉的工作把语言形式的经验存进智能体的情景记忆缓冲区;SIM 存储的则是关于智能体代码的经验,供下一个修改它的模型使用。Meta、麻省理工学院和耶鲁大学的另一篇论文 ReHarness 处理的是一个相邻的缺陷:记忆只能向前流动,无法纠正错误的经验。
延伸阅读:Meta 与麻省理工学院提出办法,修复无法纠正自身错误的 AI 智能体记忆
基准结果:记忆胜过只迁移代码,但从头开始也有竞争力
论文在轮次和候选预算一致的前提下比较了四种条件。冷启动(Cold Start)从原始种子 harness 开始;Harness 迁移(Harness Transfer)只继承演化后的 harness;仅问题记忆(Problem-Only Memory)继承 harness 加上根因标签,不含修改内容和结果;完整 SIM(Full SIM)继承 harness 和完整日志。以下所有数字均为作者自己的留出集结果。
在从 Opus 到 Gemini 的跨模型研究中,论文表 6 中的最终得分如下。
领域 冷启动 Harness 迁移 仅问题记忆 完整 SIM 工作空间 82.98 73.42 79.22 84.75 编程(AHE 种子) 19.39 18.18 20.61 21.82 文本分类 82.72 80.20 81.32 83.80 工程设计 40.87 42.61 46.96 50.43
网上流传的标题说工作空间任务从 68.41 跃升到 84.75,算术上没错,提高了 16.34 分。但 68.41 是继承来的 harness 在 Gemini 上的起始分数,更公平的比较对象是其他条件的最终得分。完整 SIM 比只迁移代码高出 11.33 分,这是论文中最大的差距。按本刊的减法计算,它比冷启动分别高出:工作空间 1.77 分、编程 2.43 分、文本 1.08 分、工程 9.56 分。在四个领域中的三个,不带记忆地继承演化后的 harness,最终成绩低于直接从种子从头开始。这是论文中最有力的证据,表明在更换模型时,只有代码反而是一种负担。
编程结果是唯一有重复运行支撑的。作者在 Terminal-Bench 2.1 上独立运行了十次源阶段优化,并从每次得到的 harness 出发,各启动两次十轮的 Terminal-Bench 4 运行,一次继承 SIM,一次不继承。SIM 在十组中赢了九组,平均配对优势为 2.36 分,95% 置信区间为 1.05 至 3.68,p = 0.003。唯一输掉的一组差 0.61 分。平均最终得分为有 SIM 21.70,无 SIM 19.33。
规模也值得留意。论文的基准表列出 33 个 Terminal-Bench 4 留出任务,每个评分五次运行,共 165 次尝试;按本刊的计算,2.36 分的平均差距大约相当于每次运行多出四次成功。在十组配对运行中,这在统计上是可检测的,但绝对值也很小。作者说明,除编程外的其他领域每种条件只运行了一次,因此工作空间、文本和工程领域的差距都没有方差估计。工作空间任务由 Gemini 3.8 Flash 担任评判者打分,而在主要对比中,正是同一个模型担任策略模型、提议者和选择者;论文的伦理声明也承认,工作空间得分可能反映大模型评判者的偏差。
持续自我改进并未在四代 Gemini 之间形成复利
对 SIM 的转述把它描述为能够带来复利式增长,每一代都建立在上一代之上。论文在 Terminal-Bench 2.1 上的代际链并没有显示这一点。它针对四代相继的 Gemini 策略模型,比较了从头优化与继续优化。Gemini 2.5 Flash 上,继续优化得 22.4 分,从头优化得 21.4 分。3.5 Flash 上是 76.8 对 73.3,提高 3.5 分。3.8 Flash 上是 90.5 对 88.9。Gemini 4 Argon 上是 94.8 对 95.6,继承来的经验最终比从头运行落后 0.8 分。
按本刊的减法计算,增幅依次为 +1.0、+3.5、+1.6 和 −0.8。这种模式符合这样一种技术的特征:在有提升空间且接口兼容时有帮助,但不保证每次交接都有改进。作者也没有提出相反的主张。还有一点关于规模的补充:在这个基准划分上,后几代的得分在 80 多分的高段到 90 分中段之间,剩下的提升空间已经很小。
这里的递归自我改进,指的是固定评估者下的 harness 修改
「递归自我改进」一词包袱很重,因此有必要说得精确些。在这类文献中,它通常指这样一个循环:系统对自身提出修改,用一个固定的外部评分器评估,保留有效的部分,并在下一轮使用修改后的系统。Darwin Gödel Machine 是一个能自我修改的编程智能体,在其作者的测试中,它把 SWE-bench 成绩从 20.0% 提升到 50.0%,把 Polyglot 成绩从 14.2% 提升到 30.7%。RRSI 论文于 9 月 21 日发布,提出对 harness 演化做正则化,报告在五个分布外基准上最多提升 4.3 分,且策略模型 token 用量比未正则化的演化少 30%。SIM 把这条研究脉络延伸到了延续问题上。
同一批文献中也存在持怀疑态度的证据。基准论文SelfImprove-Bench 报告称,现有 RSI 方法的演化收益在不同泛化层次上并不一致。另一项研究《Rethinking the Evaluation of Harness Evolution for Agents》在 Terminal-Bench 2.1 上发现,在反馈和推理预算一致的条件下,自动 harness 演化并不能稳定地胜过简单的测试时扩展,而且演化出的 harness 在留出任务上的泛化仅略有提升。在这个收益高度依赖于控制了哪些变量的领域里,SIM 的结果只是又一个数据点。
按照Jeff Dean 10 月 28 日在斯坦福所做的区分,递归自我改进要求系统在改进自身这件事上也越来越好,而不仅仅是产出更好的产品。在 SIM 中,优化器自身的规划和搜索流程是固定的,论文把让它们自适应列为未来工作。得到改进的是 harness 及随附的日志。这使 SIM 成为一套优化流水线的记忆,是有意义的工程进展,但还够不上严格意义上的 RSI 循环。另一类说法出现在 OpenAI GPT-6.2 Astra 的系统卡中:OpenAI 称,这是它首个在其准备度框架(Preparedness Framework)下达到 AI 自我改进「高」级阈值的对外发布模型。
延伸阅读:Jeff Dean 在斯坦福:AI 不可能把自我改进循环跑到无限快
论文中没有任何内容把 SIM 与 Gemini 4 Neon 或 Hydrogen 联系起来
网上流传的因果故事是:谷歌打造了能自我改进的记忆,所以谷歌发布模型更快了。证据却指向别处。Neon 的模型卡称该模型由 Gemini 4 Carbon 改编而来,架构、训练数据和硬件均参见 Carbon 的模型卡;Hydrogen 的模型卡也是同样的说法。谷歌于 9 月 30 日发布了 Argon,10 月 28 日开放 Carbon 的有限预览,并于11 月 10 日全面上线。Hydrogen 于 11 月 12 日接踵而至,Neon 则在 11 月 18 日发布;按本刊的统计,约七周内共推出了四个模型。对这种发布节奏而言,共享同一个基础模型是比优化器记忆更直接的解释。
论文本身读起来是研究成果,而非产品披露。据智东西报道,第一作者 Xin Yu是宾夕法尼亚州立大学的博士生,这项工作是在谷歌实习期间完成的;论文的伦理声明称,实验使用的是现有的公开基准。FourWeekMBA 对这篇预印本的评述没有找到谷歌的任何声明表明其在产品中使用了这种方法。论文所用的策略模型 Gemini 3.8 Flash,已于 11 月 12 日在谷歌各产品中被 Hydrogen 取代,也就是论文 arXiv 提交日期的前一天。
运行智能体的团队现在能从中得到什么
实用的经验经得起炒作的冲刷。模型更替很快,这篇论文中的策略模型在论文流传时已经落后一个产品世代。任何为某个模型调优提示词、工具和护栏的团队,都面临论文所量化的同样风险:一个不附带推理记录就交给新模型或新优化器的 harness,表现可能低于起始种子。
SIM 的低成本版本不需要任何研究代码。记录每一次改动及其假设的根因、预期要修复的任务、实际修复的任务,以及测试时所用的模型和数据集。保留失败记录。然后把这份记录连同代码一起交给下一个模型或下一位工程师。论文对此的对照证据在编程领域最有力,有十次重复运行支撑,在其他领域则较为单薄。
兼容性要求是主要边界。这项研究覆盖的是继承来的 harness 保持可执行接口兼容的情形。当新模型需要不同的工具格式或不同的上下文管理时,日志带来的误导可能与指引一样多,这也是作者要求优化器在模型和基准都变化时打折看待针对具体任务的证据的原因。
复现与发布接下来需要证明什么
这些结果来自作者自己,载体是一篇尚未经同行评审的预印本,且只有一个领域做了重复运行。arXiv 页面没有列出代码仓库,FourWeekMBA 也表示尚无独立复现或同行评审。有三件事会改变这一局面。其一,若有独立团队在其他策略模型上复现编程领域十胜九的结果,就能检验这一效应属于 SIM 本身,还是只属于这套特定的 Gemini 与 Terminal-Bench 设置。其二,更长的过渡序列(发生不止一次模型更换)将检验转述中所说、而代际链尚不支持的复利主张。其三,如果有证据表明某家实验室用这类记忆来构建生产环境的智能体技术栈,而不只是用来研究这个问题,那么「谷歌内部实现 RSI」的说法才会成为事实。在此之前,站得住脚的解读是:优化器在模型更换后存续下来的方式有了可量化的改进——关于为什么做出某项改动的记录,结果比改动本身更重要,而底层模型自始至终什么也没学到。



