英伟达与 KAIST 把机器人基础模型每任务 RL 训练时间最多砍去 68.5%

英伟达和 KAIST 的研究者发表了 ACCRUE，一个持续式离策略强化学习框架，在按顺序部署机器人基础模型时，减少每个新任务所需的真实机器人训练时间。在接触密集的装配硬件实验中，作者报告称，与为每个任务从零重新训练一个 actor-critic 相比，多任务 RL 序列中靠后的任务在 AutoMate 装配套件上达到 95% 成功率阈值所需的机器人交互时间减少了 31.0% 到 68.5%，在 NIST 装配套件上减少了 38.7% 到 42.9%。

这篇预印本于 2026 年 10 月 13 日提交到 arXiv，作者为 Changyeon Kim（英伟达与 KAIST）、Kimin Lee（KAIST）、Yashraj Narang（英伟达）和 Yijie Guo（英伟达）。所有定量结果均为未经评审预印本中的作者自报数字；尚未进行独立复现。

为什么真实机器人的 RL 时间是基础模型部署的硬约束

英伟达的 GR00T 和 Physical Intelligence 的 π0.5 这类机器人基础模型在大规模演示数据集上预训练后到货，但它们通常需要在实际硬件上做任务特定的强化学习后训练，才能在给定环境中可靠地完成精密操作。与仿真不同，真实机器人的 RL 无法在数百个虚拟实例上并行。每次策略更新都要求物理机械臂尝试任务、失败、恢复、再试 —— 这个循环使得机器人上的挂钟时间成为稀缺资源，决定了一个模型能多快部署到一个新的任务库上。

标准做法是把每个新任务当作独立的 RL 问题：在冻结的基础模型之上初始化一个全新的 actor-critic，收集轨迹直到策略收敛，然后丢弃该学习器，对下一个任务重复。这种做法浪费了先前任务中积累的行为和价值函数知识，并且每次都要承担完整的收敛成本。

ACCRUE 如何把学习器带到下一个任务

ACCRUE 的核心思想是把紧凑的 actor-critic 模块 —— 而不只是冻结的基础模型 —— 跨任务带着走，而不是重新初始化。这一设计建立在三个相互咬合的组件上。

第一，基础模型本身（视设置为 π0.5 或 GR00T）在所有 RL 阶段保持冻结。只有轻量的 actor-critic 适配器参与训练，这让问题保持可处理，并且无论基础模型规模如何，计算足迹都很小。

第二，从上一任务继承的 critic 只用离策略收集的当前任务转移来适应。由于 critic 已经从先前的装配工作中编码了一幅粗略的价值地形，它比随机初始化的 critic 更高效地引导 actor 更新 —— 作者把这一效应称为前向迁移。FastTD3（用于真实硬件）和 FastSAC（用于仿真）的离策略特性意味着过去的转移可以存进回放缓冲区并跨梯度步复用，相对在策略方法提高了样本效率。

第三，为了防止 actor 偏离已经学会的技能 —— 即灾难性遗忘问题 —— ACCRUE 把 actor 向缓存的行为目标蒸馏，这些目标取自每个先前任务保留的一小组回合。这起的是正则化约束的作用，而不是完整的经验回放：缓存刻意很小，存储需求保持适度。

一个更微妙的设计选择把三个组件连在一起。冻结基础模型提取的视觉特征跨任务固定，这确保即便基础模型在部署周期之间更新，缓存的先前任务转移仍是有效的回放数据。这意味着任务特定的 RL 模块和基础模型升级可以按各自独立的节奏推进 —— 这种分离对真实的机器人集群管理有实际价值。

延伸阅读：动手之前先预演：World Action Agent

在接触密集的装配序列上测试

在以 π0.5 为基础模型的真实机器人实验中，作者报告称，靠后的任务在大约四到十二分钟的机器人交互内达到了停止标准 —— 最近 20 个回合中 95% 成功。在一个六任务序列中，据ACCRUE 项目页面，最终策略在六个较早任务上取得 120 次中 118 次成功，保持率为 98.3%。

在以 GR00T 为基础模型、使用 FastSAC 的仿真中，训练时间的减少遵循类似的模式。使用两种不同的模型—算法配对值得注意：它表明该框架不是为单一架构调校的，不过在更广范围的基础模型和任务家族上的系统测试尚未发表。

与此前机器人持续 RL 的区别

最接近的已发表比较对象是 LifeLong-RFT（Liu 等，RSS 2026），它同样用强化微调针对 VLA 模型的持续学习。LifeLong-RFT 采用带多维过程奖励的在策略 RL，并报告在 LIBERO 基准上相对监督微调 22% 的成功率提升。但在策略更新在每次策略迭代后丢弃轨迹数据，限制了对先前经验的复用，也抹掉了 ACCRUE 从继承的 critic 中获得的前向迁移优势。LifeLong-RFT 没有报告挂钟训练时间的减少。

更广泛的持续 RL 文献通常通过回放（存储完整轨迹）、弹性权重巩固（惩罚权重漂移）或渐进网络（为每个任务增加新的网络分支）来处理灾难性遗忘。ACCRUE 的做法更轻：它只存储用于蒸馏的小型行为缓存，带走的是 actor-critic 而非完整模型，并把离策略转移同时用于效率和前向迁移 —— 论文把这一组合呈现为机器人基础模型情境下的新颖之处。

局限与开放问题

已发表的结果有若干限制。实验覆盖的是装配任务家族 —— 结构化、接触密集、变化相对有界的操作 —— 而 actor-critic 的接力在领域偏移更大的任务上表现如何尚不清楚，比如从装配转到柔性物体处理，或从桌面操作转到移动操作。训练时间数字不包括演示收集和基础模型微调，而这些在部署中是真实的成本。缓存大小是控制遗忘/效率权衡的关键超参数，尚未被系统刻画。而且测试序列只有六个任务，该框架尚未在商业机器人运营商可能需要的任务库规模上得到验证。

延伸阅读：机器人 AI 自己修正硬件磨损，无需重训

模块化架构的含义

ACCRUE 设计最重要的架构后果，是摘要没有直接说出的一点：通过保持基础模型冻结、把 RL 适配器作为迁移单元，该框架隐含了一种模块化部署架构，其中任务特定能力与基础模型升级按各自的周期运转。只要固定视觉特征的假设继续成立，一个团队可以更新底层基础模型 —— 用更新的检查点替换 π0.5 —— 而不会让从先前 RL 运行中带来的任务特定 actor-critic 失效。这一假设能否在基础模型的重大更新中幸存，是生产部署的核心开放问题，随着机器人集群运营商开始规模化积累多任务 RL 库，它很可能推动后续研究。