开源异步强化学习框架限定数据陈旧度,大模型后训练吞吐量最高提升 2.68 倍
「预留-占用-消费」设计解决了让 GPU 集群在大模型后训练中空转的一个难题

来自北京大学、上海交通大学和腾讯的研究人员发布了一套名为 StaleFlow 的训练基础设施系统。与领先的异步强化学习框架相比,它的吞吐量最高可达 2.68 倍,同时在形式上限定了数据陈旧度,而陈旧度不受控制正是语言模型训练崩溃的原因。其开源实现 PSRL 于 2026 年 7 月发布,并已被 SIGMOD 2027 接收,瞄准的是一个瓶颈:它一直在悄悄削弱如今许多用来打造推理型 AI 系统的异步强化学习流水线。
核心问题并不罕见。异步强化学习之所以受欢迎,正是因为生成长推理链要占用一次训练迭代总时长的 50% 到 80%。如果采样(rollout)工作节点和训练工作节点同步耦合,生成节点产出轨迹时,训练 GPU 就只能空等。这不是一点小小的低效:在 128 块 GPU 的规模下,用 320 亿参数的模型生成较长的数学证明,空闲的训练时间累积起来,会浪费大量集群算力。把采样节点和训练节点解耦能解决利用率问题,却带来了新问题:等一条生成好的轨迹到达训练步骤时,生成它所用的模型权重,可能已经比当前检查点落后好几个版本。这个差距就是陈旧度。陈旧度不受约束会导致训练发散,因为强化学习算法用来计算策略梯度的轨迹对数概率比,是相对于一个自轨迹生成以来已经更新了好几次的策略来计算的。StaleFlow 论文中的消融实验直接展示了后果:在陈旧度上限 η=1 或 η=3 时,训练在 AIME24 数学推理基准上的收敛情况与同步训练一致;到 η=10 时,训练崩溃。这些是团队在自己的实验环境中得到并自行报告的结果。
为什么大多数开源框架没有解决这个问题
Hugging Face 2026 年 3 月的一份综述梳理了至少十六个异步强化学习系统,以及应对陈旧度的三大类方法:深度限定、版本拒收和重要性采样校正。这份综述没有回答的是,有没有哪个主流框架真正在端到端上执行了可证明的陈旧度上限。
StaleFlow 的分析用一个离散事件模拟器考察了十一个异步强化学习系统。这个模拟器回放真实的强化学习负载,不必在完整的 GPU 集群上运行就能比较各框架的行为。结论相当尖锐:团队考察的几个框架没有提供任何形式的陈旧度上限,这意味着使用它们的从业者可能在不知情的情况下,用策略梯度陈旧程度没有上限的数据做训练。另一些框架靠等待陈旧轨迹自然过期来保证正确性,保住了数据质量,却牺牲了当初推动采用异步强化学习的吞吐量优势。还有一些在准入时做深度限定,却不追踪轨迹生成完成后在队列中等待期间发生了什么,留下了陈旧度继续累积的空子。这些判断来自团队的模拟器分析,属于团队自行报告。
「预留-占用-消费」协议如何运作
StaleFlow 把陈旧度控制分成三个执行层,分别作用于轨迹生命周期中的不同环节。
L1 准入控制在采样开始之前拦截生成请求。如果接收一次新的采样可能产生一条陈旧到无法使用的轨迹,请求会被立即拒绝,避免把昂贵的 GPU 算力花在一条注定被丢弃的推理链上。
L2 运行时控制监控正在进行的采样。如果采样过程中训练模型前进了太多版本(这在长推理链中会发生),采样可以在生成中途取消。AReaL 独立开发了类似的可取消解码机制;StaleFlow 把它正式确立为一个独立的控制层。
「预留-占用-消费」协议是这项工作的核心贡献。一条轨迹生成请求在 L1 被接收时,系统立即在一个虚拟陈旧度缓冲区里「预留」(Reserve)一个槽位,对应这条轨迹在最坏情况下仍可接受的训练版本。采样完成后,轨迹「占用」(Occupy)缓冲区内最早的有效槽位。当所有槽位都被占用、不再有已预留但未填满的槽位时,缓冲区进入 READY 状态,训练节点「消费」(Consume)这一批数据。
缓冲区有三种状态:PENDING(有空槽位可用)、STUCK(槽位都已被认领,但仍有采样在进行中)和 READY(槽位全部填满,批次可用)。协议在准入时从结构上保证陈旧度约束 V_buf ≤ V_traj + η,其中 V_buf 是训练版本,V_traj 是该采样生成时的版本。结果是,训练输入端的 L3「丢弃还是等待」决策很少需要做出。据团队自行报告的数据,协议开销上限为 O(η + batch_size),实测占端到端延迟不到 1%。
GRPO(组相对策略优化)带来一个复杂之处。这是因 DeepSeek-R1 而流行、用于数学和编程后训练的算法,它需要每个提示词有多条轨迹组成一组,以做相对奖励归一化,组是不可拆分的训练单位。StaleFlow 在组的层面上执行预留和占用:一个组必须全部被占用,其缓冲区才会进入 READY 状态。
这里有一个已披露的局限:在 L3 丢弃陈旧轨迹时,留下的训练数据会偏向较短的序列,因为较短的采样完成得更快,在排队时也更不容易变得陈旧。这种偏差影响所有基于丢弃的陈旧度控制方法,不只是 StaleFlow。
竞争格局与带来的变化
与之最接近的几个竞争框架,主要区别在于陈旧度控制机制,以及吞吐量与正确性之间的取舍。
verl(字节跳动 Seed)用重要性采样校正,对陈旧的梯度贡献重新加权,而不是执行硬性的版本上限。重要性采样校正能很好地处理轻度陈旧,但在高度陈旧时效果下降,并且每次更新都增加计算成本。AReaL(清华大学与蚂蚁集团)把深度限定与「陈旧度增强 PPO」结合使用,后者是一个经过修改、能容忍部分离策略数据的训练目标;它的准入控制不预留缓冲区槽位,留下了排队期间产生陈旧度的空子。还有一些框架靠等待来保证正确性,这限制了吞吐量。LlamaRL 是 Meta 内部的异步强化学习系统,据报道被用于大规模的 Llama 后训练,它给出了陈旧度有界并保证加速的形式化证明,但没有开源。
此外,2026 年 9 月的 PACE 论文独立印证了 StaleFlow 的架构直觉。它把陈旧度拆成「生成陈旧度」(采样过程中产生的版本差距,即长推理链还在生成时模型已经更新)和「等待陈旧度」(生成完成后、轨迹被训练节点消费之前累积的差距)。大多数框架设计只处理其中一个阶段。深度限定通常在准入时为版本差距设上限,针对的是生成陈旧度,却不能阻止轨迹在队列中等待时继续累积等待陈旧度。在训练输入端拒收旧版本能限定总陈旧度,却浪费了已经花在采样上的算力。StaleFlow 的「预留」步骤在准入时就认领一个缓冲区槽位,从而同时对两个阶段执行总上限,这是深度限定和版本拒收两种方法都不具备的特性。PACE 论文针对同一问题提出了一种感知资源池的拒收预算机制,证实陈旧度累积的两个阶段都是实打实的工程问题,而不是理论上的边角情况。
实验结果与悬而未决的问题
StaleFlow 的 PSRL 实现用 DAPO 算法,在 Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B、Llama3.1-70B 和 Qwen3-30B-A3B(混合专家模型)上做了测试,在最多 128 块英伟达 H20 GPU 上用 AIME24 评估。这些是团队在自己的实验环境中得到并自行报告的结果,尚未经过第三方独立复现。声称相对最先进的异步强化学习系统吞吐量提升 1.42 到 2.68 倍(arXiv 最初提交版本中平均为 1.17 到 2.01 倍),反映的是所测各种模型规模和集群配置之间的差异。PSRL 代码库基于 verl 构建,使用 vLLM 生成采样,已经在运行基于 verl 的流水线的团队,评估起来门槛相对较低。
η=1 和 η=3 时收敛情况一致,说明严格的陈旧度上限可以保住同步训练大部分的质量优势,同时找回相当多的 GPU 利用率。对采用者来说,实际的约束在于:在自己的集群规模、模型规模和采样长度分布下,能否做到 η≤3。正是这些因素决定了轨迹在占到缓冲区槽位之前有多常变得陈旧。
PSRL 系统已于 2026 年 9 月集成进 ScienceIDE,这说明它在最初的研究集群之外也有部署可行性。不过,这项框架分析更重要的意义,或许在于给整个领域做了一次诊断:如果没有形式化的陈旧度保证,用某些异步强化学习框架做后训练的团队,就没有任何机制去发现或限定训练数据中不断累积的陈旧度。2026 年多项独立工作的殊途同归,包括 PACE 的分解、AReaL 的可取消采样、DORA 的轨迹内一致性约束、LlamaRL 的形式化加速证明,说明这个领域正在就异步强化学习的正确性需要什么达成共识。随着模型规模和集群规模超出已测试的范围,「预留-占用-消费」设计能否保持吞吐量优势,还要靠独立评估来回答。



