耶鲁 StepSafe 护栏在每次工具调用前拦截智能体危害，刷新基准

耶鲁大学的一个研究团队发表了 StepSafe，一个开源安全护栏，在每次工具调用执行之前拦截有害的 AI 智能体动作 —— 而不是等整个任务完成之后。它用一个名为 ASPO 的新信用分配框架训练，40 亿参数版本在安全与效用权衡的标准指标 Youden's J 上得 53.0，在五个智能体安全基准上比此前的开源最佳高出 6.8 分。

事后的轨迹审查来得太晚，危害已经发生

当前多数 AI 安全系统在轨迹层面评估智能体行为：它们在任务结束后检查完整的动作序列。对能发邮件、改文件、执行代码或调用外部 API 的智能体来说，这意味着在任何护栏触发之前，危害已经在真实系统中扩散。

步级干预把一个分类器放在每一次工具调用之前。如果分类器判定下一步动作越过了阈值 —— 结合智能体到目前为止做过的一切 —— 它就在副作用发生之前阻止该调用。核心技术难题是信用分配：「读取文件 X」在第 2 步可能无害，在第 7 步却可能问题严重，取决于之前发生了什么。忽略序列位置的步无关分类器要么产生太多误报（拦住安全动作），要么产生太多漏报（放过有害动作）。

延伸阅读：OpenAI 发布常驻智能体 Dots，安全承诺待检验

ASPO 训练护栏理解每个决策落在序列的哪个位置

StepSafe 用自适应阶段对齐策略优化（ASPO）训练，它用两种不同的训练信号来解决信用分配问题。

第一种是阶段对齐策略优化，比较从同一轨迹前缀 —— 到决策点为止相同的历史步骤 —— 采样出的多个候选响应。这教会模型：相同的动作因其在序列中的位置不同而带有不同的风险。第二种信号是自适应反馈自蒸馏，让模型当自己的老师：它从 StepSafe 自己在安全步骤上的误报中挖掘规则，并把这些修正反馈回训练，在不需要人工标注每一个边界判断的情况下降低误报率。

两种骨干变体 —— StepSafe-4B（Qwen3-4B）和 StepSafe-8B（Qwen3-8B）—— 都刷新了开源纪录，8B 版本的 Youden's J 达到 54.4。由于 J 等于灵敏度加特异度减一，更高的分数同时意味着更少的有害步骤漏过和更少的安全步骤被拦。

StepSafe 越过了 StepGuard 在 2026 年 8 月设下的门槛

最接近的前作是 StepGuard，发表于 2026 年 8 月，同样使用步级评估，并用 Balance-GRPO 和前缀对齐对比监督训练。StepGuard 的 Youden's J 达到 46.2 —— 此前是开源选项中最高的。StepSafe 的 4B 模型不靠更大的骨干就超过了它。

更早的工作产出了 ToolSafe（2026 年 1 月），它使用基于 GRPO 的多任务强化学习，但缺少 ASPO 的阶段位置感知。

五个评测基准是 R-Judge（包含 27 个风险场景和 10 种风险类型，来自上海交通大学）、AgentHarm（11 个危害类别下 110 种独特的有害行为，来自 Gray Swan AI 和英国 AI 安全研究所）、ASSE-Safety、ASSE-Security 和 ATBench。所有评测均由论文作者进行；尚未有独立复现 —— 这是一篇 2026 年 10 月 14 日提交的预印本的常规局限。

延伸阅读：Instinct 融资 10 亿美元，智能体会擅自发邮件

随攻击者策略一同演进的训练数据流水线

StepSafe 的训练流水线不依赖固定的对抗性智能体交互数据集，而是使用自演进的多智能体红队：攻击者智能体自主生成新的攻击场景，并根据护栏漏掉了什么来调整，产出不会随着攻击策略演进而过时的对抗训练数据。

步级安全需要序列感知的数据集 —— 而这个领域还没多少

StepSafe 的 Youden's J 低于 1.0，证实误报和漏报仍然存在。在 4B 参数量下，这个护栏足够轻量，可以在标准推理硬件上与多数当前智能体模型并行运行，避免了让它在真实流水线中不可用的延迟代价。

ASPO 设计更深层的含义是架构性的。阶段对齐要求每个训练样本不只带安全标签，还要带做出该决策时的完整前缀上下文。现有的多数智能体安全基准并不统一记录序列内的步位置，这意味着要沿着 StepSafe 指出的方向走，这个领域需要产出序列感知的训练和评测数据。随着智能体部署从研究走向生产，随之而行的安全基础设施需要推理每个动作落在任务的哪个位置 —— 而不只是轨迹中是否有某个动作最终造成了危害。