三层承担重活：因果分析把机器人 VLA 推理成本砍去三分之一

斯坦福、MIT 和 Anthropic 的研究者发表的一篇新论文，精确标出了三个最先进机器人 AI 系统内部感知变成动作的位置 —— 答案比当前架构假设的集中得多。团队对 π₀.₅、MolmoAct2 和 MolmoBot 做了超过 77.5 万次激活修补干预，识别出他们所称的「动作条件接口」：一条由三个交叉注意力层组成的窄带，承载着从视觉语言模型到其动作专家的因果相关信息。在推理时移除其余 33 层，计算成本最多削减三分之一，而在 3000 个评测回合中任务成功率只下降 0.2 个百分点。

这项研究于 2026 年 10 月 16 日以《Causal Analysis of Robot Foundation Models Enables Efficiency Gains》为题挂上 arXiv，是首个在该规模上产出可直接部署的效率收益的 VLA 模型机制分析。[LINK: arXiv 2610.20750 causal analysis robot foundation models]

激活修补如何找出哪些层重要

视觉-语言-动作模型把一个预训练的视觉语言模型 —— 处理摄像头图像和自然语言指令 —— 与一个生成低层机器人指令的动作专家配对。两个组件通过交叉注意力层通信，动作专家在每个解码步查询 VLM 的内部表示。在 MolmoBot 和 MolmoAct2 中，这个接口横跨 36 个交叉注意力模块，每个 transformer 块一个。

激活修补是一种最初为大语言模型开发的机制可解释性技术，它以因果而非相关的方式检验每一层。方法是先缓存模型在正确输入上的内部激活，再在被破坏或反事实的输入上重新运行模型，并把第一次运行的特定激活移植到第二次运行的个别层中。移植的激活能恢复正确输出的层，承载着因果相关的信息；移植后什么都不改变的层，对该决策是惰性的。

在全部三个 VLA —— 它们的架构差异很大 —— 上，修补实验收敛到同一发现：因果影响集中在一条中后段的窄带。对 MolmoBot，这条带只有 36 个交叉注意力层中的 3 个。把激活修补进其余 33 层，没有产生任何可测量的朝正确输出的恢复。[LINK: activation patching mechanistic interpretability VLA action expert]

三种不同架构，一个窄瓶颈

这种收敛之所以重要，是因为三个模型代表着真正不同的设计。

由艾伦人工智能研究所和华盛顿大学于 2026 年 5 月发布的 MolmoAct2 使用逐层键值条件化：其 36 个动作专家 transformer 块中的每一个，都通过学习到的适配器矩阵交叉关注对应的 VLM 层。[LINK: MolmoAct2 arXiv 2605.02881 per-layer KV conditioning] Physical Intelligence 的通用操作模型 π₀.₅ 使用双向前缀架构，图像 token 在动作专家运行之前从 VLM 吸收指令条件化的表示 —— 把任务相关信息分布在图像和文本位置上，而不是按层对齐的 KV 缓存。MolmoBot 使用与 MolmoAct2 相同的逐层交叉注意力结构。

尽管有这些差异，激活修补在三者中定位到了同一条窄功能带。具体到 π₀.₅，分析揭示了其双向前缀如何让图像 token 携带指令条件化的内容 —— 这是常规消融研究看不见的一种交互。[LINK: pi0.5 Physical Intelligence VLA architecture cross-attention analysis]

一种不同类型的效率收益

多数 VLA 推理优化工作通过裁剪视觉 token 序列来减少计算：剪掉信息量较低的图像 token、跨时间步缓存静态 token，或在语言骨干内使用动态早退。VLA-Pruner、VLA-Cache 和 DeeR-VLA 都是这样运作的。[LINK: VLA efficiency comparison VLA-Pruner VLA-Cache inference optimization]

本论文的方法基于「它们从未传递有意义信息」的因果证明，移除整个交叉注意力模块。token 序列没有变化。不需要重训。被移除的 33 个 MolmoBot 模块已经 —— 由修补实验本身 —— 确认不承载任何可恢复的因果信号。结果：推理 FLOPs 减少 33%，任务成功率下降 0.2 个百分点（46.9% 到 46.7%），在 MolmoBot Benchmark 上经 3000 个评测回合验证。π₀.₅ 的发现迁移到了真机部署。

机制分析作为架构指引

更深层的含义不是 FLOP 的节省。如果 MolmoBot 36 个交叉注意力层中的 33 个对动作生成不承载因果信号，这些层消耗了训练算力和内存却没有对学到的行为做出贡献。作者直言：机制分析「可以指导机器人策略如何构建，而不只是在训练后解释它们」。[LINK: causal analysis robot policy architecture design implications]

这标志着机制可解释性用途的转变。此前的 VLA 可解释性工作 —— Häon 等人在 CoRL 2025 上提出的首个 VLA 机制框架，以及 Swann 等人 2026 年 3 月的稀疏自编码器研究 —— 识别了机器人行为期间哪些特征和神经元被激活。两项工作都没有产出可部署的架构改动。[LINK: Haon et al. CoRL 2025 VLA mechanistic interpretability arXiv 2509.00328] 本论文把因果分析从解释变成了处方。

注意事项与开放问题

效率结果建立在一个模拟基准上，三个模型的基线任务成功率都低于 50%，这限制了结论能推广多远。为 MolmoBot Benchmark 表现剪枝出的 3 层接口，在需要更复杂视觉推理或更长指令视野的分布外任务上可能表现不同。论文验证了 π₀.₅ 的真机迁移，但没有对剪枝后的 MolmoBot 变体扫过完整的任务范围。而且论文在本文写作前几小时才出现在 arXiv 上；尚无独立团队复现修补结果或 FLOP 削减。

随之而来的架构问题

跨三个结构不同的模型的发现表明，狭窄的动作条件瓶颈并不特定于某一种设计。如果接口位置在一个模型内跨任务家族是稳定的，那么更有分量的一步是从一开始就用更精简的交叉注意力结构训练未来的 VLA，而不是事后剪枝。训练期间在那些修补稍后会揭示为因果惰性的层上节省的算力，可能超过这里测得的推理收益。这把推理时的因果手术刀能否变成训练时的架构原则，正是本论文直接摆在下一代机器人基础模型设计者面前的问题。

延伸阅读：[LINK: GPTS24 article on VLA mechanistic interpretability prior work]