英伟达研究：AI 智能体在 1.6 万词元上仍保持准确率，长上下文反而贵 7 倍

英伟达的一个研究团队发表了一篇预印本，主张前沿 AI 智能体在智能体类基准测试上表现良好，并不需要很长的上下文窗口。论文用两种压缩策略，在七个语言模型和十三项任务上做了测试，报告称，把智能体的对话历史上限设在 1.6 万词元，相比不加限制地累积历史，能保持甚至提升得分——同时还能降低那种在共享 GPU 基础设施上让长上下文推理变得昂贵的 KV 缓存显存压力。

论文的头条数字——6.5 到 54.6 倍的成本节省——需要仔细解读。这些数字适用的，是作者称为 EORC（估算优化零售成本）的一种假设性估算定价模型，该模型假设短上下文的成本大约只有最大上下文服务成本的五分之一。按已公开的 API 价格来看，情况要复杂得多：在 SWE-bench Verified 上，最佳压缩设置把 Claude Opus 4.5 单次基准测试跑分的名义 API 成本，从 420 美元降到了 296 美元，按标准定价算是降低了 1.4 倍。同一个设置，按 EORC 估算能把成本降到大约 70 美元——这是一个反映基础设施效率提升的假设数字，不是当前的 API 挂牌价格。而对 GPT 5.6 Sol 跑同一个基准测试来说，压缩带来的开销，相比完整历史的基线，实际上还推高了名义成本。那些在 H100 GPU 上自行托管开放权重模型的基础设施运营商，能看到最明显的收益：论文测得，在 Qwen 3 Coder Next 上，一个 25.6 万词元的上下文，每个输出词元的成本是 1.6 万词元上下文的 7 倍，原因是 KV 缓存显存和解码吞吐量的限制。

三种上下文方案是如何运作的

这篇论文对三种上下文方案做了基准测试。在「全历史累积」（FHA）方案里，之前所有轮次都无限制地累积下去——这是目前大多数已部署智能体采用的基线做法。在「对话结束时压缩」（EoCC）方案里，当历史长度达到一个可配置的阈值（测试范围为 1.6 万到 4.8 万词元）时，模型会写出一份结构化摘要，然后带着这份摘要重新开始一段全新的对话。每次越过阈值，这个循环就会重复一次。在「单动作压缩」（SAC）方案里，智能体在每个对话实例里只执行恰好一次工具动作，写出一份更新后的语义状态，然后在下一步之前丢弃全部历史。论文发现效果最好的压缩提示词，不是叙事式的摘要，而是包含三项内容的明确结构化交接文档：原始任务的逐字拷贝，当前的计划和意图，以及后续执行步骤会需要的全部产物。

前沿智能体保住了准确率；某些开放权重模型没有

在 SWE-bench Verified 上，最佳 EoCC 设置把 Claude Opus 4.5 的得分从 70.0% 推到了 74.8%——提升了 4.8 个百分点，同时把峰值上下文中位数从 3.2 万词元降到了 1.9 万。GPT 5.6 Sol 在其最佳 EoCC 设置下，从 84.4% 提升到了 88.8%。单动作压缩在 SWE-bench 上也保持了或追平了基线：Claude Opus 4.5 在 SAC 下维持在 70.2%，把峰值上下文中位数压到了 8000 词元，不过 GPT 5.6 Sol 在 SAC 下出现了小幅下降，降到 82.4%，跌了 2 个百分点。

开放权重模型的结果则参差不齐，差异明显。Qwen 3 Coder Next 在激进压缩下，从 53.0% 跌到了 3.6%——这几乎是一次彻底的崩溃，作者将其归因于在紧张的上下文预算下，很难在压缩周期之间维持连贯的状态。MiniMax M2.7 则更稳健，只从 72.6% 降到了 67.8%。这些结果说明，压缩并不是一种对所有模型都普遍安全的策略：在任何部署之前，选择哪个模型、如何校准阈值，都有相当大的影响。

长输入任务上的收益，部分反映的是工作流本身的改变

对于长输入任务——比如 NIAH、RULER 和 BABILong 这类测试从大批文档集合里检索信息的基准——所用的方法与压缩不同。智能体不是把完整文档粘贴进上下文，而是把它们存成文件系统里的文件，再用 grep 或 head 命令检索相关内容。在 NIAH（大海捞针）上，这把 Claude Opus 4.5 从 60% 推到了 100%。NIAH 上 54.6 倍的成本数字，在很大程度上反映的是这种工作流替换，而不是任何算法层面的压缩本身：这些节省是真实的，但它们代表的是一次文档访问方式的重新设计，不是压缩方法本身的属性。

Anthropic 已经在用压缩；英伟达勾勒的是接下来可能的方向

这篇论文里的技术，在生产环境里并不是全新的。Anthropic自 2026 年 1 月以来，一直提供一个上下文压缩 API 端点，而 Claude Code 的自动压缩功能，从 2.0.64 版本起就已经启用。英伟达这篇预印本增添的，是在更广泛的前沿模型范围上系统性的实证证据，再加上一个作者称之为「语义状态空间模型」（SSSM）的概念性提案：一种经过后训练的模型，在各轮对话之间维护一个明确的自然语言状态表示，而不是累积原始历史。目前还没有任何 SSSM 的实现；这是一个研究方向，不是一个可部署的系统。

对今天正在运行智能体的团队来说，实际的意义，比头条式的成本节省数字所暗示的要窄一些。按标准定价使用 API 的用户，应该针对自己具体的模型和任务，去验证压缩阈值的选择，而不是把 EORC 数字直接当作规划基线。更经得起时间考验的发现可能更简单：在大多数被测试的任务上，模型似乎并不需要全部的历史记录才能表现良好——这个结果，挑战了大多数智能体框架里内置的假设，也在智能体部署规模化的过程中，创造出了可观的基础设施余量。