暂停式游戏基准高估了 AI 智能体：RealtimeBench 揭示实时差距

当今每一个主要的 AI 智能体基准都做着同一个假设：模型思考时游戏会暂停。本周挂上 arXiv 的一篇论文证明，这个假设正在扭曲全貌。当研究者让游戏在推理期间继续运行时，领先模型的性能排名发生了反转 —— 而一种名为 TORSI 的新训练方法在不重新训练模型的情况下，把一个快速智能体的实时得分提高了近一倍。

这篇论文《The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock》（arXiv:2610.20665，未经评审的预印本）引入了 RealtimeBench，并论证暂停式游戏评测自最早的游戏类基准部署以来就一直在系统性地夸大智能体能力。

RealtimeBench 引入了标准评测忽略的时钟

RealtimeBench 横跨六类游戏共 180 项任务，在三种不同条件下评估智能体：此前基准使用的标准暂停时钟设置、模型推理时游戏继续运行的实时时钟设置，以及让环境跑得比实时更快的加速时钟条件。暂停条件复现的是现今几乎每个智能体榜单所衡量的东西。实时和加速条件则加上了已部署智能体实际面对的时间成本。

这一设计暴露了基准测得的能力与生产表现之间的根本错配。在真实部署中 —— 无论是管理交易系统、在多人游戏中导航、路由客服请求，还是在任何不会等待深思结束的环境中运行 —— 迟到的动作就是错误的动作。智能体在实时时钟条件下的得分不只是其暂停得分的一个变体；它反映的是一个完全不同的性能维度。

RealtimeBench 具体使用的六类游戏在论文摘要中没有详述。这些细节和逐游戏的分数拆解见论文全文。

GPT-6.1-sol 在暂停游戏中领先，时钟一转就落后

论文中最醒目的实证发现涉及两个代表着截然不同架构范式的模型。GPT-6.1-sol，OpenAI 2026 年 9 月发布的推理模型，定位为以 GPT-6 Astra 约五分之一的成本提供接近顶级的选项，在推理期间游戏时间暂停时胜过 Jev。当时钟以正常或加速速度运行时，排名反转。

这种反转不是微妙的统计效应。它表明 GPT-6.1-sol 在暂停设置下的优势来自它花在推理上的时间 —— 而基准一直在免费赠送这段时间。在实时时钟条件下，这段深思时间成了代价，而 Jev 的架构让它远更能承受这种代价。

TypeSafe AI 把 Jev 描述为「System One 模型」，取自 Daniel Kahneman 双系统框架中快速、直觉的推理。Jev 不生成文本。开发者定义一组有限的可能输出 —— 从选项中选一个、一个是/否概率、一个数值分数 —— Jev 并行评估并返回这些输出，每一个都带校准过的置信值，耗时 70 到 500 毫秒。TypeSafe 由 ChatGPT 背后 RLHF 技术的共同发明人 Diogo Almeida 于 2024 年创立，2026 年 9 月 15 日带着 DCVC 领投的 4000 万美元种子融资结束隐身。

Jev 与 GPT-6.1-sol 的架构差异不只是延迟 —— 还有底层的任务格式。GPT-6.1-sol 产出需要数秒的推理 token 链；Jev 在毫秒内评估一个预定义的模式。在暂停基准中，GPT-6.1-sol 的推理是资产。在实时环境中，它是负债。RealtimeBench 实际上是第一个对这种负债施以惩罚的框架。

延伸阅读：TypeSafe 的 Jev 不生成一个字，直接给出结构化决策

TORSI 通过把深思与行动分开，教智能体想得更快

双时间尺度离线递归自我改进通过明确分离学习与行动的时间尺度来应对实时性能差距。该方法有两个以根本不同速度运作的组件。

慢时间尺度是一个离线教师。一轮游戏之后，教师在暂停时钟的设置下检查记录下来的失败 —— 在那里它有无限的时间分析哪里出了错。它测试候选修正，并写出一组可复用的自然语言指令，总结智能体应该怎样改变做法。一个验证步骤把关哪些指令更新真正被采纳：候选指令必须在留出的验证游戏上提升表现，才能进入学生的作战手册。

快时间尺度是学生，它在实时游戏中依据教师写的指令行动，但在推理时不调用教师。学生不需要在运行时执行教师那套缓慢的分析；它根据教师已经准备好的提炼指引行动。这是对真实系统中训练与部署实际分离方式的一种实用形式化，并变成了一个可重复的改进循环。

据论文的报告结果，经过两轮 TORSI，Jev 在全部六类游戏上的平均测试分数在 0 到 100 的进度量表上从 13.51 升到 24.19 —— 提高略超 10 分，相对提升约 79%。

迁移发现是对从业者最直接有用的结果：提升 Jev 分数的同一套自然语言指令，在不重新调校的情况下应用于另外三个模型家族时也提升了它们的平均分数。这套指令以一种不绑定架构的形式捕捉了与游戏相关的行为知识。

满分 100 得 24，把这一进展放进语境

提升是真实的，但绝对数字很重要。即便经过两轮 TORSI，Jev 24.19 分（满分 100）的平均测试分数表明仍有大量性能余量。该基准按实时难度校准，本质上比暂停评测更难，但 24% 的进度分意味着这些任务在很大程度上仍未解决。

论文跑了两轮 TORSI，并展示每一轮都单调提升。更多轮次是否继续带来增益、提升以何种速率递减、系统最终能否饱和这些任务，是论文没有回答的开放问题。「递归自我改进」中的递归依赖于持续供给新的失败供教师分析；几轮之后失败模式是否变得重复，是一个尚未刻画的重要约束。

同样值得注意的是，RealtimeBench 中的具体游戏类型是带离散动作空间和明确胜利条件的设计环境。真实世界的部署领域 —— 机器人导航、实时金融决策、自主系统监控 —— 引入连续动作空间、更嘈杂的状态表示和可能无法从游戏结果直接泛化的延迟特征。

Jev 本身尚未被 TypeSafe AI 之外的研究者独立评测；公司所称与更大 LLM 相比成本最低可降 444 倍、推理快 193 倍的数字是公司自报的，TypeSafe 明确把它们定性为在内部优化过的工作流上的上限估计。

时间成本是智能体基准一直遗漏的变量

RealtimeBench 更广泛的含义是，当前的基准生态 —— SWE-bench、WebArena、AgentBench、tau-bench 以及 2024 年以来激增的数十个特定任务榜单 —— 集体衡量的智能体能力处在一个部分误表生产表现的维度上。当环境从不等待模型时，推理延迟不只是一个要优化掉的成本；它是一个改变哪些模型适合哪些任务的约束。

延伸阅读：新基准显示顶级 AI 模型从零构建智能体系统得分不到 20

这并不意味着更慢、更有能力的推理模型价值更低 —— GPT-6.1-sol 及类似模型仍更适合环境允许深思的任务，比如离线文档分析、代码审查或研究摘要。但对于状态持续变化的日益增多的部署 —— 智能体介入的游戏、实时数据流水线、实时监控系统、交互式机器人 —— 建立在暂停基准上的排名提供的是误导性的指引。

如果 RealtimeBench 的设计原则被更广泛采纳，结果将是智能体模型市场更清晰的分层：像 Jev 这样的实时决策模型在一个范畴竞争，深思型推理模型在另一个范畴竞争，而与某项部署相关的基准，是与该部署的时间结构相匹配的那一个。下一步方法论工作是把实时时钟评测扩展到游戏领域之外 —— 论文作者把这一挑战留给了未来工作。