Grok 4.20 快速模式用了 755 回合才在 PokéBench 拿到初始宝可梦

一局 9 月中旬完成的《宝可梦 红》跑通，在 10 月 31 日 r/LocalLLaMA 的一篇帖子把它翻出来后，成了周末讨论最多的智能体基准之一。在PokéBench（一个给每个模型同样 1000 回合预算的开放基准）上，xAI 的 Grok 4.20 在非推理模式下花了 755 回合，才拿到十个里程碑中的第二个：一只初始宝可梦。同一个模型开启推理后，到第 348 回合就已抵达第四个里程碑常青市。

这个差距才是真正的发现。网上流传的说法集中在模型发现自己陷入循环却走不出来。而基准自己的记录指向了一个对任何部署智能体的人都更有用的结论：在长周期任务上，关闭推理并没有省钱。按 Azure 自己的账单，非推理跑分花费 30.12 美元，而推进到两倍以上进度的推理跑分只花了 19.14 美元。

据 Reddit 帖子，模型在第 36 回合离开了小红的家，随后花了约 700 回合在开场区域来回打转，而它每一回合写下的思考记录都承认了这种反复。第 36 回合离家的说法和引用的推理内容无法独立核实；755 回合拿到初始宝可梦的数字和这局跑分的最终名次，来自基准的公开代码仓库。

PokéBench 如何在没有人类裁判的情况下给智能体打分

PokéBench 由一位在 GitHub 上以 VibeCodyH 为名的开发者维护，并在 Twitch 直播跑分过程，录像存档在 YouTube。它的前提是工具中立：每个模型每回合都得到一张截图、一张 ASCII 可通行地图、屏幕文字，以及最多六个动作。一回合就是模型的一次决策，因此分数衡量的是决策质量，而不是 GPU 速度或 token 用量。

打分直接从游戏内存读取。十级阶梯依次是：离开房子、拿到初始宝可梦、抵达 1 号道路、常青市、大木的包裹、图鉴、常青森林、深灰市，直到击败小刚拿到第一枚徽章。走得最远者胜，回合数少的在平局时胜出。没有人类来判定一局跑分「算不算数」。

对一个视觉语言智能体来说，拿到初始宝可梦这个里程碑比听起来更难。在《宝可梦 红》里，玩家不能直接走进大木博士的实验室选一只宝可梦。只有当玩家试图从真新镇北侧的长草地离开时，大木博士才会出现，并把玩家带回实验室。一个在镇上探索却没尝试那个出口的智能体，看不到任何新信息，每一屏看起来都像是进展，实际却不是。基准指出，正因如此，1 号道路这个里程碑排在拿到初始宝可梦之后。

为什么智能体能说出自己在循环，却还是走不出来

一个工具设计上的选择，解释了为什么「模型注意到自己在循环」这件事没有听起来那么令人意外。PokéBench 刻意把历史记录存成事实，而不是叙述：位置，然后是动作，然后是新的位置和结果。维护者加入这个「事实性历史修正」，是因为模型总是反复读到自己此前错误的推断，并一再重新采信。在注册跑分的运行器上，历史记录会一直追溯到倒数第二个里程碑，并裁剪以适配配置的上下文。对于只通过了一个里程碑的一局跑分，这条规则会把历史一路追溯回游戏开头，所以一个卡在拿到初始宝可梦之前的模型，原则上面对的是一份很长的、记录着自己去过哪里的事实清单。每一回合还附带一张新截图和一张可通行地图，所以智能体并不缺观察信息。

这种设计给了卡住的模型充分的证据。一份反复出现同样几个坐标的日志，对任何读者来说都能一眼看出在打转，所以一个速度快的模型能用一句话描述出来。但日志无法提供的，是一个关于该去哪里的新假设。发现问题靠的是对近期上下文的模式匹配，而走出困境则需要生成并检验一个新方案，比如尝试小镇的北侧出口，这正是非推理模式被设计来跳过的那种深思熟虑。

关于自我纠正的研究支持这一区分。谷歌 DeepMind 和伊利诺伊大学的Jie Huang 及同事发现，在没有外部反馈的情况下，让语言模型审视自己的推理，往往会让准确性变差，模型改掉正确答案的概率和改掉错误答案的概率差不多。发现有问题和知道该怎么做是两种不同的能力，而后者得益于额外的推理投入。

xAI 出售 Grok 4.20 的推理、非推理和多智能体版本。非推理版本的定位是速度和直接响应，跳过思维链以换取更低延迟，这种取舍在一项需要持续重新规划的任务上反而对模型不利。PokéBench 把这两个单模型版本都跑在微软 Azure AI Foundry 上，后者不会暴露 Grok 内部的推理文本，所以观众看到的是模型陈述的计划，而不是推理版本背后隐藏的深思熟虑。

Grok 系列横评显示，真正起作用的是推理模式

这次非推理结果，是维护者在一次排行榜更新中一并加入的六次 Azure Grok 跑分之一，全部使用同一版本的提示词，每一局录像都与跑分的实际用时作了核对。

模型与模式 最远里程碑 到达回合 实际用时 Grok 4.6 击败小刚 316 10.3 小时 Grok 4.1 Fast，推理 拿到图鉴 558 9.9 小时 Grok 4.20，推理 抵达常青市 348 11.1 小时 Grok 4.3 抵达常青市 940 15.8 小时 Grok 4.1 Fast，非推理 抵达 1 号道路 910 5.2 小时 Grok 4.20，非推理 拿到初始宝可梦 755 5.9 小时

这一模式在两代模型上都成立。两次非推理跑分在所有 Grok 参赛中都排名垫底，Grok 4.1 Fast 在非推理模式下，更是在 1 号道路接近预算用完时被击败，最终又退回了小红的家。Grok 4.6 成为榜单上第二个击败小刚的模型，仅次于在第 279 回合达成的Gemini 3.8 Flash。

成本数字需要谨慎对待。费率是在这些跑分完成之后才加入注册表的，维护者是根据记录的 token 用量重新计算出来的。两次非推理跑分与 Azure 按部署计费的账单精确对到了分。推理跑分则对不上，因为这套工具把隐藏的推理过程计入输出，而 Azure 只对可见的补全 token 计费，所以 Grok 4.20 推理版 19.14 美元的 Azure 数字是实际账单金额，31.45 美元是工具自己的估算，约 12 美元的差距在PokéBench PR #43中有解释。无论哪种算法，快速模式都没有省下钱：它花得差不多甚至更多，却只走了一小段路。

宝可梦基准已从噱头走向可控对比

宝可梦在 2025 年 2 月成为一个 AI 测试案例，当时 Anthropic 直播了Claude 3.7 Sonnet 玩《红》，并把它比早期模型走得更远归功于扩展思考，而早期模型曾四处游荡或陷入循环。随后 Claude 在月见山里困了数十个小时。Gemini 2.5 Pro 后来通关了《宝可梦 蓝》，但用的是不同的工具框架，其开发者自己也警告这让比较变得不可靠。

学术研究试图解决这个问题。作为 NeurIPS 2025 竞赛举办的PokéAgent 挑战赛，为比较语言模型、强化学习和混合智能体建立了标准化的基础设施，并报告称宝可梦对战与 49 项标准基准几乎不相关。PokéAgent 论文是预印本；其 NeurIPS 2025 竞赛结果已经独立确认。PokéBench 是一个规模小得多的业余项目，但它把同样的原则用在了《红》的开场：一套固定的工具框架、公开的日志，以及作为唯一变量的模型。

一局跑分能证明什么，不能证明什么

PokéBench 每个模型只记录一个随机种子，规范也把游戏内的随机性列为已知的方差来源。换一局非推理跑分，也许五十回合就能触发大木博士的事件。基准还要求推理模型以推荐的努力程度运行，所以这次非推理条目是一次刻意的对照，而不是 xAI 的最佳配置。而且宝可梦的开场也不是企业工作流，尽管这种失败模式，对任何看过编程智能体反复重试同一个失败修复方案的人来说都似曾相识。

引用的自我诊断内容也仅来自这篇 Reddit 帖子。这局跑分完整的逐回合日志已提交到代码仓库，这意味着任何人都可以核查模型多少次描述了自己的循环，以及接下来做了什么。

对于要在快速档和推理档之间选择的团队来说，结论是具体的：在智能体可能卡住的任务上，单位 token 价格会误导人。真正重要的数字是每个里程碑的成本，而在这个榜单上，推理设置在进度和实际账单成本上都赢了。接下来有用的数据点，是在 PokéBench 更新的工具版本上，对 Grok 4.20 两种模式进行多随机种子重跑，这将显示 400 回合的差距究竟是模型本身的特性，还是一次运气不好的抽样。