五个 Qwen3.8-27B 组成的多智能体团队以 9% 的成本在 LiveCodeBench Hard 上胜过 Claude Fable 5
GVS5H 的文件账本把 Qwen3.8-27B 的成绩从 66.8% 提升到 92.4%,Memdoor 得分 9.8/10

一个多智能体脚手架把推理状态通过磁盘上五个共享文件传递,而不是通过模型的上下文窗口,让五份阿里巴巴 Qwen3.8-27B 的副本在竞赛编程最能抵抗数据污染的基准之一上,得分超过了 Claude Fable 5,而每次运行的成本只有后者的约十分之一。这一结果由开源的 Memdoor CLI 于 11 月 1 日重新复现并发布,印证并扩展了一篇 2026 年 9 月的研究论文,这篇论文悄悄颠覆了人们对哪些模型值得为高难度编程任务支付前沿价格的假设。
这套底层方法称为 GVS5H(Gorilla vs. 5 Humans),由 Persis Capital 的一个研究团队在arXiv 论文 2608.26480中提出。这个方法不需要额外训练:单个模型在一个结构化团队里扮演所有角色,仅通过磁盘上的文件协调,智能体之间没有点对点通信。
基于文件的账本实际如何运作
这个脚手架在每次运行中维护五个文件:task.md(问题陈述)、plan.md(管理者的策略)、tasks.json(角色分配和状态)、notes.md(共享的推理观察),以及solution.py(不断演进的候选方案)。每个智能体实例都在一个全新的上下文窗口中生成,只读取与自己角色相关的文件,完成自己的步骤,把输出写回磁盘,然后终止。没有哪个智能体会读取另一个智能体实时的上下文。
这种设计解决了一种有记录的失效模式。在论文的测试中,Qwen3.8-27B 在单次调用模式下,在一道 LiveCodeBench Hard 题目上产出了重复 7743 次的同一短语,这是一次在单一上下文窗口内无法恢复的失控推理循环。基于文件的脚手架通过限定每个智能体各自的推理预算、并让每个后续智能体在只能看到前序工作经过压缩整理摘要的全新上下文中生成,绕开了这个问题。多智能体的说法只是一种方便的简化;脚手架真正提供的是外部的持久工作记忆,在每一步都重置上下文退化。防护机制还避免了其他失效模式:MAX_ITERS 限制总迭代次数,无进展防护检测停滞,截断摘要器在触及上下文上限前压缩历史记录。
LiveCodeBench 结果:论文显示了什么
LiveCodeBench Hard从 Codeforces、LeetCode 和 AtCoder 中抽取模型训练截止日期之后的题目,专门用来抵抗数据污染。LCB-100 是 release_v6 中最新的 100 道 Hard 题目。论文作者在报告任何结果之前,先修正了两个评测器 bug:一个会惩罚使用 buffer.readline() 模式的模型的无状态二进制 readline 模拟器,以及四道接受多个有效答案、却只有单一答案评测键的题目。
在论文的标准条件下(五次通过、12.8 万推理预算、开启推理),各主要模型家族的结果如下:
Qwen3.8-27B:单次调用 66.8% → 团队求解 92.4%(提升 25.6 个百分点,p < 2.5×10⁻⁵)
Claude Fable 5:单次调用 90.4%(仅作参照基线,未在团队求解模式下测试)
Qwen3.8-Flash-Next:84.2% → 93.0%(论文中最高的结果)
DeepSeek-V4.1-Flash:88.4% → 92.0%
GPT-5.6-Terra:80.8% → 88.0%
在所有受测模型中,Qwen3.8-27B 的绝对提升幅度最大。一个重要的限定条件是:Fable 5 只在单次调用模式下测试过。Fable 5 的团队求解能否得到高于 90.4% 的分数,目前尚未测试,也不得而知。
Memdoor 复现:一次全新的 10 题测试
10 月 31 日,开源的 Memdoor CLI 把 GVS5H 这套工具框架复现为一个内置的团队求解工作流,并用它跑了前十道 LiveCodeBench Hard 题目。在五次通过(即 50 次完全独立的脚手架运行)中,这个团队解出了 50 道中的 49 道,平均得分 9.8 分(满分 10 分)。Claude Fable 5 在单次调用模式下,在同样的十道题上得分 8.0。这 50 次运行共消耗了 1530 万个输出 token,总成本 35.79 美元,按 Qwen3.8-27B 当前的 OpenRouter 定价,每次运行中位数成本 0.39 美元。
这十道题的结果不能直接等同于论文中一百道题的数字;这个子集样本量小,可能无法代表完整分布。Memdoor 这次运行确立的,是 GVS5H 这套工具框架能在论文自己的代码库之外、由不同的作者、以一致的方法论复现,并得到可信的表现。
为什么成本优势在 token 用量三倍的情况下依然成立
这套脚手架消耗的输出 token 大约是单次调用方法的三倍,因为每个智能体的每一步都会生成写入文件的推理轨迹。Tran 和 Kiela(arXiv:2604.02460,2026 年)曾证明,在同等 token 预算下,单智能体系统能与多智能体系统打平,这是对多智能体主张的一个有效质疑。GVS5H 的回应是经济上的,而不是架构上的:Qwen3.8-27B 在 OpenRouter 上每百万输出 token 2.55 美元,Fable 5 的输出每百万 50 美元。一个定价只有对方每 token 费率 5% 的模型,即便有三倍的 token 开销,依然大幅领先。
按团队求解模式计算,Qwen3.8-27B 每解出一道题的成本为 0.52 美元;对于互补的 MoE 变体 Qwen3.8-Flash-Next,这一数字降到 0.062 美元。完整跑一遍这套一百道题的题集,Qwen3.8-27B 的管理者分支成本为 47.82 美元,而 Fable 5 单次调用的成本为 61.11 美元。Qwen3.8-27B 是一个稠密模型,每次推理步骤激活 270 亿参数,以 FP8 精度运行在单张消费级 GPU 上,这让完全摆脱 API 费用、自行托管推理成为可能。
社区始终没有停止提出的局限
自 9 月以来,Hacker News 上的讨论一直集中在共享文件是否会让中间解在不同通过之间泄露。论文的多次通过设置让每次通过都从空文件开始,让这五次通过真正相互独立。在单次通过内部,智能体之间共享一份实时账本,这正是设计上的机制。争议在于 pass@5 的统计方式是否正确体现了这一结构;论文作者给出的答案是肯定的,但社区的看法仍然分歧。
管理者角色带来了第二个有记录的弱点:它可能接受一个自信满满却错误的方案,而没有发现错误。论文记录了一个案例:一位 Qwen3.6-35B 管理者早期给出的错误方案,锚定了所有下游工作者,整个团队以高置信度给出了一个错误答案。
这对 AI 编程基础设施意味着什么
GVS5H 论文和 Memdoor 的复现共同确立了一种具体、可复现的方法,能在不支付前沿 API 价格的情况下,达到可与前沿模型相媲美的竞赛编程表现。更持久的启示是架构上的:这套脚手架之所以有效,是因为推理状态属于磁盘,而不是上下文窗口。上下文窗口在长链推理下会退化,磁盘文件不会。把持久的外部文件当作一等记忆原语、而不是实现上的权宜之计来对待的智能体框架,正从不同方向指向同一个结论。
无论 GVS5H 式的协调最终会不会成为高难度推理任务的标准做法,还是会被专门训练的多智能体模型最终取代,它在 11 月 1 日树立的成本性能基准,如今都已成为一个有记录的参照点,未来的方法都需要正面回应它。