新综述:算力对齐后,多智能体 LLM 系统 74% 的对比中不占优势
一项基于 PACE 协议、涵盖九项研究的分析发现,一旦算力对齐,多智能体的优势几乎缩小为零

周一发布在 arXiv 上的一篇新综述得出结论:一旦单智能体对照组获得同等的推理预算,大多数已发表的多智能体大语言模型优越性证据便不复存在。这一方法缺陷涉及九项实证研究中评测的 516 种配置。
这篇论文题为《More Agents, More Samples, or More Thinking? Untangling Coordination, Ensembling, and Test-Time Compute in Multi-Agent LLMs》(更多智能体、更多样本还是更多思考?厘清多智能体 LLM 中的协作、集成与测试时计算),提出了一个四级评测框架 PACE(Parity-Aware Compute Evaluation,算力对等评测),用来把真正的协作收益与单纯多跑几次推理的效果区分开。
多智能体研究的核心症结:贪心基线
核心论点很直接。多智能体系统会进行多次 LLM 推理调用(每个智能体一次,而且往往要迭代),但大多数已发表评测中的单智能体对照,是模型只回答一次,并使用贪心解码:每一步都选概率最高的 token,生成一个确定性的回答。拿十次推理调用去和一次贪心生成比较,检验的不是智能体能否互相帮助推理,而是更多算力是否有帮助。
在九项研究、474 组基线匹配的对比中,多智能体系统有 74% 的情况与单智能体基线持平或不如后者。当样本数或推理预算对齐时,平均准确率差值为 −0.042,也就是说,在资源相同的情况下,多智能体系统平均比单个模型的准确率略低。
PACE 框架如何把协作与算力分开
PACE 把基线分为四类,构成一个比较越来越公平的阶梯。
A 类是贪心单次生成,是已发表研究中最常见的基线,信息量也最低。B 类是样本匹配,给单智能体与多智能体系统相同次数的独立推理采样。在这一条件下,在同时报告两种比较的五项研究中,多智能体系统的平均准确率优势下降了 0.038。这一「采样差距」量化了表面上的多智能体收益中,有多少其实只是多出来的样本。
C 类是资源预算匹配,让 token 消耗或金钱成本相等,这对工程团队来说是最有力的实用比较。D 类是帕累托前沿,扫描整个算力预算区间,看多智能体协作是否在某个成本水平上能胜过单智能体采样。在这九项研究的大多数基准与模型组合中,答案是否定的。
该框架还定义了一个包含六个维度的资源向量:推理 token、总 token、金钱成本、延迟、样本数和脚手架开销。延迟值得单独一提:九项研究中没有一项报告延迟,而这一缺失对大规模部署系统的团队很重要。
额外智能体何时真正有用,以及为数不多的证据
这篇论文并不是全盘否定多智能体系统。它指出了协作可能带来真正收益、单靠增加 token 无法复制的几种条件:证据分割,即每个智能体掌握不同的信息;外部验证,即一个智能体使用原始生成时不可用的工具,对另一个智能体做事实核查;以及错误多样性,即异构模型在结构不同的问题类型上出错。
这些被表述为假设,而非经过检验的结论。最接近的实证例外范围很窄:在使用 Llama-3.1-70B 的 MMLU-Pro 上,在算力匹配的条件下,辩论和智能体混合(mixture-of-agents)比十样本自洽高出约两个百分点。这一结果只涉及一个基准和一个模型家族,而另一项在算力匹配条件下对 MMLU-Pro 的独立分析发现,同样的规律在不同模型规模上无法复现。
已发表基准没有报告的资源开销
2026 年的另一项研究在五项软件工程任务上比较了智能体与非智能体配置,发现多智能体设计平均消耗 6.36 倍的能源,运行时间长 6.07 倍,在个别任务与硬件组合上,最坏情况下的减速达到 160 倍。该研究的 66 种帕累托最优配置中,有 59 种是非智能体或单智能体配置。标准的多智能体评测流程,即用高推理量的架构对比最低限度的单次生成基线,系统性地掩盖了大规模部署协作的准确率代价和资源代价。
这篇综述的局限,以及它没有定论的问题
论文明确说明了自身的局限。这九项研究并非通过系统综述收集:最初选了五项,筛选后又加入四项。其中 Zhang 等人的研究贡献了 516 种配置中的 180 种,因此汇总统计对是否纳入这项研究很敏感。排除 Zhang 等人的研究后,基线匹配的平均差值从 −0.042 变为 −0.029,仍为负值,但明显变小。
多层模型建立在八个研究聚类之上,样本量不足以支撑强因果推断,它所假设的组内相关性在这批研究中也缺乏实证支持。这些局限并不推翻方向性结论,但具体数字应被视为估计值,而非确定的常数。
评审者和工程团队现在能做什么
论文发布了一份 PACE 评审清单,列出程序委员会可以用于任何多智能体 LLM 投稿的结构化问题:基线是否获得了匹配的样本数,是否报告了推理成本,是否测量了延迟,是否描绘了帕累托前沿?代码和清单均已公开。
对工程团队来说,启示很直接:在采用多智能体编排架构之前,先测试单个模型通过重复采样或延长思维链推理,能否以更低成本达到同等准确率。这篇综述把举证责任摆明了:多智能体的支持者现在必须证明,协作带来了单靠推理预算无法解释的东西。同行评审的规范是否会随之改变,取决于这个领域有多少工具和商业投入已经建立在「智能体越多,性能越好」的假设之上。



