读答案的验证器在 LLM 输出选择上胜过多数投票
GSM8K、MATH、AutoLogi 和 EvalPlus 上的结果支持 3 到 17 个百分点的选择增益
一篇 10 月 19 日提交的单作者 arXiv 预印本证明，在五个测试基准设定中，把候选答案路由给一个读取 LLM 实际答案的验证器，在挑选正确输出上胜过多数投票。该结果由 Ziqian Zhang 得出，既提供了经 Lean 4 认证的理论上界，也提供了实证验证：答案文本携带着无先验选择策略无法恢复的失败检测信息 —— 直接挑战了多数投票作为生产推理流水线中默认输出聚合策略的地位。
实际差异很大。在 GSM8K 上用 Mistral-7B 采样八次，一个名为 Jev 的外部读答案验证器在 62.2% 的任务上选出正确答案，而多数投票为 44.8% —— 增益 17.4 个百分点（p = 0.0025）。在全部五个基准设定中，Jev 以 3.0 到 17.4 个百分点的幅度胜过多数投票。
所有数字均为来自未经评审预印本的作者自报；发表时尚无独立复现。
延伸阅读：InternLM 开源多模态决策模型，90% 准确率超 Jev
合并 AUROC 把任务难度与答案专属信号混在一起
论文的理论贡献指出了验证器当前评估方式的一个结构性问题。任何失败分数都可能编码两种不同的信息：无论给出什么答案任务本身有多难，以及这个具体答案是否正确。标准的合并 AUROC 把这两种信号混为一谈，因为合并评估中多数失败与通过的比较来自不同任务。一个只反映任务难度 —— 根本不读答案 —— 的验证器在合并指标中看起来有区分力，因为更难的任务失败得更多。
Zhang 通过引入任务内 AUROC 把这个问题形式化：这一指标只在同一任务的失败和通过采样之间计算。按构造，在一个任务内恒定的分数产生的任务内 AUROC 恰为 0.50，揭示它携带零答案专属信息。为了形式化地认证这一上限，论文用形式化数学中使用的证明助手 Lean 4 机器验证了任何仅凭任务（仅凭问题）的排序所能达到的最大任务内采样级 AUROC —— 为读答案所增加的东西确立了一个有保证的界。
该框架扩展了 Bulut 2026 年的《It's the Problem, Not the Path》，后者引入了问题内评估作为合并 AUROC 膨胀的诊断手段；本文增加了 Lean 4 认证的上限和选择应用。
验证器如何工作，达到了什么
论文测试了两种架构。主验证器 Jev 是一个托管的外部裁判，接收一个问题和一个候选答案，然后返回一个反映该答案出错概率的分数。它的训练数据没有公开记录，这限制了对其基准有效性的外部审计。
第二种是自训练的替代方案：一个在问答对上微调为序列分类器的 Qwen3-0.6B 模型，最多接受 1536 个 token。这个验证器更便宜且完全在实验者控制之下，不过每个新领域都需要标注样本。
在五个基准设定 —— 复用任务的 GSM8K、新任务的 GSM8K、MATH、AutoLogi 和 EvalPlus —— 中，Jev 的任务内 AUROC 为 0.837 到 0.904。第二个外部裁判相对仅凭问题的预测把失败预测 AUROC 提高 0.132 到 0.240，确认答案文本才是承重信号，而不是问题的表面特征。
答案专属验证在哪里撞上结构性极限
三个约束限定了该方法的实际收益。第一是覆盖率：如果 N 次采样中没有一个包含正确答案，验证器仍然失败。在 GSM8K 上，148 个任务中有 71 个在八次采样中没有正确候选 —— 这个问题要靠更好的基础模型或更大的采样预算解决，与选择质量无关。
第二是饱和。在 EvalPlus 上，103 个任务中有 99 个在多数投票下已经成功，几乎没有余量。那里 3.4 分的提升反映的是天花板效应，而不是验证器弱。
第三是成本。八次采样加八次 Jev 判断的成本大约相当于 11.4 次不经判断的采样。验证器在这些设定中获胜，但在多数投票本已高成功率的分布上，成本比会迅速收窄。
这对自检输出的 AI 系统意味着什么
该结果对智能体系统有直接含义。任何采样多个输出再投票的流水线，都放弃了在回复生成后无需额外成本就已存在的答案专属信号。Zhang 形式化了这种损失，并证明恢复它只需要一个读答案的验证器。
更广泛的验证器生态正在讨论：任务内区分力而非总体准确率是否才是正确的设计目标。Lean 4 认证的上限给这场设计讨论一个形式化的锚点：任何不读答案的验证器都被可证明地限定了，而这个界是可以计算的。随着 Jev 的开放权重替代品成熟、成本平价研究降低判断开销，Zhang 记录的权衡会发生变化 —— 问题是当验证预算收窄时，区分力增益能否守住。