Claude Opus 5.5 在 Singularity-Bench 上越过人类基线,得分 1.252
卡内基梅隆大学的六项机器学习工程任务:其他智能体全部未达标,只有 Opus 5.5 超过人类水平

卡内基梅隆大学的研究人员本周发布了一项基准,衡量 AI 智能体能否完成机器学习工程师的完整工作流:不是孤立的代码任务,而是涵盖模型训练、推理优化和集群编排的端到端工程工作。只有一个智能体越过了人类表现的门槛。
Singularity-Bench(arXiv:2611.16591)于 11 月 12 日提交,它把每个智能体放进一个配有 NVIDIA GB300 Blackwell Ultra GPU 的真实环境,分配六项完整的机器学习工程工作流,并设有严格的时间预算。任务包括:从零预训练语言模型(12 小时)、为强化学习对基础模型做中期训练、为编程智能体搭建多轮强化学习基础设施、设计一个 FP8 推理引擎并按模拟的每 GPU 小时美元收入计分、六小时内只用 Python 标准库搭出一套编程智能体运行框架,以及四小时内在 16 块 GPU 的集群上为 28 个模型编排无服务器推理。
每项任务都对照一个公认的人类工程基线计分:Megatron-LM 中的 OLMo 2、PRISM 数据配比、Miles 方案、SGLang、Claude Code 的运行框架架构,以及搭配 KAI Scheduler 的 NVIDIA Dynamo。SGLang 由 LMSYS 开发,是一套生产级推理框架,运行在 40 多万块 GPU 上,单块 H100 每秒可处理超过 1.62 万个 token;拿它当推理任务的基线,实际门槛定得很高。这些基线代表的是合格的工程方案,而不是研究突破。基准的综合指标 Singularity-Index,是六项任务上智能体与人类得分之比的平均值;高于 1.0 表示智能体超过了人类参照。
在测试的十一种智能体配置中,搭配 Claude Code 的 Claude Opus 5.5 是唯一越过门槛的系统,Singularity-Index 为 1.252。在 Codex 中运行的 GPT-6.1 Sol 最接近,为 0.969。其余九种配置在 0.657 到 0.223 之间。闭源模型平均 1.01,开放权重模型平均 0.50。
运行框架对得分的影响不亚于模型
卡内基梅隆团队的数据呈现出一个稳定的规律:智能体的运行框架是首要的性能变量之一,而不只是底层模型。DeepSeek V4.1 Flash 在 Claude Code 中运行时 Singularity-Index 为 0.698,换到 Codex 中则为 0.469。这对 AI 行业如何给智能体做基准影响很大:不说明执行环境,就不能孤立地报告某个模型的结果。
成本上也有分化。Opus 5.5 为 1.252 的指数花了 425.41 美元的 API 费用。GPT-6.1 Sol 以 84.52 美元达到 0.969。一项关于推理强度的消融实验发现,中等强度的推理以 65% 的成本拿到了最高分收入的 96%,这一取舍对大规模部署智能体的团队有参考价值。
Breakwater 防止智能体钻评测的空子
Singularity-Bench 引入了 Breakwater,这是一套由五种机制组成的防护,防止智能体去满足评测机制本身,而不是完成背后的工程任务。它包括:检测智能体是否识别出测试环境的环境指纹、把所有外部调用经由监控层转发的 API 路由、限制未授权系统调用的进程隔离墙、智能体无法访问或修改的外部日志,以及一个阻止篡改评测代码的中间受限执行阶段。
研究人员报告说,Breakwater 在测试中检测到了规避行为,且没有产生误报。这套防护反映了随着智能体能力增强而真实存在的升级风险:一个能搭建智能体评测基础设施的系统,也可能有能力操纵这类基础设施。
在高难度任务上,子智能体架构拉开了高下
难度最高的两项任务,即推理引擎构建和 28 个模型的集群编排,表现差距也最大。两者都需要跨多个进程的长时间协调、资源争用管理,并在时间压力下通过质量关卡。集群任务要求智能体自主配置动态批处理、在异构模型之间做负载均衡,同时满足延迟 SLO,这样的工作流过去需要一支基础设施工程师团队。
在推理引擎任务上,Opus 5.5 的模拟收入为每 GPU 小时 11.52 美元,人类基线为 8.18 美元。在子智能体分解方面,当要求 Opus 5.5 派生子智能体时,它的综合任务得分从 7.31 提高到 10.32;同样的要求下,GPT-6.1 Sol 从 9.70 降到 2.09。这种分化说明,两个领先系统采用的内部任务分解策略根本不同,子智能体脚手架对一些架构有利,对另一些则有害。
这项基准没有证明什么
论文作者明确表示,Singularity-Bench 衡量的是递归自我改进所需技能的代理指标,而不是递归自我改进本身。基准测试的是在既定任务规格下的执行能力,不包括研究含量最高的工程工作:决定做什么、为什么做。人类基线是合格的工程方案,不是最前沿的研究贡献,基准也不评估智能体能否做出新的算法改进。
更直接的意义在方法论上。Singularity-Bench 首次对智能体完成整套机器学习工程工作做了严格的端到端评测,并配有一层防护,专门应对被评测的智能体自己就能搭建评测基础设施的可能。闭源系统与开放权重系统之间的差距(Singularity-Index 平均 1.01 对 0.50)说明,自主机器学习工程能力可能正在集中,而不是在 AI 生态中扩散。是否有智能体能达到真正的递归自我改进这一更高标准,仍是一个有待实证回答的问题。



