Mind2Act World 诊断基准:机器人尚无法把推理与执行衔接起来
在 56,700 个仿真回合中,最强的智能体在需要同时推理和执行的任务上仅完成 12%

一项新的机器人操作诊断基准得出的结果,与具身智能领域的主流叙事背道而驰:表现最好的通用 AI 智能体陷入困境,并不是因为它想不清楚,而是因为它没法稳稳地抓住一个罐子。
清华大学 mmlab@SIGS 实验室的研究人员与剑桥、牛津、斯坦福、卡内基梅隆等国际机构合作,于 2026 年 11 月 19 日在 arXiv 上以预印本形式发布了 Mind2Act World。该基准在一个双臂机器人平台上,通过 56,700 个仿真回合评估了九个不同的 AI 系统,分别就认知任务、物理执行任务以及需要两种能力协同完成的任务打分。结果揭示出一个结构性缺口,而这正是单一成功率分数在很大程度上掩盖了的:即便是表现最好的系统,一旦思考与动手必须同时进行,也会全面崩溃。
该基准现已开放,排行榜接受新的提交,可通过项目网站和 GitHub 代码库获取,采用 MIT 许可证。
为什么把认知与执行拆开,会改变诊断图景
Mind2Act World 的核心设计思路看似简单:在衡量机器人整合推理与物理动作的能力之前,先单独衡量每一项能力。该基准的 30 项任务平均分为三组,每组十项。Mind 任务考验记忆与决策,同时尽量简化物理动作,例如机器人可能需要记住蒸笼各层原来的叠放顺序,并将其复原。Act 任务给出明确目标,测试机器人能否在时间压力下完成精确动作,比如从移动的传送带上接住物体。Mind2Act 任务则把两种要求组合成闭环:机器人记住的内容决定它下一步做什么,而上一个物理动作的结果又约束着下一次决策。
每项任务都设三个难度等级和两种场景配置:一种是干净的基线场景,另一种是加入额外物体、更换材质并改变光照的随机化场景。该基准的评分毫不通融:成败只看物理结果。物体要么到达正确位置,要么没有;按钮要么被按下,要么没有。
借助这一结构,该基准可以生成所谓的「诊断卡」:针对每个模型的画像,把每一次失败归因到最早的崩溃点,并分为 Mind 错误、Act 错误,或在两种能力都已分别施展之后出现的组合(Composition)错误。在全部 56,700 个计分回合中,约 41% 的失败可追溯到推理错误,37% 源于执行错误,约 10% 属于真正的组合失败,即两项单独能力都已展示过,却在组合时出了问题。
延伸阅读:OpenAI 解散机器人团队:GPT-6 Astra 在仿真中胜过专用系统
GPT-6 Astra 领跑智能体组,却端不稳一个托盘
该基准评估了三个大语言模型智能体:GPT-6 Astra、DeepSeek-V4.1-Flash和 Gemini-4-Argon。它们通过工具调用而非直接预测动作来控制机器人:这些系统以外部 API 的形式调用感知和运动规划模块,必须发出明确指令才能操作环境。
GPT-6 Astra 取得了智能体组的最好成绩:Mind 任务 52.7%,Act 任务 39.0%,Mind2Act 任务 12.0%,总分 34.6(满分 100)。它在记忆类任务上的表现确实亮眼:在一项隐藏危险物的导航任务中,它每一个回合都成功了;卡牌配对任务的成功率达到 93%。当场景随机化改变了桌面和光照条件时,它的 Mind 成功率只从 54.7% 变为 50.7%,说明其认知表现对视觉扰动相对稳健。
物理执行则是另一回事。在一项需要精确双臂协调的端托盘任务中,GPT-6 Astra 在全部 30 个回合里每次抬起托盘都失去了控制。它的诊断卡显示,在 589 个失败回合中,55.3% 的首个失败点是物理执行错误。关键在于,有 459 个回合是 GPT-6 Astra 主动选择停止而结束的,其中 264 次自行终止发生时,它还剩下超过三分之一的决策预算。论文记录的模式是:GPT-6 Astra 的运动规划模块拒绝了目标位姿,而智能体没有重试。研究人员指出,与单纯增加动作预算相比,提供更细粒度的运动规划工具,并在停止前加入自动重试逻辑,能更直接地解决这一失败。
基于智能体的方案,其成本和延迟特征也有自身的影响。GPT-6 Astra 每次 API 调用平均耗时 11.0 秒,每个回合平均成本 25.13 美元,每个成功回合的成本为 72.70 美元。基准仿真在推理期间会暂停计时,但实时部署做不到这一点,而且有好几项 Act 任务的时间窗口是以秒计的。
DeepSeek-V4.1-Flash 和 Gemini-4-Argon 的总分则低得多,分别为 6.6% 和 4.7%。DeepSeek 每回合成本为 1.24 美元,Gemini 为 1.12 美元,约为 GPT-6 Astra 每回合成本的二十分之一,但任务完成率也大幅落后。两者在 Mind2Act 任务上均未取得任何成功。
端到端模型擅长执行,却记不住刚刚看到的东西
该基准的端到端策略组评估了四个视觉-语言-动作(VLA)模型 KinRT、π0.5、G0.5 和 X-VLA,以及两个世界-动作模型(WAM)InternW0 和 FastWAM。六个模型都使用同一组 4,500 条专家演示进行微调,这些演示共包含 75.8 小时的机器人操作数据,因而可以直接比较。
VLA 和 WAM 不调用外部 API,而是把视觉观测和语言指令直接映射为机器人动作。它们的推理延迟也体现了这种架构:π0.5 生成动作预测只需 77.1 毫秒,InternW0 需要 488.1 毫秒,两者都比智能体系统动辄数秒的 API 往返快了几个数量级。
端到端模型的长处体现在单项执行任务上。KinRT、π0.5 和 X-VLA 的 Act 成功率在 12.0% 到 19.6% 之间。在一项限时开门任务中,三个 VLA 的得分在 76% 到 79% 之间,与 GPT-6 Astra 的 80% 不相上下。X-VLA 在叠布任务上达到 64%。这些结果体现的是物理执行能力:推理快、轨迹平滑,并且在范围明确的任务上具备良好的精细动作协调。
到了 Mind 任务,局面急转直下。四个 VLA 在需要记忆与决策的任务上得分都低于 5.4%。施加场景随机化后,这一模式更加明显:VLA 模型保住了 86%–94% 的 Act 成功次数,却只保住了 28%–41% 的 Mind 成功次数。研究人员指出,VLA 模型似乎是按「看起来像什么」而不是「包含什么」来表征场景的,其内部表征无法可靠地编码依赖历史的决策所需的语义状态信息。
排名最高的端到端系统 InternW0 总分为 8.68(满分 100),它给出了最清晰的诊断。在一项要求机器人先放好全部食材、再开火的烹饪任务中,InternW0 的 300 个回合里有 271 个在食材尚未全部放好时就打开了热源。该模型的 8,220 个失败回合中,有 761 个被归为「前置条件未满足」错误,即在没有确认上一步完成的情况下就进入了下一步。其训练数据只包含成功回合,模型从未接触过出错再恢复的序列,因而缺乏在继续之前检查自身工作的机制。
FastWAM 的总分最低,为 2.9(满分 100),Act 表现为 7.4%,Mind 表现为 0.9%。
延伸阅读:智能体机器人综述:光是动作对了,已经不足以让一台机器人真正能用
没有任何系统能完成的八项任务
该基准最直接的发现之一是:在整个评估中,有八项任务九个系统都没能完成,包括端托盘(DR4)、摆放多米诺骨牌(PR5 和 PR6),以及四项 Mind2Act 组合任务(CP03、CP04、CP07、CP09)。其中两项任务,即搭桥任务和白板复原任务,没有任何系统拿到哪怕第一阶段的部分分数。
九个系统呈现出的是互补而非趋同的格局。让智能体强大的能力(稳健的记忆、语言引导的推理、不受场景变化影响的认知)恰恰是端到端模型所欠缺的;而让端到端模型具备竞争力的能力(快速推理、流畅执行、精细动作协调),对运动规划在精密任务上屡屡失败的通用智能体来说仍遥不可及。这种互补性表明,眼下把「智能体对 VLA」当作两种相互竞争的范式,可能掩盖了更重要的问题:每种方法要弥补各自的具体短板,究竟需要什么?
诊断卡:面向定向改进的基础设施
除了给系统排名,Mind2Act World 还把诊断卡方法定位为面向整个领域的基础设施提案。逻辑很直接:如果一台机器人在一项 10 步任务的第一步就屡屡失败,那么覆盖第 6 到第 10 步的额外训练数据就是浪费。诊断卡能精确定位回合在任务序列中的哪个环节崩溃,该基准将其记录为「首个不可逆错误」。
以 G0.5 为例,诊断卡显示其 1,324 个失败回合的首个错误是没抓到或抓取失败。在一项积木组装任务中,300 个回合里有 202 个直到结束机器人都没能抓起任何一块积木。在白板复原任务中,G0.5 的 300 个回合里有 299 个在机器人把白板从支架上取下之前就终止了。这意味着该任务后续步骤的演示数据在训练中几乎都派不上用场,因为机器人根本走不到那一步。研究人员提出的干预措施是:从失败状态开始采集 rollout 数据,而不是从任务起点开始。
论文还用一些非正式的描述,概括了诊断卡中呈现的行为模式。InternW0 和 G0.5 表现出作者所说的「冲动执行」:不管上一步是否成功,都信心满满地进入下一步。GPT-6 Astra 则表现出「过早放弃」:工具调用失败时,它在预算还很充裕的情况下就终止了,而不是尝试别的办法。
这些并不只是修辞上的描述。每种模式都指向一项具体、可行的干预:对执行优先的模型,加入状态确认循环;对基于智能体的模型,加入重试与改道机制。该基准描述了一个「自我进化」的循环,诊断结果直接输入下一轮训练,让基准表现转化为实实在在的模型改进,而不只是排行榜上一个静止的名次。
仿真成绩仍有附加条件
Mind2Act World 是一个仿真基准,是在物理仿真器中的 ARX X5 双臂机器人平台上评估的,而非在实体硬件上。ARX X5 的仿真环境尚未涵盖所有现实世界的失败模式:表面摩擦的差异、传感器噪声、执行器磨损以及环境的不可预测性,都会引入仿真数据中不会出现的失败路径。该基准自己给出的成本数字,即 GPT-6 Astra 每回合 25.13 美元、每个成功回合 72.70 美元,只计入了 API 费用,不包括现实中的硬件开支、人工安全监护,以及推理无法暂停计时所带来的延迟代价。
该基准只用 4,500 条演示来微调端到端模型,这也是论文承认的一项方法局限:更大的演示集可能会大幅提高基线,并改变各系统的相对排序。这项评估的定位是诊断工具而非最终排名,这也是排行榜持续向新提交和新系统开放的原因。
该基准的学术作者来自清华、剑桥、牛津、斯坦福、CMU 以及另外十家机构。个人作者所属的商业机构包括 Velabot AI、Simple AI 和百度智能云。中国科技公司远行光年在该基准的公开发布材料中被列为贡献方,但并未出现在学术论文的机构署名名单中。
Mind2Act World 揭示的并不是哪种范式终将胜出的定论,而是一份关于当前九个系统在哪里崩溃的临床记录,细致到足以指导下一步该采集什么数据、该构建什么工具。GPT-6 Astra 在记忆任务上的 52.7% 与在同时需要记忆和操作的任务上的 12.0% 之间的差距,主要不是推理失败,而是推理无法弥补的执行失败。缩小这一差距需要物理操作能力的进步,而 Mind2Act World 如今就是衡量这种进步是否正在发生的现成工具。



