Kyutai 发布 REKI：只用公开数据的开放机器人模型领跑 LIBERO-Plus

巴黎非营利 AI 实验室 Kyutai 发布了 REKI，一个 24 亿参数的机器人操作视觉-语言-动作（VLA）模型，完全在公开数据集上预训练，并附带从数据整理到真机策略服务器的完整流水线，据 Kyutai 的 REKI 项目页面。REKI 与 Inria 和法国国立路桥学校合作构建，在 Kyutai 的对比中取得最高的 LIBERO-Plus 鲁棒性得分 90.4%，并加入了一种短期记忆，让机械臂在两个姿态之间来回穿梭这一常见失败减少约四倍，据 arXiv 上的 REKI 论文。

这篇论文于 10 月 15 日出现在 arXiv 上，权重、代码和项目页面在 10 月 17 日获得首批报道。基准数字是 Kyutai 自己的，图表中对手的分数照抄自那些模型已发表的结果，而不是在相同条件下重新运行。

此次发布更有分量的部分，与其说是榜单位置，不如说是 REKI 使什么成为可能。多数领先的 VLA 同时更换数据、架构和训练监督，而且许多不公开预训练数据或权重，所以实验室之外没人能分辨哪个选择带来了增益。REKI 被设计为一个可复现的对照：一份刻意朴素的配方、只用公开数据、推理快到让强化学习后训练和受控消融对没有前沿实验室预算的团队也负担得起。

Kyutai 发布了什么，公开数据约束为何重要

REKI 把阿里的 Qwen3.5-2B 视觉语言模型 —— 读取摄像头图像和文本指令 —— 与一个 2 亿参数的「动作专家」配对，后者把这种理解转换为电机指令，如 Hugging Face 模型卡所述。Kyutai 在 Hugging Face 上发布了六个检查点：一个预训练基座，加上分别为 LIBERO 上的 Franka Panda 机械臂、两个 RoboTwin 变体上的双臂 ALOHA 装置、RoboCasa365 上的移动操作机器人，以及 RoboCasa-GR1 上的傅利叶 GR-1 人形机器人微调的版本。

这份预训练混合数据约含 10 亿帧：6.398 亿帧来自 DROID、BridgeData V2 和 AgiBot World 等公开真机遥操作数据集，1.939 亿帧来自运动规划仿真，1.709 亿帧来自包括 EgoDex 和 EgoVerse 在内的第一人称人类视频，另加 1220 万条用于保持空间推理的视觉语言样本。Kyutai 没有把每个机器人强行塞进一种共享的动作格式，而是保留了每个数据集的原生控制约定，并通过文本提示告诉模型某个样本用的是哪种机器人和哪种控制模式，14 种身体布局各有一个单独的小型状态网络。

这个「只用公开数据」的约束正是要点。论文指出，最强的 VLA 部分在专有或合成数据上预训练，其中几个 —— 包括阿里的 Qwen-RobotManip —— 没有公开权重。更早的完全开放的努力，如 OpenVLA、Octo、RDT-1B、SmolVLA 和 Ai2 的 MolmoAct2，让研究者能从零重训模型，但建立在更大内部数据上的模型在多数基准上保持领先。预训练在 32 张英伟达 H100 GPU 上跑了 20 万步，全局批大小 2880 个样本，Kyutai 没有公布那次运行的总 GPU 小时数。

REKI 的记忆在动作专家内部如何运作

多数 VLA 只依据当前摄像头帧行动。显而易见的修法 —— 把多个过去帧送入视觉语言模型 —— 会让成本随窗口增长，因为每张图像都必须重新编码；循环状态在训练中必须逐步展开；而单独的记忆模块又增加了要训练和要服务的组件，正如 REKI 论文所解释。

REKI 把记忆放在一个更便宜的地方。在每一帧的动作 token 之前，动作专家插入 32 个学习到的「寄存器」token，这一想法借自 Meta 和 Inria 的研究者，他们给视觉 transformer 添加备用 token 来吸收全局信息。每一帧的寄存器读取该帧编码后的图像和指令，也读取更早帧留下的寄存器。它们从不读取动作 token。

正是这种单向设计让记忆变得便宜。REKI 用流匹配生成动作：从随机噪声出发，经过 10 个积分步细化一块未来动作。因为寄存器既不理会带噪的动作也不理会细化时间步，它们每帧只需在第一步计算一次，其注意力键和值随后被复用于其余九步，并存入一个滚动缓存。窗口覆盖相隔一秒拍摄的三帧，即当前帧加前两帧，新帧到来时最旧一帧的寄存器被丢弃。由于缓存的寄存器本身是由更早的寄存器计算而来，一些信息可以在窗口之外存活。

据 Kyutai 说，阿里的 Qwen-RobotManip 已经在其动作专家中放置了寄存器 token，但每次前向传播后就丢弃；REKI 的改动是把它们保留下来。训练依然便宜，因为三帧窗口被打包进一次批处理前向，所以用的视觉模型算力不比三个独立帧多，而每帧的损失对共享一次编码器前向的八个噪声样本取平均。

延伸阅读：三层承担重活：因果分析把机器人 VLA 推理成本砍去三分之一

感知混叠解释了机械臂来回摆动的失败

Kyutai 最有用的发现是诊断性的。不带记忆训练的 REKI 会陷入摆动 —— 机械臂在连续三块或更多动作中反复调头 —— 在 RoboTwin 干净场景回合中占 18.6%，包括一半的失败回合。有了三帧记忆，这一比例降到 4.1%，据论文的消融实验。摆动回合中不到 5% 最终成功，所以这种失败直接损失任务完成率。

作者把这种循环归因于感知混叠，这是强化学习研究自 1990 年代初就描述过的问题：对只看得见当下的策略来说，两种不同的情形看起来一样。如果姿态 A 像是朝姿态 B 前进的演示，而姿态 B 像是回到 A 的演示，无记忆的策略就会永远交替。一秒钟的历史打破了僵局，因为机器人能看到自己刚从哪里来。在双臂任务中典型的循环是双臂互换，一臂伸出时另一臂缩回，这在无记忆的 1000 个回合中出现了 65 次，有记忆时出现 1 次。

记忆不是万灵药。在无记忆模型摆动的地方，带记忆模型在同样的随机种子上只有 45% 成功。多数基准增益也来自单个过去帧，而一个带记忆训练但不带记忆运行的模型表现与无记忆模型相当，说明收益来自推理时读取过去。

LIBERO-Plus 结果领先，但对手分数未重新运行

LIBERO-Plus 由复旦大学研究者开发、在 CVPR 2026 上发表，它沿七个轴 —— 包括相机视角、机器人初始姿态、光照、背景、传感器噪声、物体布局和指令措辞 —— 扰动原始 LIBERO 基准的 40 项任务，产生超过 1 万个任务变体。其作者发现，在标准 LIBERO 上得分超过 95% 的模型在适度扰动下可能跌到 30% 以下，而且许多模型基本无视语言指令。

在标准 LIBERO 上微调、在 LIBERO-Plus 上测试，REKI 得分 90.4%，领先 Qwen-RobotManip 的 89.0%、Physical Intelligence 的 π0.5 的 85.7% 和 InternVLA-A1.5 的 84.8%。在 RoboTwin Clean2Rand —— 在干净场景上训练、在随机化的背景、光照、杂物和桌面高度下测试 —— 上它达到 65.8%，仅次于 Qwen-RobotManip 的 68.5%。记忆带来了 LIBERO-Plus 上 1.5 分、RoboTwin 干净场景上 5.5 分和 RoboCasa365 上 5.4 分的提升。

三条注意事项为这些数字降温。第一，一条论文脚注说明基线分数取自已发表结果，所以微调预算和评估种子的差异没有受控。第二，鲁棒性高度依赖训练细节：关闭相机 dropout 或图像增强会让 REKI 的相机视角得分下降超过 20 分。第三，REKI 在分布内更弱。它在标准 LIBERO 上约 97.5%，而多数模型在 97.6% 到 99.4% 之间；在 RoboTwin 的简单和困难设置上为 85.9% 和 84.6%，而规模相近的 InternVLA-A1.5 为 93.3% 和 93.0%。在 RoboCasa365 厨房任务上它达到 38.4%，领先 RLDX-1 和 Qwen-RobotManip，但远落后于 Xiaomi-Robotics-1 的 57.4%，在训练中未见过的复合任务上只有 14.1%。

21.8 毫秒是每块动作的数字，编译做了大部分功

Kyutai 报告，REKI 在一张 H100 上从两张 256×256 的摄像头图像预测一块动作 —— 一段短的未来电机指令序列 —— 耗时 21.8 毫秒，快于 X-VLA 的 25.5 毫秒、通过 Physical Intelligence 的 openpi 代码运行的 π0.5 的 33.8 毫秒、ABot-M0 的 46.1 毫秒和 InternVLA-A1.5 的 51.3 毫秒。这个数字是每块而非每个单独动作，而且速度大部分来自工程而非架构。不做编译时，REKI、π0.5 和 ABot-M0 每块都要 118 到 139 毫秒，因为 GPU 有一半以上时间闲着等主机。把整个模型 —— 包括记忆 —— 编译成 CUDA 图让各模型快了两到七倍，REKI 纯 GPU 时间 16.5 毫秒，与小得多的 X-VLA 的 16.1 毫秒大致相当。

架构在边际上仍然重要。InternVLA-A1.5 使用相同的视觉语言骨干，但其 24 层、5 亿参数的动作专家在 10 个细化步上花 34.9 毫秒，而 REKI 的 10 层专家只花 8.2 毫秒。记忆本身接近免费：从过去帧读取缓存寄存器增加 0.1 毫秒，缓存在一个 4.7 GiB 的策略上每帧约占 2 MiB GPU 内存，而附录中的一项单独测量把与没有寄存器的模型相比的完整寄存器开销定在约 0.7 毫秒。

与世界-动作模型 —— 先生成预测视频再选择动作 —— 的差距要大得多。Kyutai 测试中的一个此类模型 ABot-M0.5 即便在 Kyutai 编译之后每块也要 1.4 秒，大约比 REKI 慢 60 倍。

延伸阅读：开源 APXInf 把 VLA 推理压到 26 毫秒

REKI 与 π0.5 及其他开放 VLA 模型的比较

REKI 最接近的同类把视觉语言模型与动作专家组合。33 亿参数的 π0.5 是该类别中常用的开放权重参照点，但 Physical Intelligence 部分用自家机器人数据对它做了预训练。英伟达的 GR00T N1.x 系列和 InternVLA-A1.5 占据类似的地带。在它们之上是 Kyutai 作为上限参照纳入的更大系统：47 亿参数的 Qwen-RobotManip，阿里称其在超过 38000 小时精选的开源和合成的人到机器人数据上训练、权重不公开，以及 RLDX-1 和 Xiaomi-Robotics-1。

榜单上几个最强的条目现在走的是完全不同的路线，在视频生成器上构建世界-动作模型，而 Kyutai 承认这些模型在某些基准上设定了当前的最先进水平。REKI 的论点是，它们的预训练难以复现、运行昂贵，这使得难以分离数据规模、模型大小和世界模型监督各自的效应。Kyutai 说它预计 REKI 会从更多数据 —— 无论是真实、合成还是世界模型生成的 —— 中获益，但把它定位为衡量这些添加物时应当对照的朴素参照。

在非商业许可证下开发者能用 REKI 做什么

这些权重采用知识共享 BY-NC-SA 4.0 许可证，禁止商业使用并要求衍生品以相同条款共享，而训练和推理代码采用 MIT 许可证。想把 REKI 用进产品的公司需要用开放代码从公开混合数据重新训练，并受每个源数据集自身许可条款的约束。Kyutai 不提供托管 API；模型在用户自己的硬件上运行，微调后的策略通过 Hugging Face 的 LeRobot 异步推理协议连接到机器人。

按机器人领域的标准，适配很便宜。在一台以 15 Hz 控制循环、带一个固定摄像头的 UR5 机械臂上，Kyutai 微调了 REKI 3000 步，约一小时即 8 个 H100 GPU 小时，每个任务 50 条遥操作演示。在五项拾取、放置、堆叠和清扫任务中，REKI 比微调后的 π0.5 高出 7 到 37.5 个百分点，记忆在三项较长任务上增加了 12 到 17.5 分，两项较短任务不变。每项任务只评估了 10 个回合，所以这些差距是指示性的而非精确的。基准微调需要 40 到 400 GPU 小时。

速度也塑造着训练。VLA 越来越多地在模拟器或学习到的世界模型中用强化学习打磨，策略在每条 rollout 的每一块都会被查询，所以每块延迟在整个训练运行中成倍放大。模型卡列出了实际限制：新的机器人身体需要一个从零训练的新状态输入层，重规划间隔应匹配训练帧的一秒间距，数据以带平行夹爪的桌面操作为主。

短记忆在今天的基准上有效；长程记忆未经测试

REKI 改变了开放机器人学习的参照点。一个 24 亿参数的公开数据模型，在其开发者的对比中现在处于主要鲁棒性基准的顶端或接近顶端，这表明更大的内部数据模型所握有的部分分布外领先来自数据和训练选择，而不只是规模。它还表明几秒钟的记忆足以消除一种具体、可测量的失败模式，而作者承认寄存器能否承载长得多的上下文 —— 比如几分钟前完成的一个任务步骤 —— 仍未经测试。

接下来重要的证据来自外部：在匹配的微调下对 LIBERO-Plus 和 RoboTwin 数字的独立复现、从 REKI 检查点出发的强化学习后训练结果，以及任何能让公司直接部署权重的许可证变更。如果外部实验室确认了这些结果，REKI 可能成为新的 VLA 设计被期望超越的默认基线。