阿里达摩院用 5.53 亿帧人类视频训练机器人世界模型

阿里巴巴达摩院于 2026 年 10 月 27 日发布了 RynnWorld-Latent。这是一个跨具身的视频世界模型，从涵盖人类交互视频、机器人演示和仿真数据的 5.53 亿帧语料中，学习对机器人有用的运动动态，而训练集的大部分并不需要原生的机器人动作标签。这篇预印本与开放权重一同发布在 HuggingFace 和 ModelScope 上，采用 Apache 2.0 许可证，是达摩院 Rynn 具身智能体系中技术上最具雄心的一项成果。它针对一个几乎困住所有同类方法的限制给出了架构层面的解法：无法把人类视频数据集与机器人演示合在一起，联合训练世界模型。

机器人学习的根本瓶颈不是算力或模型容量，而是有标注的数据。机械臂演示采集成本高、物体种类有限，而且绑定特定平台：用一种夹爪几何结构录制的演示，不经大量重新标注就无法迁移到另一种夹爪上。相比之下，人类操作视频的规模是互联网级的，烹饪视频、工厂巡检片段、装配教程应有尽有，但机器人无法直接使用，因为没有可供训练的机器人动作标签。RynnWorld-Latent 的核心贡献，是一种让人类视频能直接作为机器人世界模型训练信号的架构，无需人工标注员重新标注任何一段视频。做好这件事的下游影响很大：机器人策略开发的瓶颈，将从硬件可用性和演示采集的后勤问题，转向哪个团队的编码器能仅凭视觉观察最忠实地捕捉操作动态。

RynnLAM 如何在没有共享动作标签的情况下打通人类与机器人的动作

其机制是位于系统核心的潜在动作模型 RynnLAM。RynnLAM 是一个自监督编码器，独立于视频生成主干训练。给定任意视频中的两帧（当前帧和间隔可配置的未来帧），RynnLAM 会把观察到的视觉变化压缩成一个 608 维向量。这个向量被设计成与具身形态无关：它描述的是什么在动、怎么动，而不是哪种夹爪、执行器或人手造成了这次运动。

这个 608 维描述符分为三个区域。前 512 维编码运动 token，组织为 8 组、每组 64 个值，捕捉场景中帧间运动动态的空间分布。第 512 到 575 维编码 z，这是一个 64 维潜在动作变量，在横跨所有训练具身形态的共享空间中表示抽象动作。最后 32 维编码相机位姿潜变量，把相机自身运动与场景物体运动分离开，避免模型把相机平移误当成机械臂末端执行器在移动。这些架构细节见RynnWorld-Latent 预印本。

RynnLAM 同时以三个目标训练：在高语义表征层面预测未来的视觉特征，回归两帧输入之间的动态三维流场，以及显式地把相机运动与物体运动解耦。主干编码器是 DINOv2 家族的 DA3-Large 架构，占 RynnLAM 总参数中的 3.044 亿。流解码器（4070 万参数）、潜变量编码器（2030 万参数）和提示压缩器（1690 万参数）组成其余部分，整个 RynnLAM 模块约 3.82 亿参数。

选择 DINOv2 家族的主干是刻意的。DINOv2 编码器是以 DINO 目标训练的自监督视觉 Transformer，能在不同视角和物体外观下产生语义一致的特征表征。当同一类物体（杯子、盒子、工具）在不同相机、光照条件和场景中录制的视频里，必须产生相互兼容的潜在描述符时，这一特性就很重要。编码器层丰富的语义特征，也让后续的未来特征预测目标更有信息量，因为模型学的是预测有语义意义的视觉状态，而不是会对特定录制条件过拟合的原始像素值。

由于 RynnLAM 的潜在描述符是从视频帧对中一次性计算出来、并在世界模型训练期间保持冻结的，视频生成组件从不需要接收原始的机器人动作指令。它学习仅以潜在描述符为条件来预测未来的视频状态。这意味着，无论数据集里的片段是用人手、Franka 机械臂还是四足机器人的腿录制的，都可以通过同一个 608 维接口为同一个世界模型提供训练信号。具身差异在表征层就被吸收了，数据整理人员无需调和互不兼容的动作格式。

英伟达 Cosmos3-Edge 是视频主干，而不是竞争对手

RynnWorld-Latent 的视频生成组件基于 Cosmos3-Edge 构建，这是英伟达 2026 年 7 月作为 Cosmos 3 系列一员发布的视频基础模型。Cosmos3-Edge 采用混合 Transformer 架构（由不同的专门 Transformer 模块分别处理不同类型的 token 或时间位置），组织为双塔系统，结合了一个自回归推理组件和一个扩散生成组件。

这一架构细节关系到如何解读这次发布。RynnWorld-Latent 并不是阿里从零训练、与 Cosmos3-Edge 竞争的视频基础模型，而是 Cosmos3-Edge 的扩展：它加入了英伟达独立发布的版本所没有的跨具身预训练能力和 RynnLAM 条件接口。达摩院的研究贡献在于潜在动作表征层、跨异构具身数据的预训练方法，以及合成数据生成流水线，视频建模基础设施本身来自英伟达。两家机构都采用宽松的开源许可证发布。

动作条件通过两条并行路径注入 Cosmos3-Edge 主干。全局动作 token 编码高层运动描述符，在生成前被添加到整个序列的开头。另一条以局部恒等初始化的路径提供与帧对齐的注入：每个动作 token 只对应它应当影响的那个未来帧潜变量，而不是把同一个全局信号广播到一个生成块的全部 81 帧上。这种局部对齐避免了模型在从初始状态生成视频推演时，把运动效果抹到时间上相距很远的帧上；对于序列中不同部分运动动态差异很大的任务，这在实践中很重要。81 帧的块长与 Cosmos3-Edge 的预训练配置一致，按标准的机器人视频帧率，模型可以预判大约三秒的动作。

把 5.53 亿帧人类视频转化为机器人训练信号

预训练语料涵盖23 个数据集、5.535 亿帧、约 6190 小时视频和 257 万个回合。数据组合包括第一人称烹饪和日常活动等人类交互视频、多平台机器人演示以及仿真推演。三类数据都先经过冻结的 RynnLAM 编码器，再进入世界模型训练。人类视频没有机器人动作标签，机器人演示可能使用彼此不兼容的专有指令格式，仿真推演可能带有干净的真值状态，但无论来源如何，RynnLAM 都把这三类数据归约为同一个 608 维描述符。

达摩院还构建了一个专门的合成语料库 RynnWorld-Latent-80M，约 8480 万帧、约 800 小时，取材自 EPIC-KITCHENS、EgoDex 和 Something-Something。这些都是标准的学术人类视频基准，没有机器人动作标签。两条生成路线把它们转化为伪机器人演示数据对。

在数字遥操作路线中，用目标机器人指令从源视频生成动作视频演示，相当于把片段中的人类动作映射到目标机器人的动作空间，在没有人实际操作实体机器人的情况下产出一条有标注的演示。在潜在动作合成路线中，源视频片段的运动被迁移到一个经过编辑的初始帧上，生成的片段再与由 RynnLAM 描述符重定向得到的伪机器人动作配对。这个 8480 万帧的合成语料库，充当大规模跨具身预训练与在真实平台数据上进行特定任务微调之间的中期训练阶段。

双路线架构的意义在于，它提供了一条可复用的流水线：原则上，任何人类操作活动的视频档案，都可以先经过 RynnLAM，再经过任一合成路线，产出与机器人兼容的训练数据。生成训练信号并不需要实体机器人硬件。

基准结果：证据究竟说明了什么

公开的评测覆盖 LIBERO 和 LIBERO-Plus，这两个机器人操作任务的仿真基准由 Liu 等人于 2023 年提出，在具身智能研究中被广泛使用。LIBERO 由结构化的桌面操作场景组成，包括拾取、堆叠、把物体摆成指定布局等，按机器人能否在固定步数内达到目标状态打分。LIBERO-Plus 在此基础上扩展了更复杂的多步骤序列，以及更多样的物体几何形状和纹理。在两个基准上，加入 RynnWorld-Latent 中期训练阶段（无论用数字遥操作路线还是潜在动作合成路线），都比只用真实机器人演示、不做合成增强的训练提高了下游策略成功率。论文还报告了两个真实实体机器人平台上的结果，方向一致：在相同梯度步数预算下，经过人类视频衍生合成语料中期训练的模型，优于只用真实演示训练的模型。

这些结果需要谨慎解读。LIBERO 是仿真基准，从仿真到现实的迁移差距因任务和机器人平台而有很大差异。真实机器人评测由达摩院自行报告，没有独立第三方复现，实体平台也只作了笼统描述，没有给出商用型号。合成中期训练带来的基准提升，是论文实验证据最直接支持的结论。更宽泛的推论，即大规模无标注的互联网人类视频能线性转化为跨多样现实任务的操作策略能力，仍有待系统性的对比评测来证明。

RynnLAM 潜在描述符已知的结构性局限，限制了它目前的适用范围。这个 608 维向量捕捉的是两个特定帧之间的相对运动，不编码度量尺度或绝对位姿。它没有连续的轨迹表征：轨迹预测需要随着机器人移动反复重新查询编码器，在对时间敏感的应用中可能带来延迟。把 RynnLAM 描述符转化为实际的机器人关节指令，仍需要用机器人原生数据单独做第二阶段的后训练，而且每个平台都需要微调来弥合最后的具身差距。这套系统降低的是所需真实演示的比例，并没有消除这一需求。

RynnWorld-Latent 在物理 AI 版图中的位置

据 Dealroom 数据，更广泛的具身世界模型领域在 2026 年上半年吸引了超过 23 亿美元投向世界模型开发商，其中英伟达的 Cosmos 系列和谷歌 DeepMind 的 Genie 3 是该领域资源最雄厚的主要世界模型项目。另外，Physical Intelligence 等公司通过策略模型路线发展物理 AI：Physical Intelligence 于 2025 年 4 月发布的 π₀.5 是视觉-语言-动作策略模型，而不是世界模型，定位在机器人学习流水线的另一个环节。在专门做跨具身世界建模的学术系统中，OSCAR（全具身动作条件世界模型）和 XEWorld 是架构上最接近的对照，两者都试图在不要求统一原生动作空间的前提下，学习跨机器人平台的共享世界模型表征。

RynnWorld-Latent 与这些系统的区别归结于它的条件接口。文本条件的世界模型把机器人动作描述成语言指令，避开了动作空间对齐问题，却失去了表达精确运动轨迹的能力。实践中，文本条件模型能胜任粗粒度的操作任务（把杯子移到右边），但难以捕捉插销钉、叠布料等接触密集型操作所需的精细灵巧动态。原生指令条件的世界模型保留了运动的精确性，却被锁定在特定硬件平台上，也无法使用无标注的人类视频。RynnWorld-Latent 学到的潜在动作接口居于中间：像文本提示一样与具身无关，像机器人指令一样运动精确，而且是自监督的，无需标注。在同等规模下，这种中间位置能否比文本条件的通用系统带来实际的策略提升，仍是一个开放的研究问题：论文的基线是内部消融实验，而不是与 OSCAR 或 XEWorld 的正面对比。

在 Rynn 家族内部，这次发布延续了 2026 年以来的一条方法演进路线。RynnBrain 于 2026 年 2 月推出，是一个多模型具身基础系统，包含一个 300 亿参数的混合专家主干。随后的 RynnWorld-4D 引入了 RGB、深度和光流帧的 4D 联合生成。RynnWorld-Teleop 增加了一个实时数字遥操作世界模型，在单张 H100 上以每秒 40 帧运行。10 月 23 日发布的 RynnUnify 带来一个 160 亿参数的统一模型，结合了一个 80 亿参数的推理器和一个 80 亿参数的视频生成器。RynnVLA-Latent 是比 RynnWorld-Latent 早两天发布的姊妹论文，报告为一个视觉-语言-动作策略模型处理了 30,100 小时训练数据中的 7.4552 亿个潜在动作描述符。Rynn 家族似乎正在汇聚到一个共同的潜在动作表征层，作为策略模型和世界模型共用的基础设施，这更像一种架构标准，而不是一条产品线。

RynnLAM 作为可移植的基础设施：开源的意义

RynnWorld-Latent 以 Apache 2.0 发布，代码托管在 GitHub 的 alibaba-damo-academy/RynnWorld-Latent，权重可在 HuggingFace 和 ModelScope 上获取，延续了达摩院全面开源 Rynn 家族组件的做法。

Apache 2.0 发布的实际意义，不止于常规的预训练权重开放。由于 RynnLAM 编码器在世界模型训练期间是冻结的，并产出可移植的 608 维描述符，阿里以外的研究者可以在自己持有的任何视频数据集上预先计算 RynnLAM 描述符，无论是生产车间视频、实验室操作录像还是医疗手术视频，再用这些描述符为自己的 Cosmos3-Edge 微调提供条件，而无需重新采集机器人演示，也无需从零重新实现编码架构。冻结的编码器成了可以跨研究团队、跨具身类型、跨下游任务领域复用的基础设施。两天前的 RynnVLA-Latent 论文已经印证了这种可移植性：它把同一个冻结的 RynnLAM 编码器用于一类完全不同的下游模型，表明潜在动作接口在 Rynn 体系内可以跨模型架构泛化。

RynnWorld-Latent 下一个有意义的评测里程碑，是在 LIBERO-Plus 上的独立基准复现，以及更关键的：在相同的真实机器人平台、同等真实演示预算下，与 OSCAR 和 XEWorld 的正面对比。这项实验将决定，基于 5.53 亿帧异构人类视频的潜在动作预训练，是否真能缩小与依赖专有大规模机器人演示采集的方法之间的策略成功率差距。而这个问题，将决定下一代商用人形机器人软件栈默认采用哪种预训练策略。