腾讯 Hy-Nomas 单张 RTX 4090 即可用文字和镜头操控 60 秒视频世界

腾讯混元团队于 10 月 21 日发布了 Hy-Nomas。这是一个交互式视频世界模型，按社区根据检查点大小的估算约有 80 亿参数。它一次生成并延展一小段场景，同时用户可以持续用自由文本指令、相机轨迹或两者结合来操控它。权重、推理代码、训练流水线和一个包含 280 个用例的基准全部以 Apache 2.0 发布，借助 INT8 量化和 CPU 卸载，模型可以在单张 GeForce RTX 4090 上运行。第二天就出现了社区制作的 ComfyUI 移植版。部署上的亮点固然值得关注，但更重要的细节藏在随模型一起发布的机器人 LoRA 里：腾讯用双臂人形机器人操作数据训练了它，表明 Hy-Nomas 正被打造成物理 AI 的合成训练环境，而不只是一个视频生成工具。

同一个世界，一段一段地生成

Hy-Nomas 的核心设计选择，正是让它成为交互式世界模型、而非普通文生视频系统的关键。传统的生成器根据一条提示生成一段固定视频，然后就停下。Hy-Nomas 先生成一小段（几秒钟的压缩视频潜变量），再把这一段的注意力键和值追加到一个永久的、不断增长的 KV 缓存中。下一轮，用户发出新指令（改变场景、平移镜头、添加物体），模型在关注此前生成的全部内容的同时，生成接下来的一段。用户操控的是一个正在展开的世界，而不是索要一段成片。

这种方法称为分段自回归生成：在段与段之间自回归，而不是逐帧自回归。好处是得到一个持久、可操控的世界，无需单独的检索系统就能积累历史，模型生成过的一切都留在它的注意力上下文里。代价是随着会话变长，KV 缓存和系统内存会无上限地增长。腾讯的模型卡对此说得很明确：CPU 卸载路径需要系统内存来容纳不断增长的历史档案，CPU 到 GPU 的传输还会增加延迟。即便量化让 GPU 显存保持在可控范围内，长会话也会很耗内存。

架构内部：双流结构、语言编码器与显式的相机数学

Hy-Nomas 将一个 54 个模块的双流 MMDiT 主干与 Qwen2.5-VL-7B-Instruct 文本编码器配对，后者是一个视觉语言模型，而不是传统的文本编码器，详见腾讯的 Hy-Nomas 模型卡。双流设计（源自 Stable Diffusion 3 和 Flux）在前几层为视觉 token 和文本 token 分别运行独立的 Transformer 流，再通过交叉注意力把两者结合。隐藏层维度为 2048，注意力头 16 个。

相机控制并不是从文字描述中推断的。Hy-Nomas 接受显式的相机到世界变换矩阵作为单独的条件信号：形状为 [N, 4, 4] 的几何外参和形状为 [N, 3, 3] 的内参。这些矩阵经过归一化，按每四个视频帧分组，展平为每组 64 维的向量，再通过交叉注意力送入每一个双流模块。这种分离很重要：文本提示描述场景里有什么，相机轨迹描述虚拟镜头指向哪里。两者可以组合而互不冲突，流水线可以独立于场景描述，提供精确的运镜路径。

视频在进入扩散过程之前先经过 DCAE-V 编码：32 个通道，每个空间维度 32 倍压缩，时间维度 4 倍压缩。蒸馏模型每段使用 8 步去噪，足以生成 720×1280、每秒 24 帧的播放内容。腾讯还采用了一种重要的注意力设计，模型卡称之为动作感知因果注意力：描述性上下文（场景是什么样子）在所有过往段中都可访问，而动作指令（新的镜头运动、新的物体）只作用于其对应的时间窗口。早先的指令不会作为持续的噪声累积到后面的段中。

腾讯到底发布了什么

这次发布异常完整。Hugging Face 仓库中包括：供社区微调的基础检查点、蒸馏后的生产模型、用于单 GPU 路径的 INT8 版本、在电影级素材上训练的电影风格 LoRA，以及在 RealSource-World 双臂操作数据集上训练的机器人 LoRA。该数据集包含 35 项任务、11,428 个回合，约 525 GB 的真实机器人演示。微调流水线涵盖监督微调数据准备、面向长推演的离线序列打包、训练以及 LoRA 合并。预构建的 Docker 镜像打包了 PyTorch、FlashAttention 和 MagiAttention，一次拉取即可完成环境搭建。交互式演示站点 hy-nomas.hy.tencent.com 支持 WASD 键盘导航和鼠标拖动控制镜头。一个名为 Nomas-PE 的提示增强服务会把简短指令改写为结构化的生成提示，供演示使用；离线推理可以加载预先准备的提示文件，完全跳过这一服务。

一位制作 ComfyUI 移植版的社区开发者实测，在 RTX 5090 上每生成三秒视频片段约需 21 秒。按这个速度，生成一个 60 秒的世界大约需要 420 秒计算，在消费级硬件上更像是工作站可以承担的后台任务，而不是实时体验。

通过 Apache 2.0 权重在本地运行模型的研究者和开发者，数据不会经过腾讯的服务器；在线演示 hy-nomas.hy.tencent.com 与离线推理是分开运行的。

Hy-Nomas 与 Genie 3 相比如何

谷歌 DeepMind 的 Genie 3 于 2025 年 8 月以研究预览形式发布，2026 年 1 月向 Google AI Ultra 订阅用户开放，输出规格相同（720p、每秒 24 帧），是功能上最接近的同类。对比凸显出一种结构性的不对称：Genie 3 的权重是封闭的，只能通过 Google Labs 使用，不提供微调，也无法本地运行。Hy-Nomas 以 Apache 2.0 发布权重，附带微调方案，并能在开发者买得到的硬件上运行。

然而在空间记忆上，技术差距方向相反。腾讯即将发布的技术报告描述了一个空间记忆基准项目，测试视角变化后再回到原场景时，生成的物体是否仍正确存在，并明确指出这是 Hy-Nomas 落后于 Genie 3 的领域。由于配套论文在发布时还标注为即将推出，截至发稿，报告中的具体分数尚未得到核实。长会话中的物体恒存性，是 Genie 3 在训练中自发涌现、并被 DeepMind 专门强调的能力；Hy-Nomas 基于 KV 缓存的记忆方式能保持外观，但在回到原视角时的一致性还比不上 Genie 3。

在可控性上，Hy-Nomas 和 Genie 3 属于不同的范式。Genie 3 支持可通过提示触发的世界事件，用户通过文本和实时控制进行交互。Hy-Nomas 把显式的相机外参作为一等输入，适合提供精确镜头路径、而非大致文字描述的电影制作流水线。昆仑万维 Skywork 的 Matrix-Game 3.0 是一个 18 亿参数的流式世界模型，直接把键盘和鼠标信号用作动作输入，适合游戏手柄式的交互，但不适合 Hy-Nomas 所针对的、以文字或相机路径描述的场景。英伟达的 SANA-WM 使用六自由度相机位姿，参数量 26 亿，采用另一种混合注意力架构；它每块生成 24 帧，而不是 Hy-Nomas 那样的可变长度分段。

机器人训练信号

机器人 LoRA 是大多数报道低估的细节。RealSource-World 数据集涵盖双臂人形机器人的操作，包括整理、抓取和装配任务，并附有完整的传感器标注；这个 LoRA 适配器可以直接合并到用于世界生成的同一个蒸馏检查点中，见腾讯的 Hy-Nomas 模型页面。这让 Hy-Nomas 不只是一个视觉生成系统：在操作数据上微调过的世界模型，可以生成合理的机械臂与物体交互序列，这些序列又可以作为合成训练数据，让机器人策略从生成的视频而不是昂贵的实体演示中学习。

腾讯混元团队一直在开发面向机器人的视觉-语言-动作模型系列 Hy-Embodied，并在专门招聘世界模型与具身智能融合方向的研究人员。Hy-Nomas 的机器人 LoRA 正是连接世界模型与这套机器人技术栈的数据管线：一个能扩大训练规模、却不必增加实体机器人时间的合成环境生成器。

这次发布没有解决的问题

腾讯即将发布的技术报告中的基准分数，是腾讯混元团队使用 Hy-Nomas-Bench 自行报告的，这是腾讯同时发布的一个包含 280 个用例的评测数据集。截至发稿，没有独立第三方复现报告中的性能数据。基准方法是可审计的，测试用例和参考相机轨迹都已公开托管，但社区评测还需要数周时间。另一个基准 WorldRoamBench（arxiv:2606.31672）评测了 12 个交互式世界模型，为这一代系统提供了独立的参照；它对早期开源模型的发现，值得与腾讯自报的结果对照参考。

缺失的输入模态是图像到世界：每个 Hy-Nomas 会话都从文本开始，用户无法提供关键帧、产品图或真实照片作为世界的起点。蒸馏模型 196 GB 的权重也抬高了实际的下载门槛，即便对拥有合适 GPU 硬件的团队也是如此。而且由于机器人 LoRA 是在 CC BY-NC-SA 许可证的数据上训练的，把这个适配器用于衍生机器人应用的商业可用性，需要进行法律审查。

Hy-Nomas 下个月走向何方，将主要取决于社区在基础检查点上进行的 LoRA 实验，而不是蒸馏模型本身的基础能力。开放权重有一种封闭系统无法获得的复利式发展轨迹。Genie 3 在空间记忆上的领先是真实的，也得到了承认；而 Hy-Nomas 的开放权重架构意味着，这一领先如今是一个追赶目标，而不是天花板。