蚂蚁集团发布 Duo v1:面向实时音视频对话的全双工世界模型
InclusionAI 开源四个模型检查点,涵盖意图推断和因果扩散生成,单台八卡服务器即可运行

蚂蚁集团支持的开源 AI 研究实验室 InclusionAI 于 2026 年 11 月 13 日发布了 Duo v1。这是一个全双工世界模型,在感知用户实时视频和语音的同时,生成一个作出回应的音视频角色。与基于流水线的数字人系统不同,Duo v1 同时处理听和说,任何一方都可以在对方说到一半时打断,而不会中断交互。
此次发布包括一篇 11 月 11 日提交的arXiv 技术论文,以及发布在HuggingFace上的四个模型检查点:1.0 版本的因果基础模型和蒸馏版、蒸馏模型的量化版,以及 1.2 版本的因果基础检查点。四个都采用 MiniMax H3 社区许可证发布,允许非商业使用;商业部署需要 MiniMax 的书面授权,因为实现模块正是用 MiniMax 的权重初始化的。
一种新的交互范式
论文提出了互惠世界模型(RWM)框架,把一场实时对话看作一条由用户和 AI 角色同时感知、同时行动的共享时间线。在每个 708 毫秒的窗口内(以每秒 24 帧计,对应 17 个视频帧),模型决定是说话还是等待,然后在窗口结束前生成相应的音频和视频。
Duo v1 把工作分给两个模块。意图模块是一个经过微调的多模态语言模型,读取输入的视频和语音识别文本,输出一个附带文本的 <speak> 动作,或者一个 <wait> 动作,它的隐藏状态会传给下游。实现模块是一个用 MiniMax 权重初始化、用流匹配训练的因果音视频扩散 Transformer;它接收意图模块的隐藏状态,为当前片段生成视频和立体声音频的联合潜变量。
两个模块在一台八卡服务器上并行运行。意图模块在 0 到 3 号 GPU 上做四路张量并行。实现模块的扩散 Transformer 用张量并行或序列并行跑满全部八块 GPU,同时由一个流式变分自编码器(VAE)在 4 到 7 号 GPU 上处理空间分块。
架构与延迟
Duo v1 用一对学习得到的编解码器来表示用户的音视频流。音频方面,一个 VAE 每秒为每个立体声声道生成 40 个潜向量,每个 32 维。视频方面,每 17 帧编码成 5 个潜帧,每个 24 维,空间上缩小 16×16;再经过一步 2×2 合并,得到输入 Transformer 的 96 维表示。
在 768×576 视频上测得,每个 708 毫秒片段的端到端延迟构成如下:意图模块推理 90 到 160 毫秒,联合潜变量生成 200 到 450 毫秒,流式 VAE 解码一组四帧约 30 毫秒,其他开销约 40 毫秒。每个片段合计约 330 到 650 毫秒,在 708 毫秒的窗口之内。
论文描述了三个训练阶段。第一阶段用标注好的对话数据微调意图模块,采用感知动作的再平衡和扰动历史来处理打断。第二阶段在冻结意图模块的情况下,以录制的媒体为条件训练实现模块。第三阶段称为双重推演蒸馏,利用两个模块的实时推演,把 50 步扩散过程压缩到 4 步,缩小训练分布与实时推理条件之间的差距,并大幅缩短每个片段的生成时间。
评测
团队用 30 个实时全双工案例评测 Duo v1,检查了 180 项二元标准。总体通过率为 93.3%(180 项中通过 168 项)。六类标准中,语言遵循、语音清晰度和视觉身份稳定性都达到 100%。音视频情绪一致性为 96.7%,口型同步为 90%。内容响应度,也就是模型回应用户实际所说内容的能力,是最弱的一项,为 73.3%,作者把这一差距列为首要改进方向。
团队指出,所有基准数字均为自行报告,而且 30 个案例的评测样本较小。目前还没有第三方复现发布。
与已有工作的比较
Kyutai 的 Moshi 于 2024 年 9 月发布,证明了全双工运行在纯语音模型中可以实现,实际延迟约 200 毫秒。Duo v1 把这个概念扩展到同步的视频输出,同时生成面孔和声音,把交互变成实时的音视频对话,而不只是音频。
论文还把 Duo v1 与 HeyGen、Synthesia 和 D-ID 等基于流水线的数字人系统区分开来,后者把独立的语音模型和视频模型按顺序串起来。这种顺序流水线会在用户说完一轮与角色开始回应之间引入延迟,也无法做到真正的同时重叠。Duo v1 基于片段的时间线消除了这一间隙:模型可以在用户说完之前就开始生成回应。
InclusionAI 把 Duo v1 定位为第一步,当前版本把用户输入处理为视频加语音识别文本。计划中的第 2 版将直接以原始音视频流为条件生成回应,去掉中间的转写步骤。第 2 版尚未公布发布日期。
获取方式
四个 v1.0 和 v1.2 检查点可在 HuggingFace 获取,技术论文见 arXiv:2611.15131。项目页面已上线,地址为 duo-v1.github.io,GitHub 仓库中有推理和部署说明。



