Block 发布 Dessa：只用人类语音、不用文本训练的全双工语音模型

旗下拥有 Square 和 Cash App 的支付与金融服务公司 Block，于 10 月 23 日发布了语音基础模型 Dessa。其 AI 研究实验室称，该模型完全基于录制的人类对话从零训练，整个流程中没有任何文本数据。训练和推理的任何阶段都没有转写步骤，底层也没有预训练语言模型，音频从不被转换成文字。模型输入音频、输出音频，Block 说它知道的一切都是以声音的形式学到的。

这个说法很直白，技术含义却很重大。如今几乎所有大规模部署的语音 AI 产品，从 OpenAI 的实时语音体验、Google 的 Gemini Live 到企业呼叫中心系统，都把音频交给一个文本语言模型作为推理层。语音识别把你说的话转成 token，语言模型生成文本回复，再由语音合成读出来。Dessa 是 Block 提出的论点：这种三段式流程在架构上并非必需，而且它在对话信息上造成的损失，比业界承认的更大。

Block 的项目页直接写道：「据我们所知，Dessa 是世界上第一个只用人类语音训练、却能与你进行逼真实时对话的 AI。」这个保留措辞是刻意的，也是恰当的。该公司并没有声称此前没有研究涉足这一领域，而是声称此前没有一个已部署的、语音质量逼真的对话模型是这样训练出来的。这一区别对后文很重要。

没有文本层的语音 AI

Dessa 架构的决定性特征是全双工运行，值得具体说明这意味着什么。半双工语音系统，包括大多数语音助手和基于大语言模型的产品，都是围绕轮次检测构建的。系统一直听，直到判断你说完了，然后停止接收音频、生成回复并播放。你说，它说，你再说，整个流程按顺序运行。

全双工则意味着双方同时处理。全双工模型在说话时也继续听，就像通电话的两个人可以互相重叠、打断、同时笑出来，或者话说一半就停下，而对方不会一直卡住直到检测到静音。Block 说 Dessa 就是这样运行的：边听边说。

这一点重要有两个原因。第一是自然度。轮次检测会带来延迟和行为上的瑕疵：系统回应前的停顿，你犹豫时它有时会抢话，以及没有重叠的话语，让每一次与语音助手的交互都像按规程进行的无线电通话。全双工从设计上消除了这些瑕疵。

第二是信息。文本会剥离人类语音所携带的大量内容。语调、节奏、犹豫、气泡音、笑声、紧张时声音微微变细，这些都无法在转写成文字后保留。一个从不把语音转成文本的模型，原则上可以从数百万个出现在自然对话中的例子里，学到这些信号的含义。Block 说 Dessa 能听出也能说出情绪、讽刺、笑声、沮丧的叹气，以及因悲伤而哽咽的声音。模型对这些行为没有任何手写规则，都是从训练数据中学到的。

Block 特别强调的两种对话行为是打断和反馈应答。在恰当的时机打断，即知道对方什么时候乐于被打断、什么时候插话会显得无礼，是在对话中耳濡目染形成的能力。反馈应答是一系列简短的回应（「嗯」「明白」「嗯哼」「哦」），表示在认真听，而不抢话语权。在自然话语中，它们无处不在，而且时机拿捏得很准。文本流程会把它们全部剥掉；它们从不出现在转写稿里，因为在文本意义上它们不携带信息。在原始音频上训练的模型会成千上万次地遇到它们，并学会什么时候合适。Block 说 Dessa 的这两项能力都是从数据中学到的，而不是靠规则注入的。

Block 的演示片段里，Dessa 会在句子中间因为觉得好笑而笑出来，被要求时也会提高音量。该公司表示，录制这些片段时没有人引导模型。把这些片段视为厂商精选的素材是合理的，它们不是独立评测。它们能证明的是，目标行为至少在受控条件下可以实现。

用一个 GB200 机柜训练，在笔记本上运行

Dessa 发布时附带的两个基础设施细节引人注目，值得审视。据多家二手报道，包括 AI Chat Daily 和 PANews（它们称这一细节来自 Block 的项目页），训练 Dessa 只需要一套 NVIDIA GB200 NVL72 系统。Dessa 可在搭载 M4 Max 芯片的 MacBook Pro 上以快于实时的速度推理。

GB200 NVL72 是一个机柜级系统，在单个 NVLink 域内把 72 块 Blackwell B200 GPU 与 36 颗 Grace Arm CPU 组合在一起。它不是一个数据中心集群。作为参照，2024 年和 2025 年大语言模型的训练通常要动用数千块 GPU，耗时数周甚至数月。用一个机柜训练出前沿级能力，将是不寻常的效率成果，但并非不可能：基于音频 token 训练的语音模型，与在上百万亿 token 语料上优化的文本大模型处于不同的区间。

Block 没有公布 Dessa 的参数量，因此无法判断用 GB200 NVL72 训练这一说法是平平无奇还是非同寻常。可以说的是，如果这一说法成立，它指向的是一个训练规模在无力维持数千 GPU 集群的机构也能承受的模型。这会改变语音 AI 研究的经济账。

推理方面同样意义重大。Apple 的 M4 Max 芯片提供最高 128 GB 统一内存和约 410 GB/s 的内存带宽。在这种硬件上以快于实时的速度运行对话模型，意味着延迟不会成为本地部署的限制因素。Block 的项目负责人 Ragavan Thurairatnam 在一篇帖子中表示，Dessa 也能在消费级 GPU 上运行，但 Block 没有公布这种配置的硬件要求，这一说法也未经独立证实。

Block 说该模型学习语言所用的词量比大语言模型少数百倍。这一说法没有给出分母。大语言模型的训练语料视机构不同，可能在 1 万亿到 15 万亿 token 之间。「少数百倍」可能意味着 500 亿，也可能是 50 亿，这是两种不同的工程情形。没有分母，这个效率比较就无法评估。Block 可能是想精确说明对话数据密度与文本语料体量的差别，但没有具体数字，这笔账就核对不了。

Dessa 与 Moshi 以及其他所有已投产语音 AI 的区别

与 Dessa 最直接的技术比较对象是Kyutai Moshi，这是这家法国 AI 实验室于 2024 年 7 月发布的全双工口语对话模型。Moshi 是重要的背景，因为它早于 Dessa 展示了全双工对话 AI，并以宽松许可公开了权重。弄清 Dessa 自称与 Moshi 有何不同，就能明白 Block 实际在主张什么。

Moshi 建立在一个名为 Helium 的预训练文本语言模型之上。Kyutai 用 Helium 的权重初始化 Moshi，然后引入音频编解码器 Mimi，把原始语音转换成语言模型可以处理的离散 token，让模型适配音频。结果是全双工的：Moshi 能边听边说、处理反馈应答，也能打断；但它底层的语言知识来自文本预训练。

Dessa 自称的区别在于文本完全没有出现。模型不是从文本大语言模型初始化的，训练语料中也没有任何转写稿。Block 说 Dessa 知道的每一个事实都是以声音的形式获得的。这正是它与 Moshi 以及其他所有已投产语音 AI 在架构上的具体分野。

OpenAI 的实时语音体验和 Google 的 Gemini Live 在设计上都以文本为中介。推理层是文本语言模型，语音识别和语音合成只是外层包装。这种架构受益于全部文本预训练语料，包括事实知识、推理链、世界历史和科学文献，但它把语音当作派生信号来处理。OpenAI 的语音模式是半双工的，尽管比传统系统响应更快；Gemini Live 也有类似的结构特点。

NVIDIA 的 VoiceChat-11B在语音 AI 领域的报道中被提及，它需要 80 GB 显存的 GPU 才能推理，因此只能用于专业或企业级硬件。Sesame 展示过情感自然度很高的对话语音 AI，但其架构细节仍未公开。两者都不是 Dessa 所称的零文本训练路线。

Dessa 代表的竞争格局变化，主要不在延迟或自然度，尽管两者都很重要，而在依赖关系。以文本大语言模型为推理层的产品，会继承该模型的定价、速率限制、更新节奏和数据政策。一个能在笔记本上运行的原生语音模型，可以让开发者发布语音功能，而不必支付按分钟计费的云服务账单，也不受第三方模型变动的影响。Block 没有说明 Dessa 是否或何时会向外部开发者开放；这仍是一种可能性，而不是路线图上的事项。

还有一个关于信号质量的论点值得说清楚。当语音 AI 让音频经过语音识别和语音合成时，就多出了两个出错环节。语音识别系统会听错词，尤其是专有名词、技术术语和带口音的话语。语音合成系统给输出加上了一层合成感的质量下限，随韵律而变化，但在长时间收听下很少能与真人语音无法区分。全双工的原生音频模型彻底去掉了这两个出错环节：它的输出从不经过一个先丢弃信息、再部分重建的文本瓶颈。这种架构优势能否在实践中兑现，取决于模型本身的音频生成质量是否足够，这正是独立评测需要确定的。

延伸阅读：Grok Voice 3.0 登顶语音对语音指数，API 仍每分钟 0.08 美元

Block 提出的研究问题

Block 把 Dessa 的发布定位为一项研究贡献，而不是产品发布，这种定位在学术上是诚实的。该公司提出了一个确实存在争议的实证问题：一个模型仅凭音频能获得多少关于世界的事实知识，这与文本预训练模型从书面语料中学到的相比如何？

这个问题有其历史。Meta AI 研究院在 2021 年发表了生成式口语建模（GSLM）的奠基性工作，证明在没有文本监督的情况下，用原始音频中的离散语音单元训练的模型可以学到语言结构。2021 年的结果显示，词级模式、句法依存和部分语义关系能够从音频训练中涌现，但事实回忆和开放域问答明显弱于有文本监督的同类模型。这一差距在架构上说得通：书面文本集中信息的方式与口语对话不同，后者充满了改口、含糊其辞和社交性话语，每个词承载的明确事实内容更少。在那篇论文之后的五年里，随着音频 tokenization 的改进、音频语料的扩大和架构的进步，这一差距是否缩小，正是 Block 现在有条件去衡量的。

Block 在项目页上提出了三个研究问题：与文本模型相比，语音训练的模型学习语言和事实的效率如何；它们学习新语言的效率如何；以及它们能从音频上下文中做到哪些上下文学习。这些不是反问句，而是支撑一个没有公布任何基准的模型的实证研究计划；按 Block 自己的说法，这个模型的能力本身就是一个开放问题。

首批开放访问的 AI 安全研究人员，在一定程度上就是产生这些证据的机制。Block 在自己还没有刻画 Dessa 性能之前，就邀请外部审视。无论这是出于真正的认知谦逊、战略上的谨慎，还是两者兼有，这都是一种不寻常的发布方式，使 Dessa 区别于那些以公司精选基准表格为基础的典型模型发布。

Block 尚未公布的内容

Dessa 发布时，有相当长一串规格没有披露。没有公布参数量，没有数据集规模，没有端到端音频响应的延迟数据，也没有在任何标准评测上的正式基准结果：没有词错误率，没有自动语音识别的对比，没有对话连贯性指标，也没有基于既定数据集的事实准确性评测。AI Chat Daily 在报道中确认，这些数字都没有发布。

因此，此次公告关键说法的核实状态是参差不齐的。Dessa 是全双工、音频进音频出，这是 Block 的说法，也与所有二手报道一致；这是 Block 选择的架构定位，抽象地看没有理由怀疑。模型在没有文本、没有预训练模型的情况下训练，这是一个很强的说法，从公司外部在结构上无法核实。训练过程无法由独立方审计，无文本语音训练的架构也无法从已部署模型的输出中被唯一识别出来。

训练硬件的说法（单套 GB200 NVL72）出现在二手报道中，并被归于 Block 的项目页。训练成本或算力没有独立核实。推理的说法（在 MacBook Pro M4 Max 上快于实时）是硬件说法中最容易检验的，首批访问的研究人员运行模型时应该就能核实。

Block 关于「比大语言模型少数百倍的词」的表述，出自Block 的项目页，这是一个没有分母的比较。这种效率说法也许是准确的，但没有具体数字，读者无法判断它究竟是有意义的区别，还是营销话术。

截至 10 月 24 日，唯一可得的独立评价来自 The Verge 的 Jay Peters，他形容与 Dessa 的早期对话「有点尴尬，也有点诡异」，并把这个模型比作「一个尴尬的新朋友」。这一评价是经由 Digg 的报道二手转述的，而不是来自 Peters 本人的文章。它是唯一非 Block 方面对模型行为的描述，应当给予恰当的分量：不如独立基准，但总比没有好。

先给安全研究人员，之后再全面开放

Block 决定在更大范围发布之前，只向一小批 AI 安全研究人员开放 Dessa，这是对模型能力的直接回应。该公司自己的项目页写明，希望研究人员去发现其团队没有预料到的风险。AI Chat Daily 报道，申请者必须提供姓名，以及来自大学、公司或实验室的机构邮箱才能获得资格。目前没有一个有现实近期时间表的公开候补名单，当前阶段是研究预览。

安全上的考量基于一个具体的能力担忧。一个能听出情绪语调并作出回应的语音模型，能在恰当的时刻笑、在对方听起来痛苦时放软语气、根据情境调节音量，它的操纵潜力与文本聊天机器人不同。基于文本的 AI 操纵已有越来越多的记录；在对话级音质下、实时运行的同类能力，会抬高借助 AI 语音进行社会工程攻击所能达到的上限。

现有的威胁形势与此相关。自动化语音诈骗，即冒充家人、银行代表或政府机构的电话，已经是一个成形的犯罪类别。全双工、情感流畅、可本地运行的语音 AI 带来的变化，在于响应能力和真实感，这是目前的录音或低延迟合成音频做不到的。Block 并不是第一个朝这个方向研发的公司，但它似乎是第一个在没有文本主干的情况下构建、并用这些具体措辞阐述安全风险的公司。

获得访问权限的研究人员可能会测试：Dessa 能否被引导进入欺骗性的亲密互动，它如何处理涉及痛苦或危机的对话，它在会话之间保留了哪些对话信息，以及它的音频生成能否被提取并改作冒充之用。报名要求（来自大学、公司或实验室的机构邮箱）提供了一层轻度的问责，但对于任何想探测模型失效方式、又持有机构身份的人并没有约束力。Block 没有随公告发布安全评估或红队测试报告，这意味着安全优先的定位目前是一种意图，而不是有记录的结果。在任何更大范围的发布之前，这份文档应当是早期访问阶段最紧迫的交付物。

如果这些说法成立，一种依赖就会消失

Dessa 公告背后的技术问题是：一个语音模型能否在不借用文本知识的情况下，成为完整的对话 AI。Block 的回答被构建为一项研究计划而不是产品宣称；早期访问群体，以及明确把事实依据列为开放问题的表述，都表明 Block 自己也还不知道完整答案。

如果独立研究人员证实，Dessa 仅凭纯音频训练就能流畅对话，并准确地给出有依据的事实陈述，其影响将超出语音 AI。这将意味着目前几乎支撑所有已部署对话 AI 系统的文本大语言模型栈，并不是强大语音 AI 的必要组成部分，而只是一个方便的选择。把语音层嫁接到语言模型上的整套设计模式，将面临一个有实证支持的替代方案。

如果模型的事实准确性在精选演示条件之外表现较弱，这一发布在科学上仍然有意思，是 Meta FAIR 自 2021 年开始的长期研究计划中的一个数据点，但它的产品意义会收窄。研究人员首先需要评估的，是纯音频训练与文本初始化模型在事实检索上的基准差距，而不只是对话的自然度。Block 提出了这个问题，早期访问群体有条件来回答它。