Meta Muse Voice Transcribe 登顶流式语音基准，但它的 API 仍把模型拆成两半

Meta 超级智能实验室于 9 月 1 日发布 Muse Voice Transcribe —— 这是它的第一个音频模型，也是 Meta Model API 上的第一款语音转文字产品。几小时内，独立评测机构 Artificial Analysis 就把它排到了流式语音转文字排行榜首位：词错率 3.1%，且在说话人停止说话后 0.16 秒给出结果。Meta 给这个托管模型定的价是每 1000 音频分钟 3 美元，即每小时 0.18 美元，说话人分离（diarization）和话末检测（end-of-speech detection）是打包附带的，而不是另行加价的附加项。

这次发布背后的技术主张，比排行榜名次更有意思。Meta 称，单个自回归模型以一条连续的 token 流同时完成转写、20 人以上的说话人归属，以及话轮边界检测 —— 这样的设计能让语音产品甩掉今天多数产品还在跑的三服务流水线。但模型公开后第一周的独立审视，暴露出这套架构与开发者实际能调用的产品之间存在落差：在当前的 API 里，说话人分离和话末检测是分开的会话模式，因此一条连接还无法同时返回说话人标签和话轮结束信号。统一在训练阶段是真的。在服务阶段，它还只是路线图。

这个区别之所以重要，是因为 Meta 说这个模型要去的方向。发布材料是一段八人对话、由模型现场转写的形式，它把「可靠的多说话人聆听」定位为个人 AI 智能体的前提 —— 那种通过 Meta 摄像眼镜跟随真实对话、而不是等待语音指令的智能体。而这份野心落地之时，德国监管机构正在积极评估这类眼镜是否让旁人得到了「自己正在被录制」的充分提示。

一套学出来的「读写策略」，把流式 ASR 变成了 token 预测

Muse Voice Transcribe 属于 Muse Spark 系列的自回归多模态模型，也就是说它由一个解码器逐 token 生成输出，而不是跑一个专用语音编码器再喂给独立的文本解码器。Meta 的博客介绍了这套架构如何适配实时音频。输入声音被切成 80 毫秒一块、每秒 12.5 块，每一块被转换成单个「软 token」—— 一个连续向量，与普通文本 token 并排坐在模型的输入序列里。

流式行为来自模型在每一块之后做的一个决定。它要么吐出转写文本的下一个词，要么预测一个特殊的 <|next_audio|> token；服务系统会把这个 token 替换成真正的下一块音频，然后模型继续。当麦克风流结束时，系统插入一个 <|empty_audio|> token，模型把剩下的文本全部吐完。

同声传译领域的研究者把这类机制称为读/写策略：每一步系统决定是再读入更多输入，还是再写出更多输出，而这个决定的质量同时决定了延迟和准确率。早期的流式识别器通常用固定的分块大小或前瞻窗口，把这个取舍提前钉死。Meta 的做法是把「读」这个决定本身变成一项学出来的预测，因此模型在敲定某个词之前听多少音频，可以逐词不同。

Meta 把这个结果称为「自适应延迟」，并称它是用强化学习训练的，用了两个奖励 —— 一个针对词错率、一个针对延迟 —— 而且是相乘、不是相加。相乘这个形式是刻意加的约束：一个策略既不能靠无限等待来买准确率，也不能靠提前猜来买速度，因为任一项奖励崩掉都会把乘积拖向零。Meta 说，实际效果是简单的词很快吐出来，声学上或词汇上有歧义的词则获得更多聆听时间。该公司自己的散点图把这个模型放在了由 Soniox、Cartesia 和 ElevenLabs 系统构成的原有「速度—准确率」帕累托前沿之下；就最终转写文本这项指标而言，Artificial Analysis 的数字与这一说法是一致的。

说话人分离与话末检测，成了额外的词表，而不是额外的模型

一旦转写变成一个 token 生成问题，Meta 的博客解释说，加入其他音频感知任务就意味着加入特殊 token，并训练模型在正确的时刻把它们吐出来。

说话人归属用了两类 token。模型一检测到说话人切换，就预测一个 <|start_of_turn|> token。随后在当前音频块结束时，再预测一个从 <|speaker_A|> 到 <|speaker_Z|> 的标签，标明刚才是谁在说。Meta 指出，同一个说话人的音频可能被切成好几段话轮，但标签在这些段之间保持一致。由此直接带来两个工程后果。标签空间是 26 个标识符，这正是该公司宣传「20+」说话人、而不是任意数量的原因。以及，标签比话轮起始标记来得晚，所以一个需要在话轮一开始就拿到说话人身份的应用，会在「有新的人在说话」和「是 Speaker C」之间看到一小段延迟。

话末检测方面，一个 <|speech_onset|> token 标记某人开始说话，一个 <|speech_endpoint|> token 标记他说完了。语音智能体正是靠这个结束信号来判断该轮到自己回话了。没有它的系统要么另加一个语音活动检测器，要么从静音推断话轮结束 —— 后者会把话说到一半停顿的来电者切掉。Meta 称，这三项任务是与流式识别一起训练的，在基础转写奖励之上再叠加针对说话人分离和话末检测的额外奖励。

传统的说话人分离做法不同。多数生产系统为每个短片段提取一个说话人嵌入，事后再对这些嵌入做聚类 —— 这正是很多会议工具里说话人标签要等录音结束才稳定下来的原因。一家做律所来电接待集成的公司 Layer3Labs 在测试该 API 后写道，它们工作流里反复出现的失败点从来不是原始准确率，而是归属「只在通话结束后才到达」这个事实 —— 这挡住了实时工作流想用说话人身份去做的任何事。

准确率领先是经过独立验证的，但只限英文，而且只领先 0.3 个百分点

这次发布中最经得起推敲的那个数字，恰恰不是 Meta 自己产出的。Artificial Analysis 运营着一个方法论公开的流式语音转文字排行榜，它测得 Muse Voice Transcribe 的最终转写词错率为 3.06%，从检测到语音结束到给出最终文本为 0.163 秒 —— 四舍五入即 Meta 引用的 3.1% 和 0.16 秒。在同一测试中，Cartesia Ink-2 在语义话末配置下得分 3.4%、0.43 秒；ElevenLabs Scribe v2 Realtime 为 3.6%、0.14 秒；阿里的 Qwen3 ASR Flash Realtime 为 3.7%；OpenAI 的 GPT Live Transcribe 与 xAI 的 Grok 流式模型为 3.9%；谷歌的 Gemini 3.5 Transcribe Live 和 AssemblyAI 的 Universal-3.5 Pro Realtime 为 4.0%。

有三条限定圈住了这个结果。第一，这个排行榜是以英文为主的测试。Meta 用 70 多种语言训练了该模型，并推荐其中经过充分验证的 25 种，但产出这份排名的基准并没有测量任何非英文的表现。第二，它相对亚军的优势只有零点三个百分点。第三，排行榜自身的数据显示，单是话末检测策略就能让数字晃动多大：Cartesia 的模型出现了两次 —— 由它自己检测话语边界时是 3.4%、0.43 秒，由外部系统检测时是 4.0%、0.07 秒 —— 两个轴上的摆幅都大于 Meta 的领先幅度。ElevenLabs 仍比 Meta 略快，准确率略低。

说话人分离那个数字属于另一类证据。Meta 报告在 AMI-IHM、AMI-SDM 和 VoxConverse 三个公开基准上的平均说话人分离错误率为 17.5%，而它图表中五个竞品系统为 21.1% 到 28.6%。这些基准是公开的，数字也合理，但这场比较是 Meta 自己跑的；Artificial Analysis 并未独立复现。17.5% 的错误率同时意味着，在困难的多人音频上大约每六分钟就有一分钟被归给了错的人 —— 这也是为什么最扎实的那批发布报道，把说话人分离描述为整个行业里较弱的一栏，而不是一个已解决的问题。

「20+ 说话人」同样是一项声明的能力，而不是一项被演示过的能力。Meta 的现场演示用了八个说话人，它那段一小时的样例录音带了 11 个标签。VentureBeat 对各家厂商文档的梳理发现，Speechmatics 默认支持 50 个说话人、配置后支持 100 个，Amazon Transcribe 在流式模式下能处理 30 个 —— 所以这个数字算高，但不是天花板纪录。说话人容量与归属准确率是两个问题，而 Meta 的基准并没有把对手放在它们各自标称的上限上测。

有一次独立的实测，补上了排行榜给不了的质感。Kingy.ai 在公开音频上做了一次限定 30 分钟的评测，自费购买 API 访问，发现 Muse Voice Transcribe 相对本地运行的 Whisper large-v3-turbo 把英文词错减少了 22.2%。同一次测试还发现，印地语—英语混合书写的转写结果明显不如 Whisper，并得出结论：它的说话人分离与话末检测代理指标，还不足以可靠到用于无人值守的高风险场景。

已上线的 API 把说话人分离与话末检测暴露为两个独立模式

Meta 博客的架构章节描述的是：一个模型在单条序列里产出转写文本、说话人标签和话末 token。而开发者文档描述的东西要窄得多。据 VentureBeat 对 Meta Model API 文档的查阅，说话人分离是与按住说话（push-to-talk）、话末检测并列的一等运行模式，说话人标签是会话内有效的字母而非持久身份，时间戳按话轮而非按词提供。Kingy.ai 的测试得出了同样的结论，措辞更直白：话末检测和说话人分离是分开的会话模式，买家不应假定一条连接会同时返回两者。

这是发布叙事与发布产品之间最大的落差。面向企业的卖点是「压掉流水线」—— 用一次调用取代一个转写器、一个分离器和一个语音活动检测器。对一个听写应用或单说话人语音助手来说，一个模式就够了。但对 Meta 自己主打的那个用例 —— 一个跟随多人对话、并判断何时开口的智能体 —— 应用需要从同一条流里同时拿到说话人标签和话轮结束信号。模型被训练成两者都吐；而第一周文档所描述的 API，要求开发者二选一。

另外几条被写进文档的限制，也框定了今天能造出什么。该 API 默认每租户 8 条并发流，实时会话上限 60 分钟、之后应用必须重连，并且不暴露词级置信度、声音事件检测或情绪标签。Meta 9 月 3 日的开发者文章补充说，该端点同时支持 WebSocket 流式和对预录文件的一次性转写，内置语音活动检测，接受针对人名和领域术语的关键词偏置，并兼容 OpenAI 的软件开发工具包 —— 因此一个已有的转写客户端通常只需换个 base URL 和模型名。

对一个 1.0 版 API 来说，这些都不是罕见的约束；而 SDK 兼容意味着，弄清这些限制对某个具体工作负载有多大影响，代价不过是拿团队自己最难的那批音频测一个下午。但它们正是这个模型应当被当作「一个强力的新转写端点」来评估、而不是当作其研究描述所暗示的「已完工的统一感知层」的原因。

Muse Voice Transcribe 的价格压过了多数对手，但不是全部

Meta 按每 1000 音频分钟 3 美元收费，流式和批量转写同价，只按实际处理的音频计费、向下取整到秒，并以同样价格提供零数据留存处理。按每小时 0.18 美元算，1000 小时处理音频约合 180 美元。

VentureBeat 把各家公开的流式费率归一到每小时价格，发现 Meta 接近但并不在市场最低点。Soniox 的 stt-rt-v5 公开价折合约每小时 0.12 美元，并含最多 15 个说话人的分离。排在 Meta 之上的有：xAI 约 0.20 美元，Speechmatics 0.24 美元，Deepgram Nova-3 约 0.35 美元外加说话人分离 0.12 美元，ElevenLabs Scribe v2 Realtime 按量付费 0.39 美元且不含实时说话人分离，AssemblyAI 0.45 美元外加 0.12 美元的说话人分离（上限 10 人），Gemini 3.5 Transcribe Live 估算混合 token 成本 0.54 美元且无实时说话人分离，Amazon Transcribe 流式约 0.60 美元，OpenAI 的 GPT Live Transcribe 1.02 美元且未把说话人分离列为能力。Cartesia 以按月额度套餐销售 Ink-2，若额度全部用于转写约合每小时 0.54 美元 —— 这与计量费率并不直接可比。

真正的竞争要点比「最便宜」更窄，但也更锋利。Meta 是唯一一家同时做到「稳居独立英文准确率榜首」与「以低于每小时 0.20 美元的价格打包 20 人以上实时说话人分离」的厂商。相对两家转写产品与之最直接竞争的前沿实验室，差距很悬殊：约为谷歌估算成本的三分之一，同时流式准确率更好、还带谷歌实时端点不提供的实时说话人标签；价格则不到 OpenAI 的五分之一。

这与 Meta 在 Muse Spark 系列文本模型上跑的是同一套打法 —— 每次发布都在 Artificial Analysis 智能指数上往上爬、价格却按兵不动 —— 现在这套打法被用到了 Meta 超级智能实验室的第一个非文本模态上。

延伸阅读：Meta 的 Muse Spark 1.3 在 DeepSWE 编程基准上登顶，价格还低于对手

在多人音频真正要紧的那几个轴上，Meta 胜过 Gemini 3.5 Transcribe

这次发布，是在谷歌以 Gemini 3.5 Transcribe 把转写能力并入 Gemini 核心 API 的六天之后到来的；两款产品值得放在一起读，因为它们下的是相反的注。

谷歌的整合把说话人分离、词级时间戳和函数调用放进了同一个 Gemini 模型，并按与 API 其余部分相同的 token 体系计费，其批量模型在 Artificial Analysis 的离线排行榜上以 2.6% 的词错率排第五。但它的批量路径最多只支持三人的说话人归属，一小时的音频上限在启用说话人分离或时间戳后降到 30 分钟，而它的实时路径完全不支持说话人分离。

Meta 的产品把这些优先级倒了过来。它放弃了词级时间戳和按 token 计量的灵活性，离线准确率也没有在榜单顶部被测过，但它在流式测试上领先、支持超过一小时的会话、能实时标注 20 个以上说话人，价格还只是谷歌估算费率的一个零头。对会议智能或联络中心类产品来说 —— 那里的难题是「对话还在进行时就要知道谁说了什么」—— Meta 的取舍更贴题。对一个追求成稿、无口头语的单说话人听写产品来说，谷歌的编辑行为和更紧的离线准确率可能更重要。

延伸阅读：谷歌把语音转文字并入 Gemini API，Transcribe 进入公开预览

在这项具体工作负载上，OpenAI 的位置是三家里最弱的。它的 GPT Live Transcribe 模型在流式排行榜上以 3.9% 落后，未列出说话人分离，价格是 Meta 的五倍以上 —— 这还是在它 7 月下调转写价格之后。专业厂商 ElevenLabs、Cartesia、AssemblyAI、Deepgram 和 Soniox 在各自的单项轴上仍有竞争力，Soniox 尤其在价格上压过 Meta，但没有一家把 Meta 的准确率排名与打包的高容量实时说话人分离结合在一起。

Whisper 值得单独一提，因为它是多数团队本来就在跑的模型。OpenAI 的开源权重 Whisper large-v3-turbo 是一个批量模型；自托管的流式封装通常落在 1 到 5 秒的延迟，而基础模型不提供说话人分离、默认不加标点、也没有话末检测，所以生产栈得把这些部件另行拼装。Kingy.ai 的测试发现，Muse Voice Transcribe 对 Whisper 的说服力主要不在准确率上，尽管它的英文结果确实更好。真正的问题是：这条流水线该作为批处理跑在团队自己的硬件上，还是流过一个托管 API —— 而 Meta 已经把托管这个答案压得足够便宜，对那些「为省钱而不是为把音频留在本地」才自托管的团队来说，颇具诱惑。

闭源权重与仅托管交付，划出了 Meta 开源策略不会跨过的那条线

一位 Meta 发言人向 The New Stack 确认，与该公司 8 月以 Apache 2.0 发布的 Muse Glimmer 智能体模型不同，Muse Voice Transcribe 的权重不会公开。Meta 也没有披露该模型的参数量、训练数据规模或音频数据来源。

Meta 2026 年一系列发布的规律现在很一致：蒸馏出的较小模型开源权重、用来培育开发者生态，前沿文本模型闭源权重、按量计价 —— 现在，第一个专用音频模型也是如此。对买家来说后果很具体。任何不能把原始音频挪出自有基础设施的组织，无论出于监管、合同还是主权原因，都没有通往这个模型的路；而零数据留存处理解决的是存储，不是传输。处在那个位置的团队，将继续用 Whisper 级识别器加开源分离器拼装开源流水线，接受 Meta 这款产品本意要消除的那份延迟与集成成本。

眼镜路线图，撞上了德国关于旁人同意的那场官司

Meta 那段有脚本的发布演示，对目的的表述异常直白。由该模型现场转写的公司员工们主张：AI 要「个人化」，就必须「在 AI 眼镜上、在真实对话里像人一样聆听，而不只是听语音指令」；真实对话是「乱的」，有重叠和打断；这正是流式话末检测和说话人分离要紧的原因。这套说法可以追溯到马克·扎克伯格 8 月那篇关于个人超级智能的文章，而它隐含的工程选择是：这个模型正被建造来在一个房间里对多人的话语做归属，而其中大多数人并不是使用者本人。

而这恰恰是德国正在监管审视中的那项能力。汉堡数据保护专员 Thomas Fuchs 的办公室是 Meta 在该国的主监管机构，他在今年夏天测试了 Ray-Ban Meta 眼镜，认定录制指示灯太容易被旁人忽略，并判定用该设备在公共场所拍摄他人违反德国数据保护法；他的办公室已对个人使用者开出罚单。8 月 12 日，倡导团体 HateAid 提起刑事控告，在法兰克福的打击网络犯罪中央办公室起诉 Meta、Ray-Ban、Oakley 和四家德国零售商，依据电信与数字服务隐私法规请求禁售 —— 德国此前正是用这部法把一款会录音的儿童玩偶逐出了市场。

The Decoder 对这条线索的叙述称德国联邦网络管理局「决定不予追究」禁售，这把事情说得过于板上钉钉了。联邦网络管理局在 8 月中旬对《法兰克福汇报》的表态是：就目前已审查的眼镜而言，它认为禁售条件尚未满足，且没有正式程序在进行中。WeSpeakIoT 随后的一篇报道指出，该机构并未实地检验当前的 Wayfarer 二代机型，也还无法评估该设备的 AI 功能 —— 而按 Meta 自己的旁人隐私文档，那些功能是在拍摄指示灯熄灭的状态下运行的。控告仍在案上，欧洲数据保护委员会也一直在准备一份关于智能眼镜的报告，原预期在夏末前发布。

Meta 尚未宣布把 Muse Voice Transcribe 集成进它的眼镜，该模型今天只出现在 Mac 应用、Muse Code 和开发者 API 中。重点不是这个模型不合法 —— 转写就是转写。重点是：一个明确以「对 20 人及以上持续做话语归属」为设计目标的模型，是某款产品的软件那一半，而这款产品的硬件那一半，正因为「那些人是否知道自己正在被处理」这个问题本身而受到挑战。Meta 选择把模型演示成一个环境聆听者、而不是一台听写机器，等于在路线图存在之前，就把路线图告诉了监管者。

独立评测尚未复现说话人分离与多语言这两项主张

近期的问题都是可测量的。Artificial Analysis 或其他独立评测方还没有复现 Meta 的说话人分离数字，也没有在 20 人同时说话的条件下测过这个模型；那 25 种经过验证的语言没有逐语种的词错率，训练集中另外 45 种就更不用说了。Kingy.ai 的印地语—英语退化只是一个 30 分钟的数据点，但它是目前唯一可得的独立语码转换测量，而且与发布叙事相左。英文流式准确率上的领先幅度小到这种程度：任何一家对手的一次更新，或者 Artificial Analysis 对话末检测配置处理方式的一次调整，都可能把榜首重新洗一遍。

产品层面的问题要由 Meta 来回答。未来的 API 版本会不会在一条流上同时返回说话人分离与话末检测、会不会加上词级时间戳和置信度、会不会抬高 8 条流的默认上限 —— 这些将决定「压掉流水线」这个卖点，能不能变成语音智能体开发者不用再找第二家厂商就能搭在上面的东西。9 月 3 日那篇开发者文章读起来像一份集成指南，而不是路线图，也没有做出任何更新日志上的承诺。

Muse Voice Transcribe 今天改变的，是「含说话人标签的、准确的托管流式转写」的参考价格；而且它对两家前沿实验室的冲击，大于对专业厂商的冲击。它尚未改变的，是多人语音流水线的形状 —— 它仍然要求开发者在「知道谁在说」和「知道他说完了」之间做选择。下一个值得盯的信号不是又一张排行榜快照，而是第一个让单条 WebSocket 同时承载两者的 API 修订版。