AutoArk 的 Audio8 TTS 模型在九语言准确度测试中胜过更大的语音系统
Audio8-TTS-Realistic 采用 DualAR 架构和新型真实感评判器，词错误率降至 4.86%
AutoArk 的一个研究团队今天发布了 Audio8-TTS-Realistic，这是一个 6 亿参数的开放权重文本转语音模型。在 CV3 语音克隆基准上，它的九语言平均词错误率为 4.86%，优于 17 亿参数的 Qwen3-TTS（7.73%）、15 亿参数的 CosyVoice3（6.89%）和 85 亿参数的 MOSS-TTS-v1.5（6.11%）。权重和推理代码以 Apache 2.0 许可证发布在 HuggingFace 上，同时发布了一篇介绍训练方法的 arXiv 论文。
这一结果的意义在于，Audio8-TTS-Realistic 并不是靠增加参数取得基准排名的。它结合了双自回归架构和三阶段强化学习流水线，其中包括一个基于人类听感研究专门训练的真实感评判器，这种方法此前没有在这一规模的开放权重 TTS 中使用过。模型支持用一段参考音频对 23 种语言进行零样本语音克隆，无需微调。
DualAR 架构如何把语义预测和声学预测分开
这个模型的双自回归设计把合成拆分成两个规模不同的任务。慢速 AR 分支有 24 个 Transformer 层，隐藏宽度 896，由 Qwen2.5-0.5B 语言模型初始化，以约每秒 21.5 帧的速度预测 10 码本神经音频编解码器的第一个码本。这个分支负责语义上要求较高的工作：节奏、语调和音素级发音。由于编解码器的帧率远低于音频采样率，慢速分支处理的是紧凑的 token 序列。
随后，只有四个 Transformer 层的快速 AR 分支以慢速分支的输出为条件，预测其余九个码本。这些码本承载决定音色和自然度的声学细节。语义决策已由慢速分支完成，快速分支无需同等容量就能恢复这些声学细节。神经音频编解码器以 44.1 kHz 运行，每个码本 4096 个条目，输出录音棚级分辨率。这一架构最初由 Fish Audio 46 亿参数的S2 Pro 模型提出；Audio8 以大约七分之一的参数量应用了它。
强化学习在标准 WER 训练之外加入真实感评判器
在 Emilia 数据集、YODAS2 和未公开的私有数据上完成初始的多语言监督微调之后，团队运行了两个 GRPO 强化学习阶段，详见其arXiv 预印本。第一阶段以词错误率和说话人相似度为奖励，按 0.7 比 0.3 加权，把 CV3 的 WER 从 5.41% 降到 5.01%，说话人相似度从 0.639 升到 0.643。
第二个 GRPO 阶段引入了真实感评判器：一个基于私有人类盲听研究训练的奖励模型。这项研究对六个 TTS 系统（Fish-Speech 1.5、IndexTTS-2、Qwen3-TTS、Higgs Audio v3、Fish Audio S2 和 Spark-TTS）以及配对的真人录音进行排序，用停顿压缩的劣化等级构建 Elo 式的质量比较。评判器把 WavLM-large 编码器与韵律特征结合，并包含一个身份擦除目标，防止模型学会识别生成器的声学指纹，否则奖励的就是模仿，而不是真正的自然度。加入真实感奖励后，CV3 错误率降到 4.86%，说话人相似度升到 0.661。
Audio8 与 40 亿参数开放权重系统的三项基准对比
在 CV3 九语言宏平均上，Audio8 的 4.86% 与 Higgs Audio v3（4.41%）和 Fish Audio S2 Pro（4.49%）相差不到半个百分点，后两者都是 40 亿至 46 亿参数的系统。所有基准数字均由公司自行报告，尚无独立复现。在 Seed-TTS 英语和中文基准上，情况略有反转：Audio8 的错误率为 1.25%（英语 WER 和中文 CER 的宏平均），而 Qwen3-TTS-1.7B 为 1.01%，Higgs Audio v3 为 1.11%，说明在更窄的单语评测中，参数差距显现了出来。
MiniMax 24 语言基准让这一局限更加明显：Audio8 总分 5.89%，而 Higgs Audio v3 为 2.74%，Fish Audio S2 Pro 为 4.40%。更广的语言覆盖似乎更有利于大模型，即便紧凑的系统在九种精心支持的语言上颇具竞争力。
泰语、粤语，以及论文没有涉及的评估缺口
这个模型在泰语上的表现（CV3 扩展语言评测中 WER 为 48.574%）是论文基准表中错误率最高的数字之一。论文将其归因于泰语训练数据有限。粤语在 MiniMax 上的字错误率达到 31.349%，作者解释说，这是因为模型高度侧重普通话，而普通话与粤语共享大量 token 空间。在九种主要的 CV3 语言中，法语（WER 7.938%）和日语（WER 7.511%）表现最弱。
论文没有公布最终模型的平均意见得分或人类自然度评测，因此无法独立判断真实感评判器除了 WER 提升之外，是否带来了可感知的改善。模型卡也没有讨论语音克隆滥用风险或内容政策。这是一个重大遗漏，因为一个紧凑的 Apache 2.0 语音克隆模型可以立即被部署到语音诈骗和音频冒充等对抗场景中。
在生产部署方面，这次发布包含一个 SGLang-Omni 适配器，提供分页注意力、动态批处理和与 OpenAI 兼容的 /v1/audio/speech 端点，无需修改即可接入现有 TTS 基础设施。
真实感评判器框架才是持久的贡献
Audio8-TTS-Realistic 更持久的贡献，可能是真实感评判器框架本身，而不是某个基准排名。如果基于质量阶梯的奖励模型能在 6 亿参数规模上切实改善感知自然度，而不依赖额外的预训练数据，那么任何构建 TTS 后训练流水线的团队都可以采用这种方法，而不只是有 40 亿参数预算的团队。Apache 2.0 许可证让独立研究者能够获取权重和方法来检验这一说法，而他们的自然度评测结果，将决定 Audio8 的基准优势有多少能转化到真实部署中。