Booking.com 与 AWS 获 ACL 最佳论文：让 70B 模型的能力以 20 倍速度运行

亚马逊云科技（AWS）与 Booking.com 的联合团队凭借一套框架获得 ACL 2025 产业赛道最佳论文奖。这套框架把一个 700 亿参数的语言模型压缩成 11 亿参数的系统，运行速度提升 10 到 20 倍，同时恢复了原模型 90% 以上的质量。这篇题为《Speed Without Sacrifice: Fine-Tuning Language Models with Medusa and Knowledge Distillation in Travel Applications》的论文，从 421 篇参评投稿中脱颖而出，由 453 名评审评选。Amazon Science 于 10 月 29 日发布了完整的生产案例研究，介绍了三项线上 Booking.com 功能的 A/B 测试结果。其决定性贡献不在于每项技术单独有效（知识蒸馏和 Medusa 推测解码在这项工作之前就已成熟），而在于把它们叠加起来能产生相乘的提速效果，并在真实的消费者流量上得到验证。

知识蒸馏如何缩小 70B 教师模型与 1.1B 学生模型的差距

知识蒸馏由 Hinton 等人于 2015 年提出，用较大的「教师」模型在每个 token 上产生的概率分布来训练较小的「学生」模型，而不只是用硬性的正确答案标签。这些分布编码了教师模型在整个词表上的不确定性，即哪些备选是合理的、哪些相去甚远，提供了比直接监督更丰富的训练信号。

教师模型是 Llama-3.1-70B；学生模型是 TinyLlama 1.1B，一个采用 Apache 2.0 许可证的纯解码器 Transformer，基于 Llama 2 架构，在约一万亿 token 上预训练。两者共用分词器，教师模型 token 级的输出可以直接映射到学生模型的词表上。论文通过消融实验展示了这一方法：只用 Booking.com 数据微调的 TinyLlama 在旅行任务上胜过少样本的 GPT-4o，但不及 70B 教师模型；在无标注的旅行领域文本上加入知识蒸馏后，这一差距缩小了 90% 以上，同时原始吞吐量约为教师模型的六倍。论文全文给出了完整的消融结果。

Medusa 推测解码再带来 2 到 3.6 倍提速

语言模型的生成本质上是顺序的，每次预测一个 token。Medusa 打破了这一瓶颈：在基础模型的最后隐藏状态上附加多个轻量前馈「头」，每个头并行预测一个不同的未来 token 位置。一次带树状注意力的前向传播就能同时验证所有预测的续写，并确认最长的有效前缀，无需单独的草稿模型。

Booking.com 选择了 Medusa-2，它在单一阶段内把预测头与主干联合训练，而不是冻结主干权重（Medusa-1），用更简单的训练流水线实现了更高的吞吐量。在压缩后的学生模型之上测得的额外提速为 2 到 3.6 倍，并随领域约束增强而提高：旅行描述和行程规划回复的措辞可预测，预测 token 的正确比例因此提高。开放式或高度创意的任务，接受率会更低，提速倍数也更小。与知识蒸馏约六倍的提升相乘，两种方法相对 70B 基线达到了报告的 10 到 20 倍总提速。

三项 Booking.com 功能经线上 A/B 测试验证，成本不到 GPT-4 的三分之一

论文报告的是真实用户流量上的 A/B 结果，而不只是离线指标。自然语言住宿搜索功能 Smart Filters 的 P99 延迟改善了 15 倍。AI Trip Planner 相对 GPT-3.5 基线的用户参与度提升了 2.9%。住宿描述生成让「有帮助」评分提升了 1.4 个百分点，在质量相当的情况下，成本降至 GPT-4 价格的三分之一以下。Amazon Science 博客提供了这三项生产部署的完整细节。以 Booking.com 全球用户的查询量计，调用前沿 API 与自托管 1.1B 模型之间的单位经济差距会大幅累积；而且让查询经过自有模型而不是第三方 API，消除了一项外部数据依赖，这对 Booking.com 欧洲市场的 GDPR 合规也有影响。

局限与尚待解决的可复现性

这条流水线的收益带有领域特定性。Medusa 的吞吐量倍数取决于 token 接受率，而接受率取决于输出措辞是否可预测。论文没有说明剩余的质量损失（蒸馏未能恢复的约 10%）集中在哪里，也没有报告幻觉率。论文没有使用标准学术基准，因此无法与其他已发表系统比较通用能力。训练方案没有开源，从业者需要根据论文和上游代码库自行重建流水线。

替代前沿 API 成本的生产验证模板

从 421 篇投稿中获得 ACL 最佳论文称号，确立了「先蒸馏、再解码」这条叠加流水线是经同行验证的工程成果，而不只是已知技术的一种看似可行的组合。为受限领域 NLP（自动内容生成、结构化分类、领域特定搜索）支付前沿 API 费用的企业团队，如今有了首个经 A/B 验证的证据：压缩后并加入推测解码的自托管模型，能以极小的成本达到甚至超过前沿模型的质量。悬而未决的问题是这种方法能推广到多广：有多少生产领域的词汇约束足以让 Medusa 的接受率高到值得投入训练，以及随着基础模型和蒸馏目标不断演进，这一模板是否依然成立。