资讯 · 2026年10月22日 · 商业 · 共 33 节 · 约 4162 字

把推荐模型加宽反而拉低 AUC：Meta Kunlun 与 5700 支队伍的发现

Meta 的 4 倍算力实验和一场 5746 支队伍的公开竞赛得出了同一个结构性结论

当 Meta 工程师在2026 年 10 月的一篇博客文章中写道，他们的生成式广告模型（GEM）在「最大的预训练规模上实现了类 LLM 的缩放曲线」时，他们描述的是推荐行业多年来求之不得的东西。问题不在于算力不足 —— Meta 成千上万地买 GPU —— 而在于一种根本性的架构错配，它让给推荐模型加资源的效果大致等同于往一个有裂缝的桶里倒水。Meta 的解法：彻底重新设计这个桶，用一种名为 Kunlun 的新架构。与此同时，在五千英里之外，来自 52 个国家的 5746 支队伍应腾讯之邀，独立地竞相解决同一个问题，并收敛到惊人相似的结论。

其结果是一份异乎寻常可信的 AI 研究。同一个结构性洞见 —— 推荐模型要缩放，既需要一个统一、可堆叠的架构，也需要真正全新的信息输入 —— 同时从 Meta 运行数千张 GPU 的封闭工程组织，和两名在大学实验室里用七张 GPU 跑了近一千次实验的高年级本科生那里浮现出来。

为什么推荐系统不能像 Transformer 那样堆叠

要理解缩放推荐模型为何比缩放语言模型更难，先要理解它们实际在计算什么。

语言模型处理一种输入：一个 token 序列。序列的每个元素都由同样的结构机器 —— 一个 transformer 块 —— 处理，而这些块可以任意堆叠。想要更强的模型？加更多块、加宽层、用更多数据训练。这种方法原理上简单得近乎尴尬，而且它管用。

推荐模型同时处理两种结构上不同的输入：行为序列（你的点击、购买、视频观看、广告互动的历史）和特征字段（静态属性，如你的年龄段、所投广告的产品类别、一天中的时段、你的设备类型）。这两种输入类型在数据层面几乎毫无共同之处，而行业的标准回应一直是用分开的专门模块处理它们 —— 一个序列模型处理历史，一个特征交互模块处理属性字段 —— 两者独立运行，最后拼接起来做最终打分。

这种隔离式设计在小规模上运作良好。问题在工程师试图把模型做大时出现。序列模块和特征交互模块使用不同的架构，这意味着没有一个像 transformer 块那样可堆叠的明显统一块。把更多算力砸进两个独立模块之间的连接点并无太大帮助，因为等到输出被合并时，原始序列中存在的任何细粒度细节都已被序列模块压缩掉了。多出来的容量无处可去。

Meta 在其 GEM 博客文章中精确描述了这一动态：缩放定律对推荐系统「不会自然到来」——对一家花了数十亿美元证明缩放定律对其他一切都会自然到来的公司来说，这是一句意味深长的话。

Meta 的 Kunlun 架构把两种操作整合进一个可堆叠的块

Meta 的答案，以 Kunlun 架构（arXiv 预印本）在生产中部署，是不再把两种操作当作分开的。Kunlun 在单个统一块内交错进行序列建模和特征交互，这个块可以反复堆叠，像 transformer 块在语言模型中产生深度那样产生深度。

技术组件包括广义点积注意力（GDPA），它把此前分开的三种注意力操作 —— 自注意力、池化多头注意力和交叉注意力 —— 统一进一个高效内核，据Meta 另一篇技术博客文章，在英伟达 B200 硬件上以 97% 的 Tensor Core 利用率实现了约为此前实现两倍的前向传播速度。一个混合专家交叉交互层处理特征关系。Component Skip，一种针对推荐结构性质的剪枝技术，在准确率影响可忽略的情况下削减了 43% 的浮点运算。

Meta 报告的结果是公司自述而非独立验证的，但部署的规模使它们难以被完全打发。在 Meta 的广告版面上——Facebook、Instagram 和合作伙伴站点——公司报告转化率提升 18.9%、点击率提升 12%。GEM 的总训练算力在十二个月内增加了四倍，而模型 FLOPs 利用率 —— 训练实际达到的峰值硬件性能占比 —— 翻倍到 20% 到 25% 之间。在最大的预训练规模上，Meta 称 GEM 现在表现出与语言模型缩放定律一致的缩放行为，这正是 AI 领域其余部分一直等着看它在生产推荐中被证明的技术主张。

Meta 实验中另一项发现很有启发：预测质量与上下文长度呈幂律关系，而更大的模型比更小的模型从更长的序列中获益更多。Meta 在生产中把 GEM 的上下文长度翻倍，并在能力实验中测试了 25 倍的扩展。这表明新的瓶颈不只是模型容量，而是模型能访问多少历史信息。

一场公开竞赛众包出了同一个答案

腾讯的 TAAC × KDD Cup 2026，于 2026 年 8 月在韩国济州岛的 ACM KDD 会议上举办，提出了一个精确的问题陈述：构建一个统一模块，同时处理行为序列和特征字段，以预测用户看到广告后是否会转化，受严格的延迟约束，使用来自微信视频号的匿名化日志，含 3500 万个样本和 142 个特征字段。不允许模型集成。训练集和测试集按时间划分、用户不重叠 —— 与生产部署相同的条件。

参赛的 5746 支队伍从几个不同的角度切入这个统一问题。

延伸阅读：新加坡国立大学开源 Jeva：候选重排序零翻转的决策原生模型

QueryFormer（arXiv 预印本），来自 sunshot 队的工业赛道冠军，聚焦查询生成步骤：在模型从行为历史中检索相关片段之前，它必须决定自己在找什么。基线方法通过一个简单的 MLP 投影用户和广告特征来生成这些查询。QueryFormer 把它换成一个两阶段过程：先在用户 token 内部和广告 token 内部做一次自注意力，再在用户和广告 token 之间做一次交叉注意力。只有到那时，被丰富的表示才被用来查询行为序列。让查询生成变得动态、依样本而定 —— 使同一架构为每个用户-广告对提出不同的问题 —— 在竞赛论文中被认定为竞赛中任何单个组件改动里最大的单项 AUC 增益。

CRAFT（arXiv 预印本），来自 lozyyeah 队的学术赛道冠军，从信息如何穿过堆叠层的视角切入问题。其作者 —— 包括 Zichen Luo、Jiachen Guo、Keming Gu 和 Jie Zhang —— 把推荐表述为一个「特征运输」问题：与其让当前用户-广告上下文只在末尾参与，CRAFT 的设计让非序列上下文（特征字段）在每一层充当序列表示演化方式的主动控制器。每个块从上下文字段生成两类信号 —— 一个更新表示的残差位移，和一个支配保留什么的记忆保持信号。这防止有用信息在穿过深度时被稀释。CRAFT 的实现在 GitHub 上公开。该模型用六个堆叠块取得 0.838148 的测试 AUC，而此前榜首为 0.83798。

UniDot（arXiv 预印本）采取了相反的哲学路径：复活一个 2010 年的方法。因子分解机 —— 一种计算特征向量之间内积以衡量其交互强度的经典技术 —— 曾被认为已被深度神经网络取代。UniDot 在每一层运行显式的内积计算，并通过一条专用的 FM Highway 把它们直接路由到最终分类器，绕过本会稀释或变换信号的深层网络层。结果：一个按深度学习标准算古老的方法，在计算图中被放到正确位置时，胜过了许多架构新颖的系统。

MaskRec，统一块创新奖得主，挑战了「统一架构意味着全连接注意力 —— 每个 token 必须与其他每个 token 交互」这一假设。它的设计按 token 角色和场景指定注意力访问模式，用全局和场景级记忆 token 来聚合跨序列信息，而不要求全对全注意力。它的作者主张，统一并不要求不加区别地混合所有信号。

在不引入新信息的情况下加宽推荐模型会损害准确率

竞赛最清晰、最反直觉的结果来自 CoSFormer，这支队伍尽管在学术赛道排名仅第十，却赢得了缩放定律原创突破奖。gg 队 —— 两名首次参加推荐系统竞赛的高年级本科生 —— 在七张 GPU 上跑了约一千次实验，测试缩放模型的三种不同方法。

在竞赛本身中，在保持相同输入 token 类型的同时增加模型的隐藏维度宽度，导致 AUC 下降而非上升。赛后实验更精确地确认了这一模式。第一个测试 —— 加宽的同时保持相同的 token 输入 —— 产生的 AUC 趋于平台而非改善。第二个测试 —— 加入不携带任何真正新信息的 token，即在不引入任何额外信号的情况下扩展模型容量的输入 —— 同样趋于平台。第三个测试：同时扩展模型容量和输入信息，引入携带真正新信号的新 token 类型（预训练的用户和物品嵌入、交叉交互项、多时间尺度的序列摘要），并按比例缩放模型宽度。AUC 单调改善，直到可用的新信息被耗尽。

CoSFormer 的作者把这称为「空转宽度」假说：没有新东西可学的模型容量不会学到任何有用的东西，还可能主动干扰已有的表示。实际含义是，推荐 AI 的缩放主要不是 GPU 预算的函数。它是信息架构的函数 —— 具体说，模型能访问多少有意义地彼此不同的输入信号。

这一发现与来自腾讯自家 RankUp 研究（arXiv 预印本）的独立观察相呼应，该研究发现，丰富模型潜表示空间的多样性 —— 通过随机特征拆分、多嵌入表，以及预训练检索嵌入的交叉整合 —— 在微信广告版面上持续带来 GMV 的线上增益。竞赛选手、学术队伍和竞赛设定之间的收敛，强化了「这是一个结构性约束、而非某一个实验设置的产物」这一论点。