Yann LeCun 新论文：1.09 亿参数模型对齐视觉的能力超过 720 亿参数的语言模型
Balestriero 与 LeCun 把柏拉图表征假说改写成一条定理，关键在训练对子怎么构造
当 AI 研究者谈论规模时，他们几乎总是指更多参数和更多训练词元。10 月 29 日提交到 arXiv 的一篇论文，作者是布朗大学计算机科学家 Randall Balestriero 和 Yann LeCun，主张至少对一个争论已久的问题而言，规模根本不是正确的杠杆。在《用 JEPA 证明并改进柏拉图表征假说》中，这两位均将 AMI Labs 列为所属机构的研究者提出了一条定理：分别训练的 AI 模型是否会收敛到对世界相同的表征，取决于训练对子是怎么构造的，而不取决于模型有多大。这项工作是一篇预印本，尚未经过同行评审。
这条定理所附带的实验结果才是真正引人关注的地方。一个按作者方法训练的 1.09 亿参数文本模型，在用于确立原假说的跨模态对齐基准上得分 0.184，领先于 Qwen2.5-72B 的 0.154 和 Llama-3-70B 的 0.151。作者指出，作为对比的这些语言模型参数量大约是它的 660 倍，训练用了 15 万亿到 18 万亿词元，而他们的编码器只读了 1160 亿词元。在同一语料上，他们的方法达到与「预测下一个词元」相当的对齐水平，所用的训练样本却少了 42 倍。
柏拉图表征假说主张什么
这篇新论文建立在 2024 年 ICML 一篇立场论文之上，作者是 Minyoung Huh、Brian Cheung、Tongzhou Wang 和 Phillip Isola。柏拉图表征假说主张深度网络内部的表征正在趋同。在梳理此前的工作并进行自己的测量后，作者证明：随着视觉模型和语言模型变得越大，它们衡量数据点之间距离的方式会越来越相似，尽管它们用不同的数据、按不同的目标训练而成。
Huh 及其合著者假设，这种趋同正在朝一个共同的现实统计模型逼近，他们把这比作柏拉图所说的「表象背后的理念世界」，并将其命名为「柏拉图式表征」。他们讨论了几种可能驱动这一趋势的选择性压力，也列出了自身分析的局限和反例。
2024 年那篇论文没有给出的，是一个证明。Balestriero 和 LeCun 写道，没有证明，这个假说既不能保证趋同一定会发生，也给不出产生趋同的方子。他们的测量结果也说明了为什么单靠规模看起来是个弱方子：在原始基准上，从 70 亿到 320 亿参数的 Qwen2.5 系列模型得分在 0.118 到 0.130 之间，而 720 亿参数的版本也只达到 0.154。
LeCun 和 Balestriero 10 月的这篇论文，试图同时补上保证和方子。
什么是「好视角」，为什么预测下一个词元用的是「坏视角」
这篇论文的核心想法，是区分「好视角」和「坏视角」——这是一个自监督模型可以被训练成等价对待的两种正样本训练对子。
好视角对子是对同一场景的两次独立观察。对图像模型而言，这意味着同一场景的两张照片，或同一段视频里的几帧画面。对文本模型而言，这意味着围绕同一张图片写出的两段不同配文。论文自己给出的例子，把「一个红色球体挨着一个蓝色圆锥」与「一个蓝色圆锥在一个红球后面」配对：措辞不同，底层场景相同。
坏视角对子是对单一观察的两种破坏性变形。同一句话的两份被遮掩副本是坏视角。一句话的前缀和它的续写也是坏视角——这正是预测下一个词元中输入与输出的关系。作者认为，问题在于：对同一观察做出的各种破坏性变形，会共享这份观察本身的偶然细节，比如配文的具体措辞，或照片的光线和视角。一个在这些数据上训练出来的模型，会把一部分表征用来编码这些特定模态的「噪音」，而这些噪音在其他任何模态里都找不到对应物。而对同一场景的两次观察只共享这个场景本身，所以用好视角训练出来的模型，在噪音上什么也不用花。
作者把这一点形式化为一条柏拉图表征定理。在一个理想化的设定下，针对任意数量模态分别训练的联合嵌入预测架构（JEPA），只要它们的正样本对子是好视角，就会学到同一个表征（最多相差一次旋转）；否则，它们的偏差会有上界。旋转，严格来说是一种正交变换，会保持嵌入空间中每一处距离和角度不变，所以两个只相差一次旋转的模型，在哪些数据点互为邻居、以及所有余弦相似度上都会一致。它们编码的是同一套几何结构，只是朝向不同。
第二个理论结果直指大语言模型。论文证明，预测下一个词元在形式上等同于一个用坏视角训练的 JEPA，作者据此论证，这正是为什么语言模型只能靠蛮力堆规模才能对齐视觉模型。
JEPA 的来历
LeCun 在 2022 年提出联合嵌入预测架构，作为生成式训练的替代方案。JEPA 不重建原始像素或词元，而是用一个上下文编码器读取输入的一部分，再用一个预测器估计另一部分的内部表征。由于预测发生在嵌入空间中，模型可以忽略底层细节，并因捕捉到更抽象的结构而获得奖励。
Meta 的 FAIR 实验室基于这一想法构建了一系列模型。I-JEPA由 LeCun 作为共同作者在 2023 年 1 月发表的一篇论文中描述，它通过从单一上下文块预测目标块的表征来学习图像表征；团队用 16 块 A100 GPU，在不到 72 小时内在 ImageNet 上训练出一个 ViT-Huge/14 模型。Meta 在 2024 年 2 月为视频推出了 V-JEPA。2025 年 6 月发表的V-JEPA 2在超过 100 万小时的互联网视频上完成预训练，在 Epic-Kitchens-100 上报告了当时最好的人类动作预判结果，其变体 V-JEPA 2-AC 在不到 62 小时的机器人视频上完成后训练后，还能规划机器人的抓取放置任务。Meta 的V-JEPA 2 代码库在 2026 年 3 月新增了 V-JEPA 2.1 系列权重，参数量从 8000 万到 20 亿不等。
Balestriero 和 LeCun 此前也把 JEPA 推向了语言领域。他们与 Hai Huang 在 2025 年 9 月一起发布了LLM-JEPA，一个用于微调和预训练大语言模型的基于 JEPA 的目标函数。2025 年 11 月，两人又发表了LeJEPA，一套训练方案，新论文的实验正是基于它。10 月这篇论文真正新的地方，是跨模态问题：不是问 JEPA 能不能学到有用的语言特征，而是问分别训练出来的文本 JEPA 和图像 JEPA，是否保证会落到同一个表征上。
延伸阅读：JEPA-Anything：同一个世界模型，横跨七个学科赢过专用模型
660 倍参数差距，实际衡量的是什么
这项标题性对比使用的是 2024 年柏拉图表征假说论文里的基准。每个文本模型对 WIT 数据集中 1024 条维基百科图片配文做嵌入，一个固定的视觉模型（Meta 的 DINOv2）对对应的图片做嵌入，得分衡量的是互为最近邻的一致程度：对每一项而言，文本模型空间中离它最近的 10 个邻居，有多少同时也出现在视觉模型空间中离它最近的 10 个邻居里。Balestriero 和 LeCun 在计算这些分数时，沿用了 Huh 及其同事公开发布的代码。
在这项测试中，他们那个 1.09 亿参数的文本 JEPA——一个 BERT-Base 规模的编码器，在 9.4 亿张网络图片配文上训练而成——得分 0.184。作者评估过的每一个语言模型得分都更低，最高的 Qwen2.5-72B 为 0.154、Llama-3-70B 为 0.151，OpenAI CLIP 的文本编码器也只有 0.124，尽管 CLIP 是与图像联合训练出来的。论文还报告，在换成其他图像编码器（包括 MAE、I-JEPA 以及 CLIP 自己的图像编码器）打分时，这个 JEPA 依然领先于各语言模型，例如对 CLIP ViT-H 得分 0.230 对 0.210，而且这一结果在两个基准和两种对齐指标上都成立。作者还特别强调，他们的模型从未见过任何像素。
理解这个结果的含义，以及它不代表什么，都很重要。
这个分数衡量的是两个模型在组织同一组配对样本时方式有多相似。它不代表一个 1.09 亿参数的编码器在回答问题、写代码或解数学题上比 Qwen2.5-72B 更强，论文也没有做这样的断言。文本 JEPA 学到的，是一种更接近视觉模型独立从图像中学到的那套几何结构的内部几何。
接着作者测试了这种几何上的一致性是否真能用得上。在一项实验中，他们把冻结的 DINOv2 和 DINOv3 图像编码器，与一个只用文本微调过的语言模型连接起来，唯一在图文配对数据上拟合的组件，是一个带正交行的线性映射。没有任何神经网络是在配对的图文数据上训练的，但由此产生的配文生成器在 COCO 上的 CIDEr 得分达到 0.838。在第二项实验中，这个旋转完全不借助任何配对数据，纯粹从未配对的图像和配文各自的几何结构中求出。在这个 Schnaus 等人提出的、不依赖配对数据的基准上，文本 JEPA 在 ImageNet-100 上取得了 64% 的零样本 Top-5 准确率，而此前参数量最高到 80 亿的语言模型报告的最好成绩也只有 56%。
训练效率：为什么正样本对子的设计比数据量更重要
42 倍这个数字来自一次受控对比：好视角 JEPA、坏视角 JEPA 和预测下一个词元，用同样的文本、同样的编码器来训练。好视角 JEPA 在 2160 万个训练样本后，在基准上达到 0.109；预测下一个词元要到 9 亿个样本之后才达到 0.111。由于每个好视角样本要读三段文本，这一优势按文本词元数来算缩小到 14 倍，而好视角那次训练所看到的独立图片数量少了 435 倍。在同样 2160 万个样本的条件下，差距更大：用 3300 万参数的编码器，好视角 JEPA 得分 0.108，而预测下一个词元只有 0.071。
论文还报告了一条关于对齐效果的缩放定律，用好视角样本所占比例和已见样本数来表示。据作者所说，这条定律在 85 次新训练运行开始之前就准确预测出了它们的结果，准确度不亚于换一个随机种子重跑同一个实验。
基于这些结果，作者得出结论：当今最大模型背后的那个目标——预测下一个词元——是「通向柏拉图式表征的一条相当低效的路径」。如果模型之间的对齐主要取决于正样本对子是怎么构造的，那么把更多算力花在扩大预测下一个词元的规模上，就是一种用来弥合语言与视觉表征差距的昂贵做法。
论文也坦率承认了一个实际的难题。文本的好视角需要知道哪些文本描述的是同一个场景。在 Flickr 和 COCO 上，这来自按图片分组的人工配文。在 Recap-DataComp 上——也就是那个 1.09 亿参数结果所依赖的网络规模语料——每张图片三段文本中有两段，是由一个基于 Llama-3-8B、配有 CLIP ViT-L/14 视觉编码器的图像配文生成器 LLaVA 写出来的，所以这些文本携带了从图文训练中蒸馏出来的信息。如果完全不用配文生成器，仅用 alt 文本和一个纯文本改写构造出的好视角，在基准上只能达到 0.060，而用重新生成的配文能达到 0.107。作者写道，他们与语言模型及大规模 CLIP 的对比依赖这些文本，而不同视角类型之间的对比，由于用的是完全相同的文本，则不受此影响。
AMI Labs，以及这篇论文代表了什么
这篇论文的发表带着机构层面的分量。LeCun于 2025 年 11 月宣布，他将在年底离开 Meta——在那里工作了 12 年，其中 5 年担任 FAIR 创始主管、7 年担任首席 AI 科学家——去围绕他的「高级机器智能」研究议程创办一家初创公司。这家总部位于巴黎的公司 AMI Labs，在 2026 年 3 月以 35 亿美元投前估值融资 10.3 亿美元，由 Cathay Innovation、Greycroft、Hiro Capital、HV Capital 和 Bezos Expeditions 共同领投，英伟达、三星、淡马锡和 Toyota Ventures 等也参与其中。
LeCun 是 AMI Labs 的联合创始人兼董事长；Alexandre LeBrun 担任首席执行官。公司表示，它正在构建那种从现实世界而非单纯从语言中学习的世界模型，TechCrunch 报道称公司目前并无营收计划，Nabla 是首批获得早期模型使用权的合作方。
Balestriero在莱斯大学读完博士、并在 Meta 的 FAIR 完成博士后研究之后，于 2024 年夏天加入布朗大学计算机科学系，担任助理教授。他的研究聚焦于实用的深度学习理论，而 10 月这篇论文延续了他自 2025 年 9 月以来与 LeCun 合著的一系列 JEPA 论文，接续在 LLM-JEPA 和 LeJEPA 之后。
两位作者在论文中都把 AMI Labs 列为所属机构，这把一个正式的理论结果，直接与这家公司获得融资所要追求的研究赌注绑定在一起：用合适的训练对子，在表征空间中做预测，是一条比不断堆大「预测下一个词元」模型更高效的、通向真正理解世界的模型之路。
局限性，以及独立复现需要确认什么
所有结果都来自一篇在本文发表时只提交了几天的预印本，均为作者自报数据，尚未经过同行评审或独立复现。
作者自己列出了若干局限。他们的定理是关于一个理想化、有限世界的总体性陈述，在这个世界里每一次观察都完全决定其背后的状态，而现实中的各个模态都是有损的——一段配文只描述照片的一部分。「最多相差一次旋转」这一唯一性结论，证明的对象是一个比训练中实际使用的 LeJEPA 目标函数更简单的反坍缩条件，作者也承认，没有任何一次实验完全满足定理的假设。图像那一侧大多用同一张照片的不同裁剪作为正样本，按论文自己的定义，这使得包括 DINOv2 在内的这些图像编码器都成了坏视角 JEPA。超参数也只针对好视角 JEPA 做了调优。
这个标题性数字本身也带着作者自己点明的限定条件。换一个正则化权重的第四个训练种子只达到 0.121；四个种子平均下来，模型得分 0.168，仍高于所有被测试的语言模型。为大部分训练文本生成配文的那个重新配文模型，是通过 CLIP ViT-L/14 来「看」图像的。而且 1024 条基准配文里，至少有 43 条同时也出现在训练语料的 alt 文本中，不过作者报告称，去掉这些配文后，他们检查过的九个文本模型里没有一个变化超过 0.002。
把预测下一个词元重新框定为一种坏视角 JEPA，与其说是一个技术论证，不如说更像是一个解释性论证，其他研究者可能会质疑这种类比，是否真的适用于在远比此处更多样的目标函数上训练出来的生产级语言模型。
10 月 29 日这篇论文真正给出的，是一条形式化定理，而柏拉图表征假说此前只建立在一种经验性趋势之上；是受控实验证据，证明预测的效率优势在实际规模下确实存在；也是下游演示，证明这种对齐可以被真正用起来。它究竟会改变大模型的训练方式，还是停留在主流范式之外的一条研究路线，取决于独立复现，也取决于 AMI Labs 接下来会发表什么。