LeCun证明了：规模从未起作用，下一token路线效率低

编辑｜Neo、泽南

人工智能先驱 Yann LeCun 一直主张「生成式 AI 是一条死胡同，世界模型才是真的未来」。

他认为自回归生成有数学上的硬伤，文本承载不了人类的大部分知识，真正的推理也不是基于优化的推断，衡量智能的标准应该是学习新任务的速度，以及零样本应对全新环境的能力。

基于这种观点，LeCun 寻求的替代路线是世界模型 + JEPA，一套目标驱动型架构。最近他提交的一篇论文向着这个方向前进了一大步，它从数学上论证了「next-token 预测路线效率低下」，还给出了自己的方法，用一个 1.09 亿参数的模型打败了 720 亿的 LLM。

一个只看图片的模型，与一个文本大模型，会不会在内部形成相似的「概念地图」？

柏拉图表征假说（Platonic Representation Hypothesis, PRH）由 Huh 等人在 ICML 2024 论文中提出，指在不同模态（视觉、语言）上分别训练的模型，随着规模增大其内部表征会越来越相似，最终收敛到同一个对现实的共享统计模型。这就如同柏拉图洞穴里不同的人看到了同一个「理念世界」。但它只有经验曲线和一个理想化对比学习器的直觉论证，既没有证明也没有配方，行业能做的只有继续堆规模。

这篇论文做的事就是把它变成定理，并给出了可操作的充分条件。

• 论文：《Proving and Improving the Platonic Representation Hypothesis with JEPAs》
• 链接：https://arxiv.org/abs/2610.39302
• GitHub：https://github.com/galilai-group/prh-proof

让模型从不同描述中，学到同一个场景

文字模型读到的每句话都混合着两类信息：它描述了什么，以及它怎样描述。狗在追球属于前者，用「追逐」还是「追赶」则属于后者。如果希望文字模型与图片模型形成相通的表征，就需要让文字模型更多地保留场景中的内容。

但训练时，怎样告诉模型，哪些内容值得保留？

作者采用的办法，是让模型同时学习同一场景的不同观察。两个人描述同一张照片，用词、句式可以变化，场景中的主体和关系却大体一致。如果要求模型从这些描述中提取相似的表征，就能给它一个学习信号：寻找不同表达背后的共同内容。

JEPA（联合嵌入预测架构）提供了落实这个想法的方式。在本文的设置中，编码器先把输入转换成向量，训练再拉近一组输入的向量。这意味着，选择哪些输入组成一组，会直接影响模型被鼓励保留什么。

为了让模型从文字中提取场景信息，训练时应该给它看同一场景的不同描述，还是同一句话经过截取、遮盖后得到的不同版本？作者通过对照实验比较了这两种选择。

假设一张照片里，一只狗正在草地上追球。两个人分别写下描述：「一只狗在草地上追逐皮球」「草坪上的小狗正在追赶玩具」

第一组从这两份不同描述中，分别截取片段、遮盖部分词语。例如，模型看到的可能是「狗在草地上追逐［遮盖］」和「草坪上的小狗正在追赶［遮盖］」。两句话表达不同，要让它们的向量接近，模型就需要更多地利用「草地」与「草坪」、「追逐」与「追赶」背后相通的场景内容。

第二组则只取第一句话，将它加工成两个版本，例如「一只狗在［遮盖］追逐皮球」和「一只狗在草地上追逐［遮盖］」。两份输入保留了「一只狗在」「追逐」等相同措辞，模型可以借助这些文字上的相似，让它们的向量接近。

作者将第一组称为「好视图」（good-view），第二组称为「坏视图」（bad-view）。这里的「视图」，可以理解为训练时提供给模型的一份观察。两组采用相同的 JEPA 学习方式，便能考察：输入之间共享的是场景，还是某一句话的表达，会给表征带来什么差别。

「好视图」使 PRH 成为一个定理，并使对齐过程的样本效率提升了 42 倍。

这套训练还需要解决一个问题：如果模型把所有文字都转换成同一个向量，也能满足「向量接近」的要求。因此，作者加入防止「表征坍塌」的约束，让整体表征保持分散。模型既要找到一组描述的共同内容，又不能把所有场景混为一谈。

沿着这个思路，文字与图片之间的联系也更容易理解了。措辞是文字特有的信息，拍摄角度是图片特有的信息，场景中的主体和关系，则可能被两种观察共同保留。如果分别训练的模型都学会提取这些共同结构，它们的内部表征就有机会相通。

由一个从未接受过任何图像-文字对训练的网络生成的字幕：使用了冻结的 DINOv2 和 DINOv3 图像编码器，仅旋转一次，并采用仅基于文本微调的语言模型，每次场景变化都会生成新的字幕。

作者为此给出了数学条件。在理论构造的有限世界中，他们假设每种观察都足以确定对应的世界状态。如果不同模态的训练连接相同的世界状态关系，那么还原到世界状态后，各模型就在求解同一个优化问题。在最优解除旋转外唯一等条件下，得到的表征便只差一次整体旋转。

就像两个人各画一张地图，朝向不同，但城市间的相对位置一致，转动后就能重合。

这也引出了与下一 token 预测的比较：让模型预测后面的词，会给它怎样的学习信号？

为了准确续写，模型需要利用内容，也需要利用语法、措辞和文体。作者通过改写目标函数，将下一 token 预测纳入类似 JEPA 的框架，指出它连接的是同一篇文档的前缀与后续内容。这种连接保留了文档自身的表达特征。

据此，作者提出一种解释：好视图训练直接连接同一场景的不同描述；下一 token 预测则需要从大量语言关联中，逐渐建立这些描述之间的联系。对于形成可与视觉模型对齐的表征，后者可能需要更多数据。

实验接下来要检验的，就是这种训练信号的差别，究竟会带来多大的效果差距。

换一种训练方式，能带来多大变化？

如果前面的解释成立，那么在模型规模、训练语料相同的情况下，改变视图的选择，就应该改变模型与视觉表征的接近程度。

团队首先在 Flickr30k 上检验这一点。这个数据集中的每张图片都有五份人工描述，既能提供同一场景的不同表达，也能从单句描述中加工出多个版本，适合比较好视图与坏视图的差别。

研究人员使用相同的文本编码器和描述语料，分别训练好视图 JEPA、坏视图 JEPA，以及下一 token 预测模型，再与独立训练的视觉编码器比较。

怎样判断它们是否学到了相近的结构？一种办法是比较各自选出的「邻居」。对于同一批图文样本，视觉模型为图片找出相近的图片，文本模型为描述找出相近的描述。如果两边选出的邻居经常对应，就说明它们组织这些场景的方式比较一致。论文使用的 mutual 10-NN 指标，衡量的就是这种邻域重合程度。

结果显示，好视图 JEPA 得到的文本表征，与视觉表征更一致

在 Flickr30k 实验中，好视图 JEPA 在邻域重合程度及旋转映射后的图文检索指标上均领先。

不过，好视图训练还使用了一个额外信息：哪些描述属于同一张图片。提升会不会主要来自这层关联？

为此，作者将同一图片的两份描述拼接起来，交给下一 token 预测模型学习，结果提升仍然很小。这说明，提供相关描述之后，还需要考虑怎样用它们训练：将两份描述放在一起续写，与直接要求它们形成相近表征，带来的效果并不相同。

接下来的问题是，这种优势能否扩展到规模更大、来源更复杂的网络文本。

团队采用 Recap-DataComp 数据，其中每张图片对应原始替代文本，以及 LLaVA 生成的两份描述。这些文字提供了同一图片的多个视图，文本模型在训练中读取文字。

在这里，作者进一步比较了达到相近对齐水平所需的训练样本量。使用相同的 1.09 亿参数编码器、同一语料来源，好视图 JEPA 处理 2160 万训练样本后，取得了 0.109 的 WIT 对齐分数；下一 token 预测处理 9 亿样本后，取得 0.111。

两组已评估结果的分数接近，样本量相差约 42 倍。由于好视图训练每个样本读取三份文本，按实际读取的文本 token 计算，差距约为 14 倍。这将训练方式的影响落实到了数据利用效率上。

那么，继续扩大训练，好视图 JEPA 能达到什么水平？

团队使用 9.4 亿张网络图片对应的文本，将 1.09 亿参数模型的训练扩大到 9 亿样本。在 WIT-1024 基准上，以 DINOv2-B 为视觉参照，默认配置的三次训练取得平均 0.184 的对齐分数，高于 Qwen2.5-72B 的 0.154，以及 Llama-3-70B 的 0.151。

这就是「1.09 亿参数超过 720 亿」对应的具体结果：小模型学到的文本邻域结构，与这个独立训练的视觉模型更加一致。

同规模的对照再次体现了训练方式的作用。使用相同编码器、相同文本和相同训练样本数，下一 token 预测得到 0.111，坏视图 JEPA 为 0.088，均低于好视图 JEPA 的 0.184。将视觉参照换成 CLIP，或改用 COCO 测试集，好视图 JEPA 仍保持领先。

好视图训练在网络文本扩展实验中的表现。

至此，实验从三个层次支持了前面的解释：改变训练方式可以提高对齐水平，可以减少达到相近水平所需的样本，也可以让一个较小的模型获得比大语言模型更接近视觉模型的表征结构。

这种结构上的接近，能否进一步变成功能？

作者用图像描述任务做了展示。先训练文本解码器，让它根据文本 JEPA 的向量还原描述。处理图片时，再由冻结的视觉编码器提取向量，通过一个线性映射转换到文本表征空间，交给解码器生成句子。

其中，映射使用图文配对数据拟合，解码器在文字上训练。进一步组合 DINOv2、DINOv3 等组件后，系统在 COCO 上取得了 0.838 的 CIDEr 分数，该指标衡量生成描述与人工描述的一致程度。

分别学习的视觉与文本模块，由此接了起来：图片提供的场景信息，经过映射进入文本表征空间，最终被读成一句描述。

作者展示的 COCO 图像描述案例。分别学习的视觉与文本模块，通过映射连接起来，将图片中的场景信息转换为文字描述。

结语

对 LeCun 持续推进的世界模型路线而言，这篇论文在表征学习环节构筑了基础，它解释了不同模态在什么条件下可能形成共同结构，也展示了训练目标对学习效率的影响。在此基础上，这些表征能否支持可靠的预测与规划，将决定这条路线接下来能走多远。

Yann LeCun 的研究给多模态模型提供了一条值得继续验证的方向。

参考内容：

https://x.com/ylecun/status/2116977821088096276