JEPA给跨模态趋同写下公式

2026年10月29日，Randall Balestriero与Yann LeCun发布了一项关于联合嵌入预测架构的新研究，试图把长期停留在经验观察阶段的“柏拉图表征假说”变成一个可以证明、测量和优化的问题。

这项工作的核心结论很直接：如果不同模态的自监督模型把同一现实场景的不同观察当作正样本，它们可以在独立训练后学到相同的世界表征，彼此只差一个旋转变换。

更值得关注的是实验结果。一个只有1.09亿参数的文本JEPA，在部分跨模态对齐指标上超过了Qwen2.5-72B、Llama 3 70B和CLIP文本编码器；在相同语料条件下，它达到特定对齐水平所需的训练样本数，只有下一词预测模型的约1/42。(huggingface.co)

这并不意味着1.09亿参数的JEPA已经成为更强的通用语言模型，也不意味着“规模定律失效”。这项研究真正挑战的是另一件事：下一词预测也许并不是学习跨模态世界表征的高效路径。

从经验观察到条件定理

柏拉图表征假说（Platonic Representation Hypothesis，PRH）是指：随着模型、数据和任务规模增长，不同架构、不同模态训练出的模型，会逐渐收敛到某种共享的现实世界表征。

这个名字来自柏拉图洞穴寓言：图像模型看到的是像素，语言模型看到的是文字，视频模型看到的是连续帧，它们就像从不同角度观察墙上的影子。如果这些影子都来自同一个现实世界，那么足够强的模型最终是否会推断出相似的“洞外结构”？

过去的研究已经发现，规模更大的视觉模型和语言模型往往具有更相似的内部几何结构，但这种现象主要是相关性观察。它无法回答模型为何趋同，也无法告诉研究者应该怎样设计训练目标，才能更快得到可对齐的表征。

JEPA（Joint-Embedding Predictive Architecture）是一类在潜在表征空间预测目标，而不是直接重建输入细节的自监督学习架构。

例如，传统生成模型可能需要预测一段文字中的下一个词，或者重建被遮挡的像素；JEPA更关心“被遮挡部分在语义空间中应该是什么”。这种设计试图忽略像素噪声、措辞差异等难以预测且未必重要的细节，把计算资源集中在场景、对象、动作和因果结构上。

新论文提出的“柏拉图表征定理”可以被压缩成一句话：当多个模态观察的是同一个有限世界，观察映射可逆，并且各模态使用相同的正样本关系训练JEPA时，它们学到的表征在理想条件下只相差一个正交旋转。

这里的“旋转”不是把图片转90度，而是嵌入空间中的坐标系变换。两个模型可能分别用不同方向表达“狗”“奔跑”和“草地”，但它们保留的距离、邻域和几何关系相同；只要找到一个旋转矩阵，就能让两个空间重合。

这类似两张使用不同经纬度原点绘制的地图：坐标值不同，不代表地理结构不同。只要完成一次坐标转换，道路、城市和距离关系就可以对应起来。

真正决定趋同的不是参数，而是“视图”

好视图（good views）是来自同一世界状态、但不共享模态特有噪声的两种观察。

同一张图片的两条独立描述是好视图，因为它们共享场景语义，但可以使用完全不同的词序和措辞；同一场景从两个摄像机角度拍摄的照片也是好视图，因为它们共享对象与空间结构，但不共享具体像素。

坏视图（bad views）是同一份观察经过遮挡、裁剪或局部变换形成的两个版本。

把一句话随机遮掉两部分，再要求模型对齐两个版本，通常仍会保留原句的措辞、作者风格和局部词汇。把同一张照片裁成两个区域，也可能让模型过度关注纹理、背景和拍摄角度，而不是场景背后的稳定状态。

论文的判断是：正样本关系决定模型究竟在压缩“世界”，还是在压缩某一种模态的表达习惯。

如果两条文本描述的是同一幅图，它们共同拥有的是现实场景；如果两个文本片段来自同一篇文章，它们共同拥有的还包括作者用词、文体和上下文结构。后者包含更多语言模态独有的干扰信息，因此更难与纯视觉表征趋同。

这一点比“JEPA比生成模型先进”更重要。JEPA并不会自动得到通用世界模型，裁剪、遮挡和正样本构造方式仍然决定它学到了什么；一个使用坏视图的JEPA，依旧可能把大量维度浪费在模态特有信息上。

下一词预测被重新解释成“坏视图JEPA”

下一词预测可以被解释成一种特殊的JEPA，其正样本是文本前缀及其后续内容，防止表征坍缩的机制则来自Softmax的对数配分项。

这个解释把大语言模型的训练目标放进了统一框架：模型看到前缀后预测后续词，相当于让前缀表征靠近对应的文本延续，同时通过词表竞争避免所有输入坍缩成同一个向量。

问题在于，前缀和后续内容通常来自同一篇文档。它们不只共享现实世界的信息，还共享写作者、词汇习惯、句法结构和文档主题。这些内容对于预测下一个词非常有用，却未必能在图像或视频中找到对应关系。

下一词预测并非无法形成世界表征，而是可能需要依靠海量数据跨越文体与措辞造成的连接障碍。

当语料足够大时，不同文档会通过重复出现的实体、概念和常用词间接连通，语言模型仍然能够逐渐逼近视觉模型的结构。但这条路线更像依靠规模暴力修路，而好视图训练是直接告诉模型哪些观察来自同一个现实状态。

论文在相同语料上比较了三种训练方法：好视图JEPA、使用两个遮挡文本版本的坏视图JEPA，以及下一词预测。好视图模型用2160万训练样本达到0.109的WIT对齐分数，而下一词预测模型在9亿样本后达到0.111，相差约42倍；如果按实际读取的文本Token计算，差距约为14倍。(arxiv.org)

42倍这个数字需要谨慎解读。两组实验使用了不同批量大小与学习率，而且研究者没有保存更早的下一词预测检查点，因此它更接近一次具体训练配置下的样本效率比较，而不是适用于所有语言模型的固定常数。

1.09亿参数，跨模态对齐超过72B模型

跨模态对齐不是在测语言生成能力，而是在测两个模型是否用相似的几何结构组织现实概念。

论文主要使用mutual 10-NN指标衡量表征对齐。该指标会分别找到一个样本在图像空间和文本空间中的10个最近邻，再计算两组邻居有多少重合；如果两个编码器都把汽车、道路和交通灯放在相似的语义邻域，对齐分数就会更高。

研究团队还使用线性CKA、跨模态检索和无需配对数据的零样本分类进行交叉验证，避免结论完全依赖单一指标。

| 文本编码器 | 参数量 | 训练目标 | WIT对齐：DINOv2-B mutual 10-NN | WIT对齐：CLIP-H | COCO对齐 | |---|---:|---|---:|---:|---:| | 好视图文本JEPA | 109M | 同一图片的不同文本视图 | 0.184 | 0.230 | 0.161 | | 下一词预测对照组 | 109M | 预测下一个Token | 0.111 | 0.146 | 未报告 | | 坏视图JEPA | 109M | 同一文本的两个遮挡版本 | 0.088 | 0.116 | 未报告 | | Qwen2.5-72B | 72B | 下一词预测 | 0.154 | 0.210 | 0.108 | | Llama 3 70B | 70B | 下一词预测 | 0.151 | 0.206 | 0.113 | | CLIP文本编码器 | 未列入该组参数比较 | 图文配对训练 | 0.124 | 0.159 | 0.132 |

1.09亿参数JEPA的优势主要体现在表征几何，而不是完整模型能力。

它不能因为对齐分数更高，就替代Qwen2.5-72B处理代码、推理或长文本生成。更准确的说法是：为了让文本空间与独立训练的视觉空间共享邻域结构，一个较小模型配合正确的正样本，可能比把生成模型扩大数百倍更有效。

研究团队的最大文本JEPA在9.4亿张网络图片对应的文本上训练，读取约1160亿Token；作为比较，论文列出的70B级语言模型通常使用15万亿至18万亿Token训练。这个对比支持“视图设计能够提高对齐效率”，但不等同于总训练成本降低相同比例，因为批量、优化器、模型利用率和数据生成成本都不一样。(arxiv.org)

对齐之后，模型可以直接拼起来

当两个编码器只差一个旋转时，跨模态系统不一定需要重新训练一套庞大的联合模型。

研究团队冻结了DINOv2和DINOv3视觉编码器，再用一个带正交约束的线性映射把图像嵌入旋转到文本JEPA空间，最后接入只在文本上训练的描述生成器。这套系统在COCO上获得0.838的CIDEr分数。

这个实验的意义不是刷新图像描述榜单，而是证明模块化组合确实可行。视觉编码器和文本编码器此前没有共同训练，系统只需要拟合一个线性坐标变换，就能把图像表征交给文本解码器。

无配对对齐进一步测试了共享几何是否真实存在。

在不使用图文对应关系拟合旋转的设置下，1.09亿参数好视图JEPA取得86.0%的CIFAR-10准确率、67.2%的CIFAR-100准确率和64.4%的ImageNet-100 Top-5准确率；同条件下，Qwen3-8B在ImageNet-100上为47.6%，下一词预测对照组只有20.3%。(arxiv.org)

| 无配对对齐模型 | CIFAR-10 | CIFAR-100 | ImageNet-100 Top-5 | |---|---:|---:|---:| | 好视图JEPA 109M | 86.0% | 67.2% | 64.4% | | 好视图JEPA 33M | 83.2% | 60.9% | 57.9% | | Qwen3-8B | 83.4% | 61.7% | 47.6% | | 下一词预测109M | 25.5% | 19.9% | 20.3% | | CLIP文本编码器 | 84.0% | 67.0% | 68.7% |

CLIP仍然是一个重要上限参照，因为它本来就在4亿组图文配对数据上联合训练。好视图JEPA真正展示的是：即使文本编码器从未直接读取像素，也能借助按场景组织的文本视图获得接近跨模态训练模型的几何结构。

对齐也出现了自己的规模定律

对齐规模定律是指跨模态对齐水平能够由训练样本量、独立数据量和好视图比例共同预测。

研究团队在45组训练配置上拟合经验公式，再提前预测85次尚未运行的实验。预测Flickr图文检索R@1的均方根误差为0.0093，而同一配置更换随机种子产生的误差约为0.0096。

这意味着在该实验范围内，公式预测一次未知训练的精度，已经接近把同一实验重新运行一遍。不过，这条定律只在特定BERT-S训练配置和数据分布上得到验证；当样本量扩大到拟合范围的4倍时，公式会高估纯好视图训练的收益，因为它没有充分处理数据重复问题。(arxiv.org)

论文最大的漏洞，也来自数据

这项研究最强的规模实验并非完全摆脱了图文配对知识。

9.4亿图片数据中的每张图片对应一个网页Alt-text和两条由LLaVA生成的重描述，而LLaVA的视觉编码器来自CLIP ViT-L/14。文本JEPA虽然没有直接读取像素，也没有使用跨模态损失，但部分训练文本已经包含了从视觉语言模型蒸馏而来的图像信息。

这一因素对“好视图优于坏视图”的对照结论影响较小，因为三个对照模型读取的是同一批文本；但它会削弱“纯文本JEPA超过70B语言模型”的强叙事，因为好视图模型获得了经过视觉模型加工的文本。

不使用图像描述模型时，对齐成绩会明显下降。

在较小规模消融实验中，用原始Alt-text加纯文本模型生成的改写作为好视图，WIT分数只有0.060；加入LLaVA重描述后达到0.107。也就是说，好视图结构本身确实带来收益，但模型输入中包含多少视觉语义，同样决定了最终上限。(arxiv.org)

定理与实际训练目标之间也存在理论缝隙。

论文严格证明的是使用白化二阶防坍缩目标、满足谱间隔等条件的JEPA；大规模实验实际使用的是LeJEPA与SIGReg正则化。SIGReg的最优解是否一定只相差旋转，目前仍是一个假设，而不是已经覆盖实验系统的完整证明。

此外，第四个大规模随机种子由于有效SIGReg权重翻倍，WIT分数从其他三个种子的约0.179至0.191下降到0.121。四个种子平均为0.168，仍高于论文测试的语言模型，但说明训练稳定性和超参数敏感度还不能忽略。(arxiv.org)

这项研究真正改变了什么

这篇论文最有价值的部分不是宣称“JEPA已证明所有模态终将统一”，而是把正样本设计提升为世界模型训练的核心变量。

过去谈基础模型，行业习惯首先讨论参数量、Token数量、GPU规模和数据规模。这项研究提供了另一个维度：如果训练对构造得更接近现实状态的不同观察，模型可能不需要先扩大数百倍，才能得到可跨模态组合的表征。

这套思路对机器人和具身智能尤其有吸引力。

摄像头画面、触觉、语音指令、关节状态和动作轨迹都可以被视作同一环境状态的不同观察。如果各模态编码器能独立训练并通过简单旋转对齐，开发者就可以替换单个感知模块，而不必重新训练整个端到端系统。

这套思路对多模态模型架构也构成了挑战。

当前主流路线倾向于把视觉编码器接入语言模型，再用大量图文、视频文本和指令数据联合训练。JEPA路线则在问：是否可以先让每种模态分别学会描述同一个世界，再以很低的成本完成组合？

现阶段答案仍是“在受控实验中可以，在开放世界中尚未证明”。现实观察通常不是可逆的：一张图片无法还原声音，一段文字会省略颜色与位置，传感器也可能错过关键状态。论文的理想化定理没有解决这些有损观察，而这恰恰是实际多模态系统最常见的情况。

我们的判断是，这是一项比单纯刷新跑分更值得跟进的研究。

它没有证明下一词预测应该被淘汰，也没有交付一个能够直接替代大语言模型的通用产品；但它给出了一个清晰、可验证的工程判断：跨模态表征是否趋同，不只取决于模型有多大，更取决于训练数据告诉模型“什么才是同一件事”。

如果后续研究能在不依赖视觉模型生成文本的条件下复现0.184级别的对齐结果，并把旋转唯一性的证明扩展到SIGReg等实际目标，那么“先分别学习世界，再低成本拼接模态”可能成为联合多模态训练之外的一条真正可扩展路线。

参考来源

• Hugging Face论文页面：包含论文摘要、作者说明、核心实验数字及在线演示入口。
• 官方GitHub仓库：提供理论数值验证、345次训练记录、评测脚本、复现实验说明和MIT许可证。
• 在线图像与视频描述演示：运行由冻结视觉编码器、旋转映射和文本解码器组成的演示系统。