柏拉图表示假设(PRH)认为,随着人工智能模型的规模扩大,无论它们最初是基于文本、图像还是其他模态进行训练,最终都会收敛到对世界的共享、通用的表示。虽然这是 AI 研究中的一个核心猜想,但一直缺乏正式证明。Randall Balestriero 和 Yann LeCun 最近的研究通过建立“柏拉图表示定理”解决了这一问题。该定理证明,在不同模态上训练的联合嵌入预测架构(JEPAs),只要其正样本对由“优质视角”组成(即对同一场景的多次观察,且视角之间的偏差是有界的),就会学习到相同的表示——仅在单次旋转范围内有所不同。

作者将此与用于训练大多数现代语言模型的标准“下一标记预测”方法进行了对比。他们将下一标记预测归类为在“劣质视角”上训练的 JEPA——具体来说,是单个文档的片段。由于这些片段比同一场景的多个视角更不一致,语言模型需要巨大的规模才能将其内部表示与视觉模型的表示对齐。该研究揭示了一种特定的对齐缩放定律,表明“优质视角”显著更高效:它们比下一标记预测所需的训练样本少 42 倍,即可达到相同水平的模态间对齐。

在实际测试中,研究人员证明了一个相对较小的 109M 参数文本 JEPA,在与 DINOv2 和 CLIP 等图像编码器对齐的能力上,优于他们评估的所有高达 72B 参数的语言模型。这表明,目前依靠大规模来弥合文本和视觉之间差距的现象,是使用低效数据结构的副产品。虽然“优质视角”提供了通往共享世界模型更快的路径,但它们需要特定的数据配对——即对单个场景的多次观察——而不是目前驱动大语言模型开发的普遍序列数据。这一发现将重点从单纯增加模型规模转向提高训练视角的质量和结构,以实现更快、更高效的对齐。