プラトニック表現仮説（PRH）は、人工知能モデルがスケールアップするにつれて、元々テキスト、画像、またはその他のモダリティで訓練されたかに関わらず、最終的には世界の共通の普遍的な表現に収束するという仮説です。これはAI研究における中心的な推測の一つでしたが、正式な証明を欠いていました。Randall BalestrieroとYann LeCunによる最近の研究は、「プラトニック表現定理」を確立することでこの課題に対処しています。この定理は、異なるモダリティで訓練されたJoint-Embedding Predictive Architectures（JEPAs）が、それらのポジティブペアが「優れた視点」で構成されている場合に、同じ表現を（最大でも単一の回転を除いて）学習することを証明しています。ここでいう「優れた視点」とは、視点間の不整合が制限された範囲内にある、同じシーンに対する複数の観察を指します。

著者らはこれを、ほとんどの現代の言語モデルの訓練に使用される標準的な「次トークン予測」法と対比させています。彼らは次トークン予測を、「悪い視点」、具体的には単一の文書の断片で訓練されたJEPAとして分類しています。これらの断片は、単一のシーンに対する複数の視点よりも一貫性が低いため、言語モデルが内部表現をビジョンモデルの表現と一致させるには、巨大なスケールが必要となります。この研究はアライメントの特定のスケーリング則を明らかにし、「優れた視点」が大幅に効率的であることを示しています。つまり、モダリティ間の同じレベルのアライメントに到達するために、次トークン予測よりも42倍少ない訓練サンプルで済むことを示しています。

実用的なテストにおいて、研究者たちは、比較的規模の小さい109MパラメータのテキストJEPAが、DINOv2やCLIPのような画像エンコーダーとアライメントする能力において、評価したすべての最大72Bパラメータまでの言語モデルを上回ることを実証しました。これは、テキストとビジョンの間のギャップを埋めるために現在依存している巨大なスケールが、非効率なデータ構造を使用していることの副産物であることを示唆しています。「優れた視点」は共通の世界モデルへのより速いルートを提供しますが、それには現在の大規模言語モデルの開発を支えている遍在的な逐次データではなく、特定のデータペア、すなわち単一のシーンに対する複数の観察が必要です。この発見は、単にモデルのサイズを大きくすることから、より速く効率的なアライメントを達成するために訓練データの視点の質と構造を改善することへと焦点を移します。