ニューラルネットワークはしばしば複雑なブラックボックスと見なされますが、特定の視点では、すべての層を一種の連合記憶として捉えることができます。この枠組みにおいて、記憶ストレージとは一連のキーと値のペアを保持する関数です。ユーザーが入力を提供すると、システムは保存されたキーとの類似性に基づいてルックアップを行い、対応する値を検索します。このシステムにおける主な課題は「干渉」です。より多くの記憶を保存するにつれて、それらは互いに重なり合い干渉し始め、検索の精度を低下させます。
これらの記憶ストレージの容量は、根本的にシステムの次元によって制限されます。記憶を外積として蓄積する基本的な線形層は、その次元に比例する数のキーと値のペア（$O(d)$）しか効果的に保存できません。この容量を増大させるには、ネットワークはノイズと干渉を抑制する必要があります。マルチレイヤーパーセプトロン（MLP）に見られるような非線形性を導入することで、容量は$O(d^2)$まで拡張されます。例えば、標準的な線形セットアップからReLUベースのMLPやGated Linear Unit（GLU）に移行することで、利用可能な容量を事実上「二乗」し、ネットワークが大幅に多くの情報を保存できるようになります。
この画像は、ニューラルネットワークの層がどのように連合記憶ストレージとして機能するかを探求する記事の主要な視覚資料として機能します。
Transformerアーキテクチャは、この進化の頂点に位置します。指数関数はべき乗の和と見なすことができるため、$\sqrt{d}$の再スケーリングを伴う自己注意（self-attention）メカニズムは、高容量の記憶ストレージとして機能します。64次元の空間において、このメカニズムは理論上最大100万のキーと値のペアを保存できます。この視点は、単純なMLPから複雑なTransformerに至る現代AIのアーキテクチャ上の選択が、本質的に記憶の積み重なりや干渉を管理することで「チャネル容量」を最大化するための異なる手法であることを示唆しています。しかし、これらのヒューリスティックな議論は、モデルがどのように事実を「記憶」するかの明確な道筋を提供する一方で、特定の重みがどのように複雑な概念を表現しているかという正確なメカニズムは、現在進行中のメカニスティックな解釈可能性の研究における核心的な焦点であり続けています。
この分析は、複雑さと容量の間のトレードオフを浮き彫りにしています。線形層から自己注意層へと移行するにつれて、より多くの異なる記憶を保存する能力を獲得する一方で、モデルが管理しなければならない干渉パターンの複雑さも増大します。データの量が増大するにつれて精度を損なうことなく、モデルが世界の知識を保存・検索する能力を向上させるためには、これらの限界を理解することが極めて重要です。
この記憶中心の視点は、Transformerの層を理解するための強力なヒューリスティックを提供しますが、それがすべての重みの機能を記述する文字通りの説明ではなく、容量を解釈するための理論的な枠組みであることに注意が必要です。モデルの実際の性能は、アーキテクチャの理論的な容量と、それらの記憶を充填するために使用される特定の訓練データの両方に依存します。
最終的に、ニューラルネットワークを連合記憶のレンズを通して見ることは、なぜ特定のアーキテクチャが選ばれたのかを明確にするのに役立ちます。各層を記憶ストレージとして扱うことで、研究者は次元やノイズを抑制するために採用される非線形性に基づいて、モデルが「知ることができる」ことの限界をより正確に見積もることができます。この視点は、チャネル容量のような伝統的な通信工学の概念と、現代のディープラーニングアーキテクチャの間に架け橋を築くものです。
残された不確実性の一つは、これらの理論的な容量が、単純な事実の検索に対して、実際の「推論」にどのように変換されるかという点です。数学的にはTransformerにおけるキーと値のストレージが大幅に増加することを支持していますが、事実を保存することから多段階の論理的推論を実行することへの質的な飛躍は、メカニスティックな解釈可能性の分野において依然として活発な研究の対象となっています。