標準的な深層学習では、バックプロパゲーションに依存しています：前方パスで予測を計算し、その後、誤り勾配を出力層からすべての層を通じて逆方向に伝播させて重みを更新します。問題なのは、バックプロパゲーションがネットワーク全体にわたって正確で同期化された協調を必要とする点です。例えば、前方層のニューロンは、誤り信号が到着するのを待っている間、その活性化を維持しなければなりません。神経科学者は、厳密なタイミングを制御する脳のメカニズムは知られていないと長く指摘しており、誤り伝播を伴わずにクレジットを割り当てるローカル学習ルールを探す動機となっています。
予測符号（PC）は、そのような代替案の一つです。各層は、下位層の活性化を予測しようとします。上方に伝播されるのは、予測誤差のみ、つまり不一致部分です。数学的には、これによりバックプロパゲーションの同期化されたパスを回避できます：層は反復的に「自由エネルギー」を最小化する活性化を調整し、各更新は隣接する層にのみ影響します。PCは浅いまたは幅広いネットワークで機能してきましたが、信号減衰の問題を抱えています。深層、狭層のネットワークでは、出力層で発生した監督クレジットが、層の連鎖を通じて、局所的な妥協の過程で消散する前に、前の層に影響を与えるには弱すぎます。更新ごとの計算量が増えることで、複数の推論ステップを踏むとこの問題が改善されますが、逆転的なアプローチです。
PC-ALMは、古典的な最適化ツールである増分ラグランジュアン法で予測符号を拡張します。各層は、活性化ベクトルと同じサイズのデュアル変数（ラグランジュ乗数）を持ちます。推論中、このデュアル変数は、制約の残差（予測誤差）を蓄積します。線形ネットワークでは、これらのデュアル変数が、総称な計算のみで、正確なバックプロパゲーションのクレジット信号に収束します。非線形ネットワークでは、ダイナミクスはプリマル変数の昇降トレース、つまり、双対的な進法となり、プラマル変数（活性化）はエネルギーを低減するように下降し、デュアル変数は蓄積された誤りを昇ります。
This figure illustrates the paper's key result that PC-ALM maintains accuracy within approximately two percentage points of backpropagation even at extreme depths of 1000 layers, validating the effectiveness of the augmented Lagrangian approach for credit propagation in deep networks.
実用上の効果として、誤り伝播がPCの拡散する熱流のような拡散ではなく、『弾性』な伝播を特徴とする波紋のようにネットワークを通じて伝播されます。著者はこれを『弾性』なクレジット伝播と呼びます。PC-ALMでは、クレジット信号は層間で均等に広がり、深さとともに減衰しません。MNISTでは、PC-ALMは残差MLP（幅32、ReLU）を最大1000層まで学習でき、バックプロパゲーションからの精度を、テストされたすべての深さ範囲にわたって約2パーセンテージポイント以内で維持します。CIFAR-10およびTiny ImageNetのResNet-18では、PC-ALMはすべてのベンチマークでPCを上回り、深さが増すにつれてバックプロパゲーションとのギャップを縮めます。
This visualization demonstrates PC-ALM's robustness across multiple image classification datasets, confirming that the method improves over standard predictive coding and progressively closes the performance gap with backpropagation on CIFAR-10 and Tiny ImageNet as network depth grows, supporting claims of ballistic credit propagation.
重要な注意点がいくつかあります。この研究では、比較的単純なフィードフォワードタスクを実験的に使用しました。著者たちは、PC-ALMを大規模なトランスフォーマーや言語モデルに適用した例を、まだ示していません。PC-ALMは、同等の推論予算を条件に、バックプロパゲーションと同等のパフォーマンスを達成しますが、計算効率が高いわけではありません。単に、PC単独では失敗する領域で、ローカル更新を用いて、バックプロパゲーションと同等の精度を達成するだけです。論文の筆者は、サカナAIのジェフリー・シーリーとジュリアン・ゴールドで、2026年5月29日にarXivに投稿しました（arXiv:2605.31022）。
本結果は、原理実証として理解するのが最適です：ニューロモーフハードウェアでは、GPU実行よりも動的システムシミュレーションの方が安価な場合、勾配のような指導信号が、ネットワーク全体にわたって、層局所的なダイナミクスで伝播できます。供された情報には、Fristonの自由エネルギー原理に関連するものや、事前学習済みモデルの微調整、argmaxや専門家混合など離散的コンポーネント、あるいは大規模モデルの接続性に関する情報は含まれていません。