バックプロパゲーションなしで1000層ネットワークを学習:PC-ALM
サカナAIの研究者が、レイヤー間通信のみを用いたローカル学習ルールであるPC-ALM(Augmented Lagrangian Predictive Coding)を紹介。これは、出力層からの誤り伝播を必要としない方法で、最大1000層の残差MLPを学習できます。MNISTでは、PC-ALMはテストされたすべての深さにおいて、バックプロパゲーションから約2パーセンテージポイント以内の精度を維持しました。この方法は、予測符号の「弾性」な伝播を特徴とし、予測符号の拡散による深さ減衰という長年の弱点を克服しています。
記事全文を読む →











