标准的深度学习依赖于反向传播:前向传播计算预测,然后反向传播将误差梯度从输出端传回每一层以更新权重。问题在于,反向传播需要整个网络精确且同步的协调——早期层中的神经元必须保持其激活状态,等待误差信号到达。神经科学家长期以来注意到,大脑中并没有已知的机制可以实现如此严格的时序控制,这促使人们寻找能够分配信用且无需全局反向传播的局部学习规则。
预测编码(PC)就是这样一种替代方案。每一层尝试预测其下方层的活动;只有预测误差(不匹配部分)会被向上传递。从数学上讲,这避免了反向传播的同步传递:各层迭代调整其激活值以最小化共享的“自由能”,且每次更新仅涉及相邻层。PC 已在浅层或宽网络上取得成效,但它面临信号衰减问题。在深层窄网络中,源自输出端的监督信用信号在通过一系列局部折衷链传递之前,就会变得太弱,以至于无法影响早期层。增加推理步数有助于缓解此问题,但代价是每次更新所需的计算量增加。
PC-ALM 通过引入经典的优化工具——增强拉格朗日(augmented Lagrangian)来增强预测编码。每一层获得一个与其激活向量大小相同的对偶变量(拉格朗日乘子)。在推理过程中,该层更新其激活值以减少预测误差,同时对偶变量累积残余的约束违规。在线性网络中,这些对偶变量仅通过局部计算即可收敛到精确的反向传播信用信号。在非线性网络中,其动力学演变为一种原对偶上升形式:原变量(激活值)在能量上下降,而对偶变量在累积误差上上升。

此图说明了论文的核心结果:即使在 1000 层的极端深度下,PC-ALM 仍能保持与反向传播约两个百分点以内的准确率,验证了增强拉格朗日方法在深层网络信用传播中的有效性。
其实际效果是形成了一股信用波前,其移动速度快于 PC 那种扩散式的、类似热流的传播。作者称之为“弹道式”信用传播:在 PC-ALM 中,信用信号均匀地分布在各层,而不是随着深度增加而衰减。在 MNIST 上,PC-ALM 训练高达 1000 层(宽度 32,ReLU)的残差 MLP,并在整个深度范围内保持在约两个百分点内的反向传播准确率。在 CIFAR-10 和 Tiny ImageNet(ResNet-18)上,PC-ALM 在每个基准测试中均优于 PC,并且随着深度增加,与反向传播的差距不断缩小。

此可视化展示了 PC-ALM 在多个图像分类数据集上的鲁棒性,确认了该方法优于标准预测编码,并随着网络深度增加,在 CIFAR-10 和 Tiny ImageNet 上逐步缩小与反向传播的性能差距,支持了弹道式信用传播的观点。
这里有一些重要的限制条件。实验使用的是相对简单的前馈任务;作者尚未展示 PC-ALM 在大型 Transformer 或语言模型上的表现。该方法在匹配的推理预算下达到了与反向传播相当的性能,但它似乎并不更具计算效率——它只是在 PC 单独失效的地方实现了可比的准确率,且仅使用局部更新。该论文由 Sakana AI 的 Jeffrey Seely 和 Julian Gould 于 2026 年 5 月 29 日提交至 arXiv。
这一结果最好被理解为一种原理证明:梯度般的监督信号可以通过仅利用层局部动力学在深层网络中分布,这对神经形态硬件具有重要意义,因为在这些硬件上,动力系统模拟比 GPU 执行更便宜。该方法是否能扩展到评论中讨论的大型、离散或组合架构仍是开放的问题——提供的资料并未涉及微调预训练模型、argmax 或专家混合(mixture-of-experts)等离散组件,也未涉及与 Friston 自由能原理的联系。