据 MarkTechPost 报道，日本 Sakana AI 的研究人员提出一种名为增广拉格朗日预测编码（PC-ALM）的训练方法，在保持每层权重更新完全局部化的同时，恢复与反向传播对齐的信用信号。研究团队称，用该方法在 MNIST 上训练的残差多层感知机最深达到 1000 层，测试性能与反向传播相差约 2 个百分点以内。
反向传播是一个全局算法：前向传播、反向传播、权重更新依次串行，每一步都被前一步锁住。大脑中尚无已知机制支持这种全网络范围的相位锁定，这也是预测编码（PC）等局部学习替代方案持续受到关注的原因。PC 把每个隐藏层激活视为优化变量，惩罚每层激活与来自下层预测之间的平方失配：推理是在该能量上的梯度下降，学习则近似 Hebbian 式的权重步。问题在于监督信号从输出端进入，要穿过一连串局部折中才能扩散到输入端；网络又深又窄时，信用信号在到达输入端之前就已衰减。Innocenti 等人此前刻画了 PC 与反向传播之间的差距随宽度和深度的变化，当宽度小于深度时差距最大。
PC-ALM 从约束优化的视角重新看待训练：在每一层满足 hi=σ(Wi hi−1) 的约束下最小化监督损失。PC 相当于该问题的二次惩罚松弛，PC-ALM 则改用增广拉格朗日形式，在保留 PC 惩罚项的同时，为每层约束附加一个维度与激活相同的拉格朗日乘子 λi；当 λ=0 时，PC-ALM 精确退化为 PC。其推理交替执行两步局部更新：对激活的原始梯度步，以及累积该层预测误差的对偶步 λi←λi+αri。配方后可看出，每个原始步就是一次标准 PC 步，只是预测目标被平移了 −λi/ρ。经过 T 步后，权重更新作用于 λi+ρri 这一复合信号。团队将其解读为每层一个 PI 控制器：预测误差是比例项，乘子是积分项；α=0 对应 PC，α=ρ 且内层问题被精确求解时则对应经典乘子法。
LeCun 早在 1988 年就观察到，约束网络的拉格朗日乘子在 KKT 点等于反向传播的伴随变量。该团队证明，在线性 PC 网络中满足谱半径稳定条件时，PC-ALM 会收敛到该 KKT 点：激活回到前向传播的取值，每个 λi 积分到精确的反向传播伴随量。逐模态稳定界为 ηh σi²(2ρ+α)<4，在 α=0 时退化为 PC 的条件。与 PC 单调的梯度流不同，PC-ALM 的迭代矩阵具有复特征值，会产生阻尼振荡，α 决定振荡频率但不决定衰减速率。
实验方面，团队在 Fashion-MNIST 和 MNIST 上扫描了宽度与深度从 8 到 128 的残差 MLP，采用 Innocenti 等人的平均场参数化，训练 1 个 epoch。在推理预算 T=2L 时，PC-ALM 在全部宽度、深度和激活函数（identity、tanh、ReLU）组合上都与反向传播相当，而 PC 在深层窄网络中急剧下滑。仓库中的参考配置（宽度 32、深度 32、ReLU、Fashion-MNIST）报告测试准确率：反向传播 78.66%，PC 68.13%，PC-ALM 77.75%，其相对反向传播的梯度余弦相似度从 0.604 升至 0.909。团队还报告了更大规模的结果：在 MNIST 上用宽度 32、ReLU、训练 5 个 epoch 的 1000 层残差 MLP，结果与反向传播相差约 2 个百分点以内；在包括 CIFAR-10 上的 ResNet-18 和 Tiny ImageNet 在内的所有尝试过的基准上，PC-ALM 都优于 PC。
该研究提供 MIT 许可的 JAX 参考实现，可在 CPU 上运行并复现论文中的宽度-深度网格结果。研究团队说明，PC-ALM 是一种训练方法而非模型，目前只在小型图像基准上做过测试。