摘要：神经网络的崛起，得益于一个简单但强大的算法：反向传播。它的原理很直接，数据从输入层向前传播生成输出，随后计算输出和目标之间的误差，这个误差反向传播，逐层调整连接权重，优化性能。

神经网络的崛起，得益于一个简单但强大的算法：反向传播。它的原理很直接，数据从输入层向前传播生成输出，随后计算输出和目标之间的误差，这个误差反向传播，逐层调整连接权重，优化性能。

几十年间，这个算法驱动了整个人工智能领域。语音识别、图像分类、自然语言处理，几乎所有AI应用的背后，都有反向传播的影子。

但这里有一个致命问题：它根本不符合生物大脑的工作方式。

反向传播要求分阶段运行，前向计算、误差计算、反向传播和权重更新，必须严格分开。但人脑不这样运作。神经元在信息传递和学习时没有“暂停键”，它们持续处理信息，并在这一过程中同时进行学习。

更糟的是，反向传播依赖全局协调。误差信号必须准确地从输出层向后传播至每一层，并且所有神经元的权重必须同时更新。这种全球同步协调在生物神经网络中几乎不可能。

大脑是一个分布式的、自主的计算系统。每个神经元独立处理信息，并根据局部信息更新状态。它没有中央控制器，没有全局时间步同步。

这就引出了一个更具生物学启发的替代方案：预测编码。

预测编码的核心思想很简单：大脑并非被动地接受外界信息，而是主动预测。每一层神经元尝试预测下层神经元的活动，当预测错误时，产生误差信号，这些误差信号驱动神经元调整其连接权重，逐渐改善预测。

这种结构解决了反向传播的两大核心问题。首先，没有分阶段的“冻结”计算，神经元可以在预测和学习中同时活动。其次，更新是局部的，不需要全局协调。每个神经元只关心自己预测的误差。

更重要的是，这种机制与生物神经网络的物理结构高度一致。在大脑中，每个神经元不仅接受信息输入，还接收“误差信号”，这完全符合预测编码的模型。

那么，如何形式化预测编码？

核心是将神经网络视为一个能量最小化系统。每个神经元的活动水平被视为一个“节点”，它受到上层神经元的预测影响。这个预测和实际活动之间的差异被视为“弹簧张力”，所有这些“弹簧”拉力构成总能量。

系统的目标是通过调整神经元活动和连接权重，使总能量最小化。这种“弹簧”模型不仅描述了预测编码的数学本质，也暗示了其计算效率。

在这种框架下，每个神经元的活动更新遵循一个简单的规则：活动值应向预测靠拢，同时也应尝试改善对下层神经元的预测。这种双向压力确保了神经网络在平衡预测和实际数据之间达成最优配置。

权重更新也变得直观。一个神经元的连接强度将根据它与下层神经元的预测误差调整，越大的误差，调整越大。这种机制与“赫布学习规则”类似：一起触发的神经元将加强连接。

但预测编码并非完美。它在实现中也面临挑战，特别是如何有效地表示误差信号，如何确保这些信号能正确地影响相关神经元。

然而，预测编码的最大优势在于其生物学合理性和分布式特性。这不仅让它成为理解大脑学习机制的有力模型，也为构建更高效的人工神经网络提供了全新思路。

相比反向传播的全局同步和高计算成本，预测编码的本地更新和自适应特性让它更适合大规模分布式计算，甚至在某些任务上性能超越反向传播。

从反向传播到预测编码，人工智能正逐渐从数学优化走向生物启发的计算。随着生物神经网络的深入研究，预测编码或许将成为下一代AI算法的核心。

毕竟，真正强大的智能系统，不只是数据驱动的机器，而是能够持续修正、适应和学习的动态系统。

来源：老胡科学一点号