摘要：深度学习先驱 Richard S。Sutton 近期在 Amii（阿尔伯塔机器学习学院）发表演讲，指出当前的深度学习方法存在根本上的缺陷，进而分享了他对更好的深度学习的愿景，并将新的范式命名为 Dynamic Deep Learning。他在该愿景下提出了反向

深度学习先驱 Richard S。Sutton 近期在 Amii（阿尔伯塔机器学习学院）发表演讲，指出当前的深度学习方法存在根本上的缺陷，进而分享了他对更好的深度学习的愿景，并将新的范式命名为 Dynamic Deep Learning。他在该愿景下提出了反向传播算法，解决了当前持续学习中模型可塑性丧失的问题，并为未来能适应动态环境的深度学习网络指出了可行的方向。

01 Sutton：现在的深度学习在根本上有缺陷？

大型语言模型会在大型通用训练集上进行训练，然后在针对特定应用或满足政策和安全目标的较小数据集上进行微调，但最后在网络投入使用前会冻结其权重。就目前的方法而言，当有新数据时，简单地继续对其进行训练通常是无效的。新数据的影响要么太大，要么太小，无法与旧数据适当平衡。

1、Sutton 在演讲的开头就直观地介绍了他对深度学习的愿景，他将其称为 Dynamic Deep Learning（动态深度学习），而这种动态是为了让深度学习适应持续学习的环境。

① Sutton 强调了持续学习的重要性，即学习应该在每个时刻都在进行。持续学习更接近自然学习过程，所有自然系统（如动物和人类）都在持续学习，而不是在特定阶段学习。

② 当前的深度学习是瞬态学习（Transient Learning），其在一个特殊的训练阶段学习，且算法会在持续学习环境中失败，失去可塑性，产生灾难性遗忘，并在强化学习策略中崩溃。

2、围绕让深度学习更好地适应持续学习环境的愿景，Sutton 提出了 Dynamic Deep Learning 的范式。

① Dynamic DL 的网络被分为主干（Backbone）和边缘（Fringe）两部分。

② Backbone 是网络中已经学习且对当前功能重要的部分，应当被保护和保留。Fringe 则是网络中动态和探索性的部分，它试图生成对 Backbone 有用的特征。

3、Dynamic DL 的网络是动态地逐步构建的，通过逐个单元的增长来实现，而非预先设定的固定结构。如果 Fringe 生成的特征对 Backbone 有用，它就可以成为 Backbone 的一部分。

4、Sutton 进而探讨了寻找、保护和缓慢增长 Backbone 的新想法，以及通过「印记」（imprinting）、「主单元」（master units）和「影子权重」（shadow weights）、「效用传播」（Utility Propagation）、「持续反向传播算法」（Continual Backpropagation）以及「步长优化」（Step Size Optimization）在边缘创建特征的新想法。

5、Sutton 强调他在演讲中的分享的工作仅仅是实现 Dynamic DL 的第一步，尚不完整。他的想法建立于许多已完成的工作，部分研究已经发表，而其他案例则出现在别人的论文中。

① Sutton 在演讲中提到了一种持续反向传播方法。该方法出自 Sutton 团队 8 月 21 日发表于 Nature 上的论文《Loss of plasticity in deep continual learning》，该工作解决了深度学习网络在持续学习环境中会失去可塑性的问题。

02 持续反向传播算法了解一下？

持续反向传播算法最初由 Sutton 在 CoLLAs 2022 会议中，题为「Maintaining Plasticity in Deep Continual Learning」 的演讲中提出[33] 。而后，Sutton 团队在 2024 年 9 月于《Nature》发表论文《Loss of plasticity in deep continual learning》，阐述了持续反向传播的技术细节。

1、持续反向传播算法是 Sutton 团队提出的一种反向传播的变体，解决标准深度学习方法在持续学习环境中遇到的可塑性丧失问题.....

来源：小柯要加油