神经网络的泛化能力为何如此强大

摘要：2025年5月27日，arXiv平台发布了一篇尚未正式发表的预印本论文《Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization》，该研究对过度参数化神经

2025年5月27日，arXiv平台发布了一篇尚未正式发表的预印本论文《Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization》，该研究对过度参数化神经网络令人惊讶的泛化能力提出了新的见解。论文地址为http://arxiv.org/abs/2505.21423v1。

长期以来，科学界普遍认为过度参数化神经网络之所以具有出色的泛化能力，是因为优化算法在训练过程中产生了对良性解的隐式偏好。为了从理论上理解这一现象，近期研究开始在简化的训练环境中考察梯度下降及其变体，通常假设学习率趋近于零。这些研究揭示了多种形式的隐式正则化，例如回归中的ℓ1范数最小化参数和分类中的最大边际解。

与此实证研究发现，超过标准稳定性阈值的中等到大学习率会导致所谓的'稳定性边缘'（Edge-of-Stability）状态下的快速但振荡的收敛，并且会诱导网络偏好低锐度（训练损失Hessian矩阵的范数）的最小值。这篇新论文的核心贡献在于指出：要全面理解梯度下降的泛化性能，必须分析这些不同形式隐式正则化之间的相互作用。

研究团队通过实证证明，学习率在低参数范数和低模型锐度之间起到了平衡作用。更重要的是，他们针对对角线线性网络在简单回归任务上的训练证明了：单独任何一种隐式偏好都无法最小化泛化误差。这些发现表明，仅关注单一的隐式偏好不足以解释良好的泛化性能，这促使我们需要采用更广阔的视角来看待隐式正则化，即考虑由非零学习率诱导的范数与锐度之间的动态权衡。

这项研究对深度学习理论具有重要启示。它挑战了单纯通过分析极限情况（如学习率趋近于零）来理解神经网络训练动态的传统方法。它强调了实际训练过程中学习率选择的关键作用——不仅影响收敛速度，还决定了模型最终会偏向哪种隐式正则化。研究结果为解释为什么适度大的学习率在实践中往往表现更好提供了理论支持。

展望未来，这项研究开辟了几个有前景的方向：如何定量描述不同架构和学习任务中范数与锐度的权衡？是否存在最优的学习率调度策略可以动态平衡这两种偏好？这些问题的解答将帮助我们更深入地理解深度学习的工作原理，并可能带来更高效的训练算法设计将这一框架扩展到更复杂的网络架构和真实世界数据集将是未来研究的关键挑战。论文中提出的观点还需要更多独立研究的验证和扩展。

对于从业者而言，这项研究的实践意义在于：在选择学习率时，不仅要考虑训练效率和稳定性，还应该意识到它会影响模型的隐式偏好。适当地利用'稳定性边缘'状态可能有助于找到同时具备低参数范数和低锐度的解，从而获得更好的泛化性能。