摘要：人工智能系统面临的一个根本性挑战正在得到解答。麻省理工学院的最新研究发现，强化学习训练方法能够显著减少大型语言模型和机器人系统中的"灾难性遗忘"现象，这一突破可能重新定义AI系统的持续学习能力。该研究首次提出了量化遗忘程度的数学法则，并揭示了不同训练方法对AI
信息来源：https://www.marktechpost.com/2025/09/08/a-new-mit-study-shows-reinforcement-learning-minimizes-catastrophic-forgetting-compared-to-supervised-fine-tuning/
人工智能系统面临的一个根本性挑战正在得到解答。麻省理工学院的最新研究发现，强化学习训练方法能够显著减少大型语言模型和机器人系统中的"灾难性遗忘"现象，这一突破可能重新定义AI系统的持续学习能力。该研究首次提出了量化遗忘程度的数学法则，并揭示了不同训练方法对AI系统记忆保持能力的根本性影响。
灾难性遗忘是当前AI系统部署中的核心痛点。当模型学习新任务时，往往会丢失之前掌握的技能和知识，这种现象严重限制了AI系统的实用性和可扩展性。研究团队通过对比强化学习和监督微调两种主流训练方法，发现了一个令人意外的结果：虽然两种方法在新任务上都能达到相似的性能，但强化学习能够更好地保留原有知识。
研究人员提出了一个简洁而强有力的"经验遗忘定律"，用数学公式表达为遗忘程度与KL散度成正比。这个发现不仅为量化AI系统的知识保持能力提供了工具，更重要的是为设计更好的训练算法指明了方向。
实验验证跨越多个AI领域
为了验证这一理论，研究团队设计了涵盖自然语言处理、机器人控制和计算机视觉等多个领域的综合实验。在大型语言模型实验中，研究人员使用Qwen 2.5 3B-Instruct作为基础模型，分别在数学推理、科学问答和工具使用等任务上进行微调。结果显示，经过强化学习训练的模型在掌握新技能的同时，在HellaSwag、MMLU、TruthfulQA和HumanEval等标准基准测试中保持了稳定的性能表现。
相比之下，采用监督微调的模型虽然同样能够在新任务上取得良好表现，但在原有基准测试中的性能出现了明显下降。这种对比清晰地展示了两种训练方法在知识保持能力上的根本差异。
机器人控制实验进一步证实了这一发现的普遍性。研究团队在SimplerEnv环境中使用OpenVLA-7B模型进行物体抓取和放置任务的训练。实验结果表明，强化学习训练的机器人系统在学会新的操作技能后，仍然保持了良好的通用操作能力，而监督微调训练的系统则在新任务表现提升的同时，原有的操作技能出现了退化。
为了更深入地理解这一现象的机制，研究团队设计了ParityMNIST这一简化的实验环境。在这个受控的实验设置中，研究人员能够精确测量和分析不同训练方法对模型行为的影响。实验结果不仅重现了在复杂系统中观察到的现象，更重要的是验证了KL散度与遗忘程度之间的预测关系，为理论分析提供了坚实的实验基础。
理论机制的深层解析
研究团队对这一现象的理论分析揭示了其背后的深层机制。强化学习采用的在线策略更新方式具有天然的保守性。在训练过程中，模型从自身生成的输出中进行采样，并通过奖励信号逐步调整行为。这种更新方式天然地将学习过程限制在接近基础模型分布的范围内，从而减少了对原有知识的破坏。
监督微调则采用了完全不同的优化策略。它针对固定的目标标签进行优化，这些标签可能与基础模型的输出分布存在较大差距。这种"强制拉扯"的训练方式虽然能够快速达到新任务的性能要求，但往往以牺牲原有知识为代价。
理论分析进一步表明，策略梯度算法具有收敛到KL最小解的数学性质。这一特性从理论层面解释了为什么强化学习能够在保持性能的同时最小化对原有知识的干扰。研究团队将这一发现总结为"RL的剃刀原理"，强调了强化学习在知识保持方面的天然优势。
研究人员还测试了多种可能的替代解释，包括权重空间变化、隐藏表征变化、更新稀疏性以及其他分布度量指标如反向KL散度、总变分距离和L2距离等。然而，没有任何一个指标能够达到前向KL散度的预测准确性，这进一步证实了分布接近性是决定遗忘程度的关键因素。
对AI发展的深远影响
这项研究的影响远超出了学术层面的理论贡献。首先，它为AI系统的评估标准提出了新的思考。传统的评估方法主要关注模型在特定任务上的性能表现，而忽略了知识保持能力。研究结果表明，评估AI系统时应该同时考虑新任务性能和KL保守性，这为建立更全面的AI评估体系提供了科学依据。
从实际应用的角度来看，这一发现为开发长期部署的AI系统提供了重要指导。在实际应用中，AI系统往往需要不断学习新的技能和知识，同时保持原有的能力。传统的监督微调方法虽然训练效率高，但在持续学习场景中的局限性已经成为制约AI系统实用性的重要因素。
研究团队提出的混合训练方法为解决这一问题提供了新的思路。通过结合监督微调的高效性和强化学习的知识保持能力，并显式地优化KL散度约束，可能实现最佳的性能-保持能力权衡。这种方法为设计能够支持终身学习的AI系统开辟了新的技术路径。
在具体的应用领域，这一发现具有直接的实践价值。对于大型语言模型而言，能够在保持通用能力的同时学习特定领域知识，将大大提升其在专业应用中的价值。对于机器人系统，能够在掌握新操作技能的同时保持基础操作能力，是实现真正智能化的关键要求。
技术发展的未来方向
这项研究为AI系统的持续学习能力提供了新的理论框架和实践指导，但同时也开启了更多值得探索的研究方向。如何在保持知识的同时提高学习效率，如何设计更精细的KL约束机制，以及如何将这些原理扩展到更复杂的多模态和多任务学习场景，都是未来研究的重要课题。
从工程实践的角度来看，如何将这些理论发现转化为实用的训练算法和工具，也是一个重要的技术挑战。研究团队提出的KL散度度量方法为量化遗忘提供了工具，但如何在实际训练过程中有效地监控和控制这一指标，仍需要进一步的工程优化。
更广泛地说，这项研究强调了基础理论研究对AI技术发展的重要价值。通过深入理解AI系统学习和遗忘的机制，我们不仅能够改善现有的训练方法，更能够为设计下一代AI系统提供科学依据。随着AI系统在更多领域的广泛应用，对其持续学习能力的要求将越来越高，这一研究成果为满足这些要求提供了重要的理论基础和技术方向。
来源：人工智能学家