摘要：强化学习作为人工智能领域的重要分支，自诞生以来，便在理论研究与实际应用中取得了广泛的关注。近年来，随着深度学习的快速发展，深度强化学习逐渐成为智能决策、自动控制、机器人技术等领域的关键方法之一。深度强化学习的核心思想是利用神经网络学习复杂环境中的最优决策策略，
强化学习作为人工智能领域的重要分支，自诞生以来，便在理论研究与实际应用中取得了广泛的关注。近年来，随着深度学习的快速发展，深度强化学习逐渐成为智能决策、自动控制、机器人技术等领域的关键方法之一。深度强化学习的核心思想是利用神经网络学习复杂环境中的最优决策策略，从而赋予智能体更高效的感知和控制能力。
深度强化学习基本框架
《 》的写作缘于近年来强化学习技术的迅猛发展及其在各个场景中的广泛应用。作者长期从事深度强化学习、机器人控制、多智能体系统等相关研究，深刻认识到理论研究和实际应用之间仍存在较大鸿沟。虽然近年来出现了诸多开创性的研究，但如何将其有效应用于复杂环境，仍是学术界和工业界共同面临的挑战。因此，本书系统地梳理了深度强化学习的基础理论、核心算法，并结合实际应用场景，深入探讨其在智能控制、机器人导航、多智能体协作等领域的最新进展。与此同时，强化学习领域的研究者和从业人员往往面临着学习曲线陡峭、算法实现复杂等问题。现有的教材和研究论文通常偏重于理论推导或单一应用，而缺乏全面的理论阐述与实践指导。因此，本书不仅希望为研究者提供系统化的理论框架，还致力于通过详细的实验分析和应用案例，帮助相关研究人员快速理解和掌握深度强化学习的核心思想及其应用技巧。
☟上下滑动查看更多
Slide for more photos
深度强化学习控制 : 前沿理论与方法
孙长银, 穆朝絮著
北京:科学出版社, 2025. 6
(智能科学与技术前沿丛书)
ISBN 978-7-03-081934-5
本书共14 章，涵盖深度强化学习的基本概念、核心算法及其在不同领域的应用。第3-6 章主要探讨强化学习在控制问题中的应用。从第7 章-10章深入探讨多智能体强化学习问题。第11、12 章主要分析强化学习在飞行器控制、移动机器人导航与避障等领域的应用。本书既强调理论体系的完整性，也注重实验分析与应用案例的结合，力求在理论与实践之间建立桥梁，帮助读者掌握深度强化学习的基本原理与应用方法。
第1 章回顾强化学习的发展历程，从早期的马尔可夫决策过程理论，到近年来取得突破性进展的深度强化学习，同时介绍深度强化学习的基本框架，为后续章节的深入探讨奠定基础。
第2 章详细介绍强化学习的基本概念与理论，包括智能体–环境交互模型、策略与值函数、探索–利用权衡等内容，同时阐述基于值函数和基于策略的经典强化学习方法，为读者建立系统性的认知。
第3 章介绍深度强化学习在输入受限系统中的应用，包括相关优化算法的设计。
第4 章讨论状态依赖输入约束的强化学习优化控制方法，并结合仿真实验进行分析。
第5 章和第6 章则重点研究强化学习在自治切换系统和受控切换系统中的优化控制问题，探索不同场景下的策略优化方法。
第7 章介绍基于任务分解的多智能体协同控制方法。
第8 章进一步探讨后继特征在多智能体任务迁移中的应用。
第9 章关注多智能体一致性控制问题。
第10 章研究基于自学习通信的多智能体合作追捕问题，展示强化学习在群体智能中的潜力。
第11章介绍强化学习在无人机控制中的优化方法，并探讨积分补偿策略在飞行控制中的作用。
第12 章系统阐述强化学习在移动机器人路径规划、避障导航中的关键技术。
第13 章汇总当前主流的强化学习开源测试环境以及作者团队开发的“玄策”强化学习算法库，为读者提供实验平台。
第14 章总结全书的核心内容，并展望深度强化学习在未来的发展方向，包括如何提高模型的可解释性、数据高效性、鲁棒性等。
作者团队开发的“玄策”强化学习算法库软件总体功能框架图
玄策是一种同时兼容PyTorch、TensorFlow 和MindSpore 三种主流AI 编程框架的DRL 智能决策平台，总体功能框架如图所示。其中MindSpore 是由华为公司推出的一款全栈、全场景的国产AI 计算框架，这对国内外基于不同硬件平台的深度强化学习研究来说具有重要的意义，其算法设计思想也为更多平台下的算法库建设提供了重要的参考价值。该算法库现已在GitHub 社区开源开放，开源链接：https://github.com/agi-brain/xuance.git
本书的亮点之一是对开源平台玄策的介绍，这一平台为深度强化学习的研究和实践提供了强有力的工具支持，进一步推动了强化学习技术的发展和应用。通过支持多种计算框架，如PyTorch、MindSpore 和TensorFlow，玄策为不同硬件平台上的研究提供了便利，同时也体现了国产AI 计算框架在国际舞台上的竞争力。如今，深度强化学习已经在各个领域的应用中取得了显著的进展，尤其在机器人、自动驾驶等领域。但是深度强化学习模型最常见的缺点是通过人机合作技术与人类进行交互的能力差。如何使智能体与人类进行高效交互仍是一大挑战。在动态、开放的现实环境中，单靠人类智能无法进行大规模、高效率的正确决策，而单靠机器智能无法处理训练中未曾遇到的新情况，无法给出创造性的响应和决策。人在回路架构的进展可以与多智能体强化学习相结合，将人类智能与机器智能整合起来应对复杂问题。
无模型深度强化学习已经能够解决许多单智能体和多智能体领域的复杂问题。然而，这类方法需要大量样本和长时间学习才能达到良好的性能。基于模型的方法在样本效率、可转移性和通用性方面已经证明有效，可以在各种问题中使用单一或多智能体模型。尽管模型化方法的深度学习扩展最近在单智能体领域中进行了研究，但在多智能体领域中，这些扩展尚未被广泛研究。这一研究空白，可以发展成为基于模型的多智能体强化学习的研究方向。
MADPG-TDec 算法的执行器–评价器网络框架
针对包含多协作任务的多智能体系统，提出了基于任务分解的MARL算法，与没有任务分解单元的传统方法相比，MARL算法的理论分析确保了其收敛性以及有效性。图为针对连续动作空间问题所提出MADPG-TDec 算法框架
随着现实场景的动态和任务需求的日益复杂，复杂异构大规模多智能体系统的强化学习控制成为本领域亟待应对的挑战。在传统的同质智能体的场景下，智能体拥有相同的状态和动作空间，以及领域知识和目标任务，通过集中化训练和分散式执行可以实现可扩展性。而在大规模异构智能体的场景中，如何提供最优解并在智能体之间实现有效的协调和合作策略，以最大限度地提高任务成功率是最关键的挑战。该问题在通信受限且涉及更多异构智能体的对抗环境中由于贡献分配问题的引入而变得更加困难。
总体而言，本书不仅为读者提供了深度强化学习控制领域的全面知识体系，而且通过介绍玄策等工具，为读者进入该领域的研究和实践提供了桥梁。随着人工智能技术的不断进步，深度强化学习在控制系统中的应用将更加广泛，本书的内容将为这一领域的发展提供坚实的理论基础和实践指导。
本文摘编自《深度强化学习控制 : 前沿理论与方法》（孙长银, 穆朝絮著. 北京:科学出版社, 2025. 6）一书“前言”“第14 章总结与展望”，有删减修改，标题为编者所加。
(智能科学与技术前沿丛书)
ISBN 978-7-03-081934-5
责任编辑：张海娜 赵微微
本书系统梳理了深度强化学习的核心理论、关键算法及其在智能控制、机器人技术和多智能体系统中的应用。全书涵盖强化学习的基本概念、深度强化学习的主要框架，以及多智能体强化学习的协同决策、任务分解与优化控制等前沿问题，并结合大量实验案例，深入探讨强化学习在飞行器控制、移动机器人导航与避障等领域的实践应用。
本书适合人工智能、自动化、计算机科学、机器人学等领域的研究人员、工程师及研究生阅读，尤其适用于希望系统掌握深度强化学习理论，并将其应用于复杂环境决策与智能控制任务的读者。书中内容兼顾理论推导与工程实践，既适合作为强化学习相关课程的参考教材，也可供从事智能决策、自动控制、多智能体系统 研究的专业人员深入学习和参考。
专业品质 学术价值
原创好读 科学品位
一起阅读科学
来源：科学出版社一点号