摘要：多智能体强化学习（MARL）一直被视为解决复杂协作任务的核心技术，广泛应用于自动驾驶、机器人团队合作、多人策略游戏等领域。现代社会对智能系统提出了越来越高的要求。我们想象一下，自动驾驶车队必须在繁忙的城市街道上无缝协作；机器人团队需要在工业生产线中完成高精度合

多智能体强化学习（MARL）一直被视为解决复杂协作任务的核心技术，广泛应用于自动驾驶、机器人团队合作、多人策略游戏等领域。现代社会对智能系统提出了越来越高的要求。我们想象一下，自动驾驶车队必须在繁忙的城市街道上无缝协作；机器人团队需要在工业生产线中完成高精度合作；甚至在虚拟游戏世界中，不同角色的配合也深深依赖于先进的人工智能技术。这些场景无一例外都涉及到 MARL 的研究与实践。但是MARL 的复杂性恰恰来源于其核心难题：信用分配与部分可观察性。

信用分配问题可以被理解为“功劳的归属”。当多个智能体共同努力完成任务时，如何精确评估每个个体的贡献，是技术的一大瓶颈。一个智能体的行为可能帮助整个团队取得了成功，但这种贡献往往难以直接量化，从而使得奖励设计变得不够准确。部分可观察性问题则更为直观：智能体只能获得局部环境信息，这种信息缺失会严重影响其决策能力。特别是对于需要全局协调的任务，缺乏完整的环境视角会进一步削弱智能体的协作表现。

这两个问题不仅是 MARL 的难点所在，也是多智能体技术迈向实际应用所必须克服的障碍。

面对这些挑战，清华大学启元实验室提出了革命性解决方案——LERO 框架，旨在通过跨领域技术的深度融合，推动多智能体强化学习迈向新的高度。LERO的最大亮点在于其将大规模语言模型（LLM）的认知能力与进化算法的优化潜力相结合，成功为奖励设计与观察增强注入了智能化、动态化的基因。

LLM 作为近年来人工智能领域的重要突破，以其在语言理解与生成上的卓越能力而闻名。通过 LLM，LERO 能够动态生成混合奖励函数（HRFs），实现个体贡献与团队整体表现的精准权衡。同时增强观察函数（OEFs）通过推断缺失信息，为智能体提供更加全面的环境感知，让决策不再局限于片面的视角。

不仅如此，进化算法的引入为 LERO 增添了持续优化的能力。利用选择、交叉和变异等机制，系统可以不断迭代奖励与观察设计，使其逐步适配复杂任务需求。这种结合既是技术的创新，也是多智能体协作研究的一次重要突破。

启元实验室这支卓越的团队作为清华大学人工智能领域的重要科研机构，启元实验室聚焦技术创新与应用落地，致力于解决现实世界中的重大难题。团队成员Yuan Wei, Xiaohan Shan, and Jianmin Li在强化学习、多智能体系统及跨领域技术整合方面具有深厚积累。

此次研究不仅反映了他们对于技术细节的精确把控，也体现了启元实验室在理论研究与实际应用上的平衡能力。通过多学科的深度交叉，他们将 LLM 的生成能力与进化算法的优化潜力成功结合，为多智能体协作技术打造了强大的技术基石。

01

相关工作综述

在理解 LERO 框架的创新之前，我们需要深入挖掘其思想来源和技术背景。正如任何伟大的技术突破，它是建立在众多前沿工作的基础之上的，同时也为填补现有研究中的空白而诞生。

奖励函数设计领域的现状与挑战

在多智能体强化学习（MARL）中，奖励函数是整个学习过程的核心驱动力。然而设计奖励函数并不是一件简单的事情，尤其是在团队合作的场景下，如何进行信用分配成为研究者们长久以来的难题。信用分配意味着如何量化每个智能体对整体成功的贡献。这就像乐队演奏中的“评分”，如何准确评价鼓手、吉他手和指挥的作用，让所有成员的表现都能得到公正的反馈，并鼓励他们更好地协作。传统奖励函数往往侧重个体行为或简单的团队目标，无法深入权衡多智能体协作中的复杂关系。

现有的手工设计奖励函数方法确实在某些特定场景中取得了成功，比如通过细致的个体奖励信号和团队目标的融合来引导智能体行为。但是这种方法的局限性也显而易见：手工设计的奖励函数对场景的依赖性极强，难以迁移到不同任务环境。更糟糕的是，它无法动态适应学习过程中环境的变化。

大规模语言模型（LLM）的出现为这一领域带来了全新启发。在单智能体强化学习中，LLM 已被证明能够生成语义丰富且具备高适应性的奖励函数。例如，研究者利用自然语言描述任务目标，通过 LLM 自动生成可执行的奖励设计。这种方法的优势在于减少人工干预，同时提高奖励设计的解释性和灵活性。然而，在多智能体场景中，如何利用 LLM 克服信用分配问题仍然是一个悬而未解的问题。

观察增强技术的发展

除了奖励设计，观察增强在 MARL 中也是至关重要的一环。由于多智能体环境通常是部分可观察的，个体智能体只能获得片面的环境信息，而非全局视图。这种信息不完整性显著降低了智能体的决策质量和协作效率。

针对这一问题，早期的工作尝试通过结构化的方法增强智能体的观察能力。例如，深度循环 Q 网络（DRQN）通过引入循环神经网络利用历史信息改善当前决策。记忆增强神经网络进一步扩展了这一思想，添加外部记忆模块来存储和检索历史信息，从而提高智能体的长期依赖处理能力。此外，图注意力网络和分层注意力架构分别以动态信息过滤和空间时间关系的独立处理为核心，试图帮助智能体理解更加复杂的环境特性。

这些方法主要从信息结构的角度进行优化，而在语义理解方面缺乏深度。它们通常需要智能体自己从复杂的数据中推断任务语境和协作关系，这对学习效率和表现提出了巨大挑战。

LLM 在观察增强方面的潜力再次浮现。通过强大的语义理解能力，LLM 能够从环境数据中提取出高价值的上下文信息，并将这些信息转化为易于智能体理解的结构化数据。例如，研究者已经利用 LLM 将长时间观察记录压缩成语义描述，从而为强化学习任务提供更具解释性和协同性的观察反馈。这种方式为解决部分可观察问题提供了一种全新的视角。

研究空白与创新切入点

尽管奖励设计和观察增强都取得了诸多研究进展，但现有工作往往将两者割裂开来，很少同时考虑它们之间的关联与协同关系。针对多智能体任务，如何将奖励函数设计与观察增强整合为一个完整系统，成为研究中的重要空白点。

清华大学启元实验室提出的 LERO 框架正是针对这一问题做出了突破性贡献。它不仅利用 LLM 分别生成混合奖励函数（HRFs）和增强观察函数（OEFs），还通过进化算法将这些模块进行迭代优化，打造一个相互协同、动态适配的闭环系统。这种思想的核心在于将奖励设计与观察增强视为一个整体，从系统层面解决 MARL 的难题。这种多组分进化优化的方法，不仅显著提升了智能体的协作能力，也为未来研究提供了全新方向。

02

方法与核心架构

LERO 框架以极其严谨的逻辑设计和开创性的跨领域整合，为多智能体强化学习（MARL）提供了一个优雅且高效的解决方案。从框架总体架构到各个关键组件的细致优化，无不展现出这项研究的独特创新。接下来，让我们深入探讨 LERO 方法的内部机制，揭开其强大功能背后的技术逻辑。

框架总体架构

LERO 是一个闭环进化的智能系统，它通过结合任务描述、环境特性、LLM 的生成能力以及进化算法的优化机制，打造了一个动态适配、高度优化的强化学习框架。它的流程堪称一场精密的协作：从任务描述与环境设置出发，系统依托大规模语言模型（LLM）生成两个关键模块——混合奖励函数（HRFs）和增强观察函数（OEFs）。随后，这些模块被整合到进化优化阶段，通过选择、交叉和变异等进化机制不断改进。最终，框架与经典的 MARL 训练算法（如 MAPPO、VDN、QMIX）无缝结合，将性能提升至新高度。

图1：LERO框架遵循一个迭代过程，其中HRF和OEF由LLM根据任务描述、环境代码和演化描述生成。在每次迭代中，选择器模块都会评估这些HRF和OEF的性能，从而为MARL训练选择最有效的组件，最终增强代理的适应性和协作性。

通过这样一个自适应反馈循环，LERO 不断学习和调整自身，提升了任务完成效率，也为 MARL 在复杂多变的环境中提供了可拓展的解决方案。

关键组件解析

1. 混合奖励函数（HRFs）的生成

LERO 框架的第一大亮点在于它如何设计混合奖励函数（Hybrid Reward Functions）。在多智能体合作场景中，平衡个体奖励与全局团队目标是长期困扰研究者的难题，而 LERO 提出的动态分配机制为这一问题提供了完美解法。

HRFs 的生成过程不仅动态调整奖励分配比例，还引入了高度自适应的数学表达：

LLM 在此过程中发挥了至关重要的作用。通过对任务描述和环境上下文的理解，LLM 生成了高度定制的奖励设计，从而避免了传统手工设计方法的适用性局限。

2. 增强观察函数（OEFs）的生成

在多智能体任务中，部分可观察性一直是一个亟待解决的障碍。LERO 框架通过增强观察函数（Observation Enhancement Functions）这一模块，让智能体能够突破仅依赖局部信息的限制，获得更全面的决策依据。

OEFs 的核心在于将原始观测数据转换为更高层次的语义表示：

其中，Oi是智能体 i 当前的观察数据，hi是其观测历史。通过 LLM 的推理能力，这些原始数据被转化为丰富的语义描述，包括当前任务相关的上下文信息以及基于历史的环境预测。

这一模块不仅扩展了智能体对环境的认知能力，还为其提供了诸如目标距离、队友动态、场景变化等关键信息，使得智能体能够制定更加精准的策略，而不仅仅是对局部数据的被动反应。

3. 进化优化过程与反馈循环

LERO 的进化机制赋予框架强大的自我改进能力。以 Selector 模块为核心，进化优化遵循自然选择的原则：

这种持续优化的循环依赖于 MARL 训练的反馈数据。每一代 HRFs 和 OEFs 的改进都基于上一代在具体任务中的表现，通过这种迭代，系统能迅速适应任务要求并优化自身。最终，LERO 实现了奖励与观察模块的协同进化。

算法集成与系统实现

LERO 通过一系列创新性的设计，确保与经典 MARL 算法无缝对接。无论是 MAPPO 的策略优化、VDN 的分解方法，还是 QMIX 的权重融合，在 LERO 中均能获得显著性能提升。更值得一提的是，LLM 的推理能力仅限于功能生成阶段，这大大降低了训练过程中的计算成本，从而让 LERO 框架在兼顾精度的同时，也保持了良好的效率。

03

实验设置与结果分析

清华大学启元实验室的 LERO 框架不仅在理论上展现了前沿技术的潜力，在实验验证中也通过精密设计与详尽的数据支持，体现了其对多智能体强化学习（MARL）场景的强大适应性与优越性能。以下从实验环境、基线比较到实验结果分析，我们逐步剖析 LERO 的实际表现及其背后所蕴含的技术奥秘。

实验环境介绍与任务设置

为了验证 LERO 的实用性与效果，研究团队选择了多智能体粒子环境（MPE）中的两个经典任务：Simple Spread 和 Simple Reference。这两个任务在复杂性与协作需求上各具特色，为测试框架在不同类型任务中的表现提供了充分的基础。

Simple Spread 是一个简单却考验分布协调的任务。多个智能体需要在空间中导航，将自己分布到离目标地标最近的位置，同时尽量避免彼此间的碰撞。这要求智能体之间能够快速分工并优化行动轨迹。

Simple Reference 则更注重智能体的通信与协作需求。智能体必须准确检测各自分配到的地标，且每轮地标分配需要在团队内部通过信息交流完成。这使得任务不仅需要导航，还需要有效的多智能体信息共享机制。

实验的关键目标是最大化地标的独立覆盖率，而地标覆盖的判断标准则是：当一个智能体与地标之间的距离小于 0.1 单位时，该地标被视为“成功覆盖”。值得注意的是，为防止重复覆盖的低效，每个地标在每个时间步（timestep）内仅允许一次成功检测。这样的设置有效鼓励了智能体的最优分布和协作效率。

基线比较与消融实验设计

为了全面评估 LERO 的性能，研究团队将其与多种基线方法进行比较，并通过消融实验探索其不同模块的独立贡献。

消融实验设计： 为了剖析 LERO 各组件的作用，实验中分设了以下三种变体：

这些变体设计旨在量化 HRFs 与 OEFs 的各自贡献，以及两者结合时的协同效果，同时评估进化优化对性能提升的关键作用。

实验结果与数据分析

总体性能提升： 实验数据充分验证了 LERO 的卓越性能。以覆盖率为核心指标，LERO 框架在两个任务中均表现出显著的提升：

在Simple Spread 任务中，LERO 的覆盖率比标准方法提升了多个百分点，尤其是在采用 MAPPO 算法时，其覆盖率从 0.24 增长到 0.747，提升幅度高达 211%。VDN和 QMIX 的覆盖率也分别提升了 53% 和 100%，表明 LERO 生成的奖励与观察模块能够显著提升智能体的协同效率。

在Simple Reference 任务中，这一趋势依然明显。VDN 的覆盖率从 0.23 飙升至 0.83，增幅达到惊人的 261%；QMIX 和 MAPPO 也分别提高了 38% 和 57%。这一结果尤其说明LERO 在复杂任务环境下的适应能力，尤其是需要多智能体通信的场景。

图2：LERO框架与基线的比较。

进化模块效果的逐代改善： 进一步的实验跟踪了 LERO 的进化优化过程，通过记录每一代 LLM 生成的 HRFs 和 OEFs 的性能表现，揭示了系统的持续改进能力：

这些逐步提升的数据表明，LERO 的进化优化能够有效适应不同算法的特定需求，尤其是在 VDN 等更敏感的算法下展现了极高的适配性。

图3：仅混合奖励和仅观察增强变体的结果。

模块功能详细评估： 消融实验的数据进一步解析了 HRFs 和 OEFs 的独立贡献：

HRFs 通过引入分层奖励（如多级距离阈值反馈）、团队同步奖励等机制，为智能体创造了更细腻且多目标的学习信号。

OEFs 则通过目标感知、成功阈值识别、智能体间动态关系等信息的提取，提升了智能体的观察质量，使其能够更好地进行基于环境的协同决策。

图4：Simple Reference中每次迭代的覆盖率。

04

结论与展望

这项研究并不仅仅是对多智能体强化学习（MARL）的单一改进，而是为整个领域注入了一种全新的解决思路，为未来人工智能协作任务的技术升级铺平了道路。

研究主要贡献总结

LERO 框架通过将大规模语言模型（LLM）的生成能力与进化算法的优化机制完美融合，突破了长期困扰多智能体任务的两大关键问题：信用分配与部分可观察性。传统方法对这两方面的处理往往局限于特定场景，无法适应复杂动态环境。而 LERO 所设计的混合奖励函数（HRFs）与增强观察函数（OEFs）则巧妙地解决了这些挑战。

实验数据进一步验证了这一框架的有效性。在复杂的协作任务中，HRFs 的分层奖励机制与 OEFs 的语义观察设计显著提高了智能体的任务完成效率。覆盖率、团队协调能力以及任务适应性上的提升，展现了 LERO 在不同类型算法（如 MAPPO、VDN、QMIX）下的普适优势。这种多维度的成功不仅证明了研究设计的严谨性，也展示了其应用的广泛性。

实际应用和理论意义

在实际应用层面，LERO 框架为智能体的协作任务创造了新的可能性。从自动驾驶系统中车队的协同导航，到工业机器人团队的精准分工，再到复杂虚拟环境中的多角色战略决策，LERO 为多智能体的高效合作带来了可靠解决方案。其强化的语义感知机制让智能体在部分可观察环境中仍能精准捕捉任务目标，大幅提升了决策的合理性与行动的同步性。

从理论视角来看，LERO 的提出深化了对智能体协作学习机制的理解，为 MARL 技术注入了语义化与进化优化的思想。这种跨领域的整合设计不仅提高了任务适应性，也为跨模态学习方向提供了新的研究模板。通过引入 LLM，LERO 使奖励与观察模块的设计从手工化迈向自动化，而进化优化的加入则进一步增强了其自适应能力，为未来复杂任务场景中的动态协作开辟了更多路径。

发展方向

正如一项创新技术的初期阶段，总是伴随着探索的无限可能性，LERO 的研究也为后续工作指明了数条未来发展的方向。

首先是扩大实验范围，当前的验证主要集中在多智能体粒子环境（MPE）的任务场景上，但未来可以通过将实验扩展至更大规模的智能体集群，以及更加复杂多样化的环境中，来评估 LERO 的极限性能。这不仅能够进一步测试框架的适应性，还能揭示它的潜在优化空间。

其次是探索更高级的进化机制，当前的进化优化主要集中在选择、交叉与变异的基本策略上，未来可以引入多目标优化模型，或采用多样性保护策略，以进一步提升优化过程的效率与模块生成的质量。

深化 LLM 与 MARL 算法的整合也是一个值得关注的方向。通过提升 LLM 的推断效率，减少其生成模块的计算成本，框架可以在保持高性能的同时，更加适应资源受限的场景。特别是对于实时任务的需求，这一改进将是其迈向大规模实际应用的关键。（END）

参考资料：https://arxiv.org/pdf/2503.21807

波动世界（PoppleWorld)是噬元兽数字容器的一款AI应用，基于意识科学和情绪价值的理论基础，通过AI技术驱动帮助用户进行情绪管理的工具和传递情绪价值的社交产品，波动世界将人的意识和情绪作为研究和应用的对象，探索人的意识机制和特征，培养人的意识技能和习惯，满足人的意识体验和意义，提高人的自我意识、自我管理、自我调节、自我表达和自我实现的能力，让人获得真正的自由快乐和内在的力量。波动世界将建立一个指导我们的情绪和反应的价值体系。这是一款针对普通人的基于人类认知和行为模式的情感管理Dapp应用程序。

来源：小肖看科技