摘要：MEC网络将计算和存储资源下沉到网络边缘，以满足未来6G业务的低时延要求，MEC网络中多维资源的管理和调度决策是提升用户体验的关键。针对MEC网络中的资源管理决策问题，提出了基于Lyapunov优化的分布式资源管理算法。具体来讲，引入任务数据队列及虚拟能量队列
基于Lyapunov优化的MEC分布式资源管理算法
1233（1.清华大学北京信息科学与技术国家研究中心，北京 100084；
2.重庆邮电大学通信与信息工程学院，重庆 400065；
3.清华大学电子工程系，北京 100084）
【摘 要】MEC网络将计算和存储资源下沉到网络边缘，以满足未来6G业务的低时延要求，MEC网络中多维资源的管理和调度决策是提升用户体验的关键。针对MEC网络中的资源管理决策问题，提出了基于Lyapunov优化的分布式资源管理算法。具体来讲，引入任务数据队列及虚拟能量队列，以确保任务执行的公平性，且避免了系统负载过大时造成的过度拥塞问题，并且通过Lyapunov优化理论构建目标函数，基于DDPG算法进行求解。另外，考虑MEC服务器对基于DDPG的决策模型具有不同需求，将异构网络部署在不同的边缘服务器中，构建分布式多连续变量决策模型。仿真结果表明，所使用的分布式决策算法的收敛性和稳定性更优。
【关键词】MEC网络；Lyapunov优化；资源管理决策
doi:10.3969/j.issn.1006-1010.20241120-0004
中图分类号：TN929.5 文献标志码：A
文章编号：1006-1010(2025)01-0101-08
引用格式：刘蓓,胡慧,粟欣,等. 基于Lyapunov优化的MEC分布式资源管理算法[J]. 移动通信, 2025,49(1): 101-108.
LIU Bei, HU Hui, SU Xin, et al. The Distributed Resource Management Scheme Based on Lyapunov Optimization for MEC Networks[J]. Mobile Communications, 2025,49(1): 101-108.
未来网络对于计算新业务的需求将大大增加，云计算和MEC网络的云边融合架构是6G发展的新趋势。在云边融合架构中，终端节点、边缘节点和中心云节点将构成一个多层次的网络计算架构，为业务提供丰富的计算资源[1]。MEC网络中的资源包括通信资源、存储资源和计算资源[2]，对这三类资源的按需分配和管理是MEC网络设计和优化的目标之一。MEC网络具有多维、随机不确定性以及动态的特点，传统的决策算法在这种复杂的网络中可能面临限制[3]。人工智能（AI, Artificial Intelligence）算法可以从收集的数据中提取有价值的信息，在解决这类高度动态的决策问题上有天然的优势[4]随着MEC网络规模和复杂性的急剧增加，为了保证MEC边缘服务器和云服务器之间的计算负载平衡，设计一个以有效和节能的方法实现面向任务卸载的资源管理方案已成为亟待解决的问题[5]。目前随着AI的研究与发展，已有许多学者研究基于AI的MEC网络的资源管理决策问题并取得了一些研究成果，主要通过利用ML工具和大数据，在无需明确数学模型的前提下，得到更迅速且实时的资源管理决策方案。文献[6]针对工业物联网（IIoT, Industrial Internet of Things）系统提出了一个高效的任务卸载和资源分配框架，通过对IIoT设备和MEC服务器之间的端到端延迟和能耗进行加权建模，提出了基于深度确定性策略梯度（DDPG, Deep Deterministic Policy Gradient）的资源分配算法，最终实现的系统性能优于其他的资源分配策略。文献[7]基于层次分析-深度Q学习（AHP-DQN, Analytic Hierarchy Process-Deep Q-Network）算法的框架提出了一种基于深度强化学习的移动边缘计算资源分配和卸载算法，以解决终端存储容量低的问题。文献[8]提出了一种节省时间和能耗的迭代算法，解决了物联网设备进行资源管理决策时二进制卸载变量和资源分配耦合所产生的混合整数非线性规划优化问题，得到了节能的资源管理策略。文献[9]对服务器过载问题和系统长期性能进行综合考虑，针对协同任务卸载使用一种基于遗传和深度确定性梯度的算法进行信道分配、用户关联联合优化，实现MEC网络的资源管理决策，以保证用户的最佳体验。文献[10]将MEC网络与超密集网络（UDN, Ultra Dense Network）进行结合，从而增加了网络容量并提高了移动设备的计算能力，有效满足了任务的传输和计算需求。通过对移动设备的任务卸载、基站的选择和资源调度策略的设计，实现边缘服务器和基站（BS, Base Station）密集部署的环境中的包括时延和能耗的总系统成本的最小化。文献[11]同样关注MEC网络的时延和能耗性能，分析了三种元启发式算法，包括蚁群优化、灰狼优化及鲸鱼优化算法的性能，为MEC任务卸载提供了优化方案。此外，有学者考虑MEC系统中，智能体之间的相互干扰会导致系统不稳定，因此引入多智能体技术，来应对多设备多场景下的任务卸载，文献[12]提出基于多智能体深度确定性策略梯度算法（MADDPG, Multi-Agent Deep Deterministic Policy Gradient）以降低通信开销。文献[13]在此基础上，考虑多智能体机器学习的策略退化问题，引入长短期记忆网络（LSTM）解决局部观测问题，在降低联合动作空间的维度情况下，任务时延与任务掉线率上的性能与多智能体机器学习一致。车辆边缘计算（VEC, Vehicular Edge Computing）是边缘网络的一种典型应用场景，对时延和可靠性的要求更高，且由于车辆的移动性、通信信道的变化等因素，对资源决策的效率要求更高。文献[14]考虑车辆的动态请求和时变的通信条件，提出了一种基于深度强化学习的算法，实现了面向任务卸载的资源管理最优决策。文献[15]提出了一种基于Q-learning的联合优化方案，以实现车辆边缘计算的实时能源感知卸载方案。针对VEC网络中资源管理决策问题，文献[16]设计了一种深度Q学习算法解决面向任务卸载的异构服务器的带宽、计算资源分配和租用成本的联合优化问题。文献[17]提出了一种新的基于联邦深度强化学习（FDRL, Federated Deep Reinforcement Learning）的车辆通信方法对资源管理决策进行赋能，进而使用基于FDRL的无人机辅助车载通信系统作为一种新颖的资源管理技术对5G和6G网络的服务质量（QoS, Quality of Service）进行优化。文献[18]拆分计算密集型车载任务，将其卸载至边缘服务器、空闲车辆和本地车辆进行处理，并提出基于深度强化学习的计算卸载与资源分配算法来降低时延。
虽然已经有大量的文献通过使用机器学习实现MEC网络中面向任务卸载的资源管理决策。然而很少有文献考虑任务处理的公平性。针对这一问题，本文提出了一种考虑任务公平性的资源管理决策算法，主要贡献总结如下：
（1）首先，引入了任务数据队列及虚拟能量队列，以确保任务执行的公平性，并为后续资源决策提供重要的环境信息。
（2）其次，为保证任务数据队列的稳定性，引入了Lyapunov函数，利用Lyapunov优化理论构建优化目标。
（3）最后，提出了基于DDPG算法的多变量决策模型，构建多模块化的Actor网络架构以实现多变量决策，即对需要处理的任务进行卸载、时隙分配、计算资源分配及发射功率等联合决策。
（4）仿真结果表明，所提算法及分布式部署方案可有效提升资源决策的有效性和稳定性。
1 系统模型和问题建模
1.1 网络模型
1.2 计算模型
1.3 任务数据队列及虚拟能量队列
2 基于Lyapunov优化的决策问题
3 面向MEC异构网络的决策算法
4 仿真结果与分析
本节搭建仿真环境对上述所提方案进行仿真验证，假设网络中有1台云服务器、9台边缘服务器，全局模型部署在云服务器中，同时每个边缘服务器对应一个任务卸载模型。智能体在机器学习模型训练中采用策略。每个智能体都是具有一个输入层、两个隐藏层和一个输出层的全连接模型，其中第一层和第二层隐藏层分别有64个和128个隐藏神经元。此外，终端n的信道增益hn服从独立同概率的瑞利分布。平均信道增益奖励设置为：
图3给出了使用Lyapunov优化以及未使用Lyapunov优化（本节称为Normal方法）的平均任务数据队列长度对比图。Normal方法的优化问题为：
同样满足约束条件式(11)～(16)。从图3可以看到，当到达率λ=2.5 Mbps时使用Lyapunov优化的方法和Normal方法都可以保持任务数据队列的稳定。但是当到达率λ=3 Mbps时，Normal方法的平均队列长度几乎是随着时间线性增加的，这说明当数据到达率增加的时候，很快就超过了Normal方法的计算能力，而此时使用Lyapunov优化的方法可以稳定任务数据队列，说明基于Lyapunov优化的方法比Normal方法具备更高的计算能力，更适用于业务多样化的网络。
然后，本文对比了使用两种方法选择参数进行稀疏化的结果，其一是按照固定的比例随机选择了一部分参数的static方法，其二是指按顺序对参数进行选择的sequential方法，static方法作为本文最终使用的参数选择方法。由图4可知，训练刚开始的时候，static方法的收敛速度会比sequential方法更慢，随着训练的进行，static方法的参数选择具有随机性，会导致模型的泛化能力不稳定，所以收敛之后的static方法会比sequential方法更不稳定，但static方法善于捕捉一些通用特征，所以它的泛化能力更好，使用该方法可以得到更优的性能。
此外，本文对算法的不同部署方式进行了对比，包括本文提出的算法即在MEC服务器部署局部模型，而在云服务器中部署全局模型，和非分布式算法即在云服务器和MEC边缘服务器上都部署相同的决策模型。从图5可以看出，分布式训练的方法提高了算法的稳定性与有效性，这是因为分布式算法中局部模型使用了来自其他智能体的全局信息，这有助于模型在训练过程中跳出局部最优。
通过以上三个维度对本文使用的方案有效性进行了验证，本文提出的基于Lyapunov优化的分布式决策方案不仅可以稳定任务数据队列，而且可以提高算法的稳定性与有效性。另外，static方法还可以提高决策的性能。
5 结束语
按需对MEC网络中多维资源快速分配和调度，可有效提升用户体验，满足不断变化的业务场景需求。本文针对MEC网络中的多维资源管理问题，提出了面向任务卸载的智能资源管理决策方案。首先引入了任务数据队列及虚拟能量队列为决策提供任务和资源信息，对需要处理的任务进行卸载决策、时隙分配决策、CPU频率决策、发射功率决策，以应对网络中动态变化的需求。进一步，为保证任务数据队列的稳定性，本文引入Lyapunov优化理论构建优化问题，并通过使用Lyapunov函数 1将最开始提出的优化问题中的约束条件以一种更为灵活和有效的方式纳入到优化过程中。最后，针对异构网络的特点进行了灵活的MEC服务器模型部署，实现分布式的资源管理决策。最终仿真结果也表明了本文提出的方案的有效性和稳定性。然而，本研究还未很好地挖掘用户终端的移动特征，忽略了用户的频繁移动对于面向任务的资源管理决策的重大影响，未来的研究将关注用户轨迹预测、设计更为有效的在线资源调度策略，以适应6G典型应用场景。
参考文献：（上下滑动浏览）
[1] Zhou F, Li W, Yang Y, et al. Intelligence-endogenous networks: Innovative network paradigm for 6G[J]. IEEE Wireless Communications, 2022,29(1): 40-47.
[2] Wang P, Yao C, Zheng Z, et al. Joint Task Assignment, Transmission, and Computing Resource Allocation in Multilayer Mobile Edge Computing Systems[J]. IEEE Internet of Things Journal, 2019,6(2): 2872-2884.
[3] Yang H, Alphones A, Xiong Z, et al. Artificial-Intelligence-Enabled Intelligent 6G Networks[J]. IEEE Network, 2020,34(6): 272-280.
[4] Cao B, Zhang L, Li Y, et al. Intelligent Offloading in Multi-Access Edge Computing: A State-of-the-Art Review and Framework[J]. IEEE Communications Magazine, 2019,57(3): 56-62.
[5] Yang J, Shah A A, Pezaros D. A Survey of Energy Optimization Approaches for Computational Task Offloading and Resource Allocation in MEC Networks[J]. Electronics, 2023,12(17): 3548.
[6] Mai Do H, Tran T P, Yoo M. Deep Reinforcement Learning-Based Task Offloading and Resource Allocation for Industrial IoT in MEC Federation System[J]. IEEE Access, 2023,11: 83150-83170.
[7] Luo J, Deng X, Zhang H, et al. Ultra-Low Latency Service Provision in Edge Computing[C]//2018 IEEE International Conference on Communications (ICC). Kansas City, MO, USA: IEEE, 2018: 1-6.
[8] Fu Y, Yang X, Yang P, et al. Energy-efficient offloading and resource allocation for mobile edge computing enabled mission-critical internet-of-things systems[J]. EURASIP Journal on Wireless Communications and Networking, 2021(1): 1-16.
[9] Zhang H, Yang Y, Shang B, et al. Joint resource allocation and multi-part collaborative task offloading in MEC systems[J]. IEEE Transactions on Vehicular Technology, 2022,71(8): 8877-8890.
[10] Lu Y, Chen X, Zhang Y, et al. Cost-efficient resources scheduling for mobile edge computing in ultra-dense networks[J]. IEEE Transactions on Network and Service Management, 2022,19(3): 3163-3173.
[11] 孔庆泽,张添洋,李岩,等. 基于元启发式算法的移动边缘计算任务卸载优化[J/OL]. 自动化技术与应用,1-6[2024-12-26]. http://kns.cnki.net/kcms/detail/23.1474.TP.20241223.1224.054.html.
[12] Cao Z L, Zhou P, Li R X, et al. Multiagent deep reinforcement learning for joint multichannel access and task offloading of mobile-edge computing in industry 4.0[J]. IEEE Internet of Things Journal, 2020,7(7): 6201-6213.
[13] 卢先领,李德康. 面向大规模多接入边缘计算场景的任务卸载算法[J/OL]. 电子与信息学报, 1-11[2024-12-26]. http://kns.cnki.net/kcms/detail/11.4494.TN.20241222.1241.014.html.
[14] Hao Y, Chen M, Hu L, et al. Energy Efficient Task Caching and Offloading for Mobile Edge Computing[J]. IEEE Access, 2018,6: 11365-11373.
[15] Han Y, Zhao Z, Mo J, et al. Efficient Task Offloading with Dependency Guarantees in Ultra-Dense Edge Networks[C]//IEEE Global Communications Conference (GLOBECOM). Waikoloa, HI, USA: IEEE, 2019: 1-6.
[16] Raza S, Wang S, Ahmed M, et al. Task Offloading and Resource Allocation for IoV Using 5G NR-V2X Communication[J]. IEEE Internet of Things Journal, 2022,9(13): 10397-10410.
[17] Alsulami H, Serbaya S H, Abualsauod E H, et al. A federated deep learning empowered resource management method to optimize 5G and 6G quality of services (QoS)[J]. Wireless Communications and Mobile Computing, 2022: 1.
[18] 师亚莉,肖春艳,王宇,等. 车联网中基于深度强化学习的计算卸载与资源分配算法[J]. 西安邮电大学学报, 2024,29(4): 30-38.
[19] Mao Y, You C, Zhang J, et al. A Survey on Mobile Edge Computing: The Communication Perspective[J]. IEEE Communications Surveys & Tutorials, 2017,19(4): 2322-2358.
[20] Zhang W, Wen Y, Guan K, et al. Energy-Optimal Mobile Cloud Computing under Stochastic Wireless Channel[J]. IEEE Transactions on Wireless Communications, 2013,12(9): 4569-4581. ★
刘蓓：清华大学北京信息科学与技术国家研究中心工程师，研究方向为6G网络智能化、通感一体化等。
胡慧：重庆邮电大学通信与信息工程学院在读硕士研究生，研究方向为6G网络智能化。
粟欣：清华大学电子工程系教授，主要研究方向包括6G网络智能化、通感一体化、宽带无线接入、自组织网络、软件无线电、协作通信等。
许希斌：清华大学电子工程系教授，主要研究方向为软件无线电、自组织网络、5G/6G关键技术等。
《移动通信》★往期推荐★【25专题征稿】6G卫星互联网、语义通信、通感算一体化
《移动通信》杂志由中国电子科技集团公司主管，中国电子科技集团公司第七研究所主办，是中国期刊方阵“双效期刊”、工业和信息化部精品电子期刊、中国科技论文统计源刊、中国通信学会《信息通信领域高质量科技期刊分级目录》入选期刊、中国电子学会《电子技术、通信技术领域高质量科技期刊分级目录》入选期刊、中国应用型核心期刊、日本JST收录期刊。国内连续出版物号：CN44-1301/TN，国际连续出版物号：ISSN1006-1010，邮发代号：46-181。
来源：移动通信编辑部
