02摘要：针对物联网语义通信场景中，带宽资源和设备内存同时受限时，语义通信性能难提升、模型难部署的问题，提出了一种基于动态知识蒸馏的轻量化语义通信（L-SCDKD）方法，分为基于动态知识蒸馏的知识迁移和网络剪枝两阶段。首先，该方法以基于信息瓶颈的端到端语义通信方法为基础
【语义通信与语义信息论
基础理论与关键技术】专题
面向带宽与内存双受限的高效语义通信方法
（西安电子科技大学通信工程学院，陕西 西安 710071）
【摘 要】针对物联网语义通信场景中，带宽资源和设备内存同时受限时，语义通信性能难提升、模型难部署的问题，提出了一种基于动态知识蒸馏的轻量化语义通信（L-SCDKD）方法，分为基于动态知识蒸馏的知识迁移和网络剪枝两阶段。首先，该方法以基于信息瓶颈的端到端语义通信方法为基础构建了网络结构复杂、参数量大的语义通信教师模型和小规模的学生模型，并基于动态知识蒸馏方法进行知识迁移，使用语义通信教师模型辅助训练学生模型以提升其性能；然后，利用网络剪枝的方法进一步对学生模型进行压缩，最终得到轻量化语义通信模型。实验结果表明，与现有的语义通信方法相比，所提出的L-SCDKD方法提升了带宽资源受限时的语义通信性能，同时显著降低了语义通信模型参数量和内存需求，从而更易部署于内存受限的智能设备，适用于物联网场景。
【关键词】语义通信；深度学习；轻量化；知识蒸馏；带宽受限；内存受限
doi:10.3969/j.issn.1006-1010.20250524-0001
中图分类号：TN911.22 文献标志码：A
文章编号：1006-1010(2025)07-0012-09
引用格式：刘伟,王孟洋,牛文洁. 面向带宽与内存双受限的高效语义通信方法[J]. 移动通信, 2025,49(7): 12-20.
LIU Wei, WANG Mengyang, NIU Wenjie. An Efficient Semantic Communication Method for Bandwidth and Memory Constraints[J]. Mobile Communications, 2025,49(7): 12-20.
0 引言
语义通信是从通信的语义问题出发提出的全新通信架构，在通信过程中，通过提取用户意图和语义内容过滤冗余和非本质信息，从而压缩传输数据，提高通信效率[1]。然而，目前语义通信的研究还处于初级阶段，其系统框架和性能指标等仍存在大量问题，语义信息的提取和编码是亟待解决的难点。语义通信的研究分为基于香农信息论的语义通信[2]和基于深度学习的语义通信[3]两个方向。基于香农信息论的语义通信专注于将经典香农信息论扩展到语义层次，探索类似于信息熵的语义信息度量方案。在文献[4]中提出了语义通信的数学理论，构建了从语义信息量、语义熵到语义信道容量的完整理论框架，为构建新一代智能通信系统提供了坚实的数学基础和应用指导。文献[5]针对短波通信系统中语义编码的引入进行了性能评估，提出了一种基于文本模态的语义编码方法，有效提升了语义层的编码机制在复杂信道条件下信息传输的鲁棒性和效率。文献[6]借助信息科学与神经科学领域的研究结论，提出一种数学描述对多模态信号的语义信息进行度量。文献[7]提出了一种由语义信号和观测信号组成的信源模型，并使用信息论建模语义信源编码，设计了一种语义率失真函数。文献[8]提出了一种基于语义分解的可扩展编码方法，将语义信息划分为多个层级并分别编码传输，实现了在带宽受限环境下对核心语义内容的优先保障。随着深度学习技术在信息提取方面取得显著成果，提出了基于深度学习的语义通信研究方案。基于深度学习的语义通信研究关注深度学习算法的语义信息提取和编码方案，以构建全新的语义通信系统。文献[9]用语义相似度作为目标函数，提出了一种基于强化学习的信源信道联合编码方案，解决了语义相似度目标函数不可微的问题，并通过最大化语义相似度学习和提取文本中的语义信息。文献[10]提出了一种实现语义通信的模型，基于多智能体强化学习框架构建了图注意力交换网络，解决了无人机网络的延迟需求。文献[11]设计了一种针对文本传输的语义通信架构，并利用知识图谱中的三元组表征文本数据中的语义信息。而在文献[12]则考虑了面向任务的语义通信，定义了发送端与接收端共享的语义描述，提出了一种基于任务执行的语义通信模型，将任务定义为事件的组合，接收端根据发送端描述的事件执行特定任务。该模型采用任务执行时间和传输成本作为优化目标，基于自顶向下的强化学习方法进行迭代优化，从而确定特定任务下语义信息的最优描述。针对图像信源，文献[13]提出了基于卷积神经网络（CNN, Convolutional Neural Networks）的信源信道联合编码方法，构建端到端的语义通信系统进行无线图像传输。在文献[13]的基础上，文献[14]使用分层的自动编码器结构将图像映射到信道，引入了信道输出反馈机制，进一步提高语义通信的性能。文献[15]提出了一种数字语义通信的联合编码调制方案，使网络输出星座点似然度而非星座点符号，并进行随机调制，解决了网络中星座映射不可微的问题，并通过联合训练编码与调制，使得调制可以匹配信道状态，从而提高数字语义通信的性能。文献[16]针对带宽受限场景，提出基于信息瓶颈的语义通信方法，采用Transformer模型进行语义和信道联合编解码，并设计特征选择模块以识别和删除冗余语义信息，构建了端到端语义通信模型。为了改善传统压缩方法在保留深层语义信息方面的不足，文献[17]提出新型语义压缩算法，将全局相关语义重要性（GCSI）作为语义重要性度量参数，综合考虑语义任务相关性和语义内在相关性指标，实现有效的语义压缩。然而，上述语义通信研究仍存在不足，在考虑和设计联合编码方案进行语义信息的提取和编码时，忽略了语义通信过程中的通信开销和带宽需求。在端到端语义通信场景中，如何提升带宽资源受限条件下的语义通信性能是语义通信研究面临的重要挑战；在物联网语义通信场景中，带宽资源和设备内存同时受限时，如何设计轻量化语义通信模型，以解决语义通信性能难提升、模型难部署的问题。在物联网场景下的语义通信系统存在当智能设备与云服务器之间通信带宽资源受限时，减少上传的语义特征以降低带宽需求；当智能设备内存受限时，在保证语义通信性能的同时进行模型压缩，减少语义通信模型的参数量和内存需求，从而完成语义通信模型的部署的问题。本文提出了一种基于动态知识蒸馏的轻量化语义通信（L-SCDKD, Dynamic Knowledge Distillation Based Lite Semantic Communication）方法，分为基于动态知识蒸馏的知识迁移和网络剪枝两阶段。该方法以基于信息瓶颈的端到端语义通信方法为基础[16]，将分别构建网络结构复杂、参数量大的语义通信教师模型和小规模的学生模型，并基于动态知识蒸馏方法进行知识迁移，使用语义通信教师模型辅助训练学生模型以提升其性能；然后，利用网络剪枝的方法进一步对学生模型进行压缩，最终得到轻量化语义通信模型。1 系统模型
物联网场景下的语义通信模型如图1所示，该模型由智能设备和云服务器构成，采用分布式的布局将发送端部署于计算能力和内存有限的智能设备，将接收端部署于具有强大的计算能力和内存的云服务器，物联网场景下的语义通信流程分为三个阶段[18]：（1）模型训练与更新：云服务器先利用初始数据集训练语义通信模型，随后根据从智能设备接收到的语义特征对训练后的语义通信模型进行迭代更新。
（2）模型传输：云服务器将训练和更新后的语义通信模型传输到智能设备。
（3）语义特征上传：智能设备依靠传感设备不断感知并采集大量文本信息，并通过图2所示的端到端语义通信系统进行语义信道联合编码，得到语义特征，将语义特征传输到云服务器以更新语义通信模型，同时云服务器可根据语义特征恢复接收信息 。在物联网场景下的语义通信模型中，在语义特征上传阶段传输高质量的语义特征会提高语义信息恢复的准确率，但会带来高通信开销。对于网络结构复杂、参数量大的语义通信模型语义信息提取和编码效果越好，但增加了内存需求，在内存有限的智能设备上难以部署。
本文提出的基于动态知识蒸馏的轻量化语义通信模型建立使用了网络剪枝（NP, Network Pruning）和知识蒸馏（KD, Knowledge Distillation）两种典型的模型压缩技术。网络剪枝是模型压缩中最常用的方法，如图3所示。在神经网络中，尤其是全连接层中存在大量冗余的参数，这些参数对模型结果几乎没有影响。网络剪枝是针对预训练好的模型，通过设定评价准则例如参数的绝对值大小，评估网络中每个参数的重要性，删除冗余、不重要的参数，从而稀疏网络结构、降低内存需求以及加快计算速度[19]。剪枝的具体操作为：先在数据集上对原始网络模型进行预训练，使其进行参数更新并收敛至最优状态，保存模型及其参数；其次根据剪枝比例确定剪枝阈值，删除掉小于剪枝阈值的参数；最后对剪枝后的模型进行训练和微调，恢复网络模型的性能。
知识蒸馏的概念由Hinton[20]提出，基本原理是利用高复杂度、高精度的教师模型辅助训练低复杂度的学生模型，通过蒸馏获取教师模型的“知识”并迁移至学生模型，从而提高学生模型的性能，如图4所示。最初的知识蒸馏流程为：将教师模型中的logits概率分布经过Softmax操作后得到输出概率分布，以输出概率分布作为软标签进行学生模型的训练，并通过直接最小化学生模型和教师模型输出概率分布实现知识迁移[21]。其中，m表示分类数目。图5展示了不同蒸馏温度T对教师模型输出概率分布的影响，从图中可以看出，随着蒸馏温度T升高，教师模型输出的概率分布越平滑，其包含负标签的信息也越丰富，同时负标签带来的噪声也越大。因此，在知识蒸馏过程中，蒸馏温度T的选择需要考虑模型参数量以及分类数目。当学生模型参数量较少、分类数目较多时，蒸馏温度T越高，学生模型由于拟合能力差而无法学习所有的标签信息，同时学生模型受到负标签噪声的影响越大，导致其难以学习到正标签的信息，从而使得知识蒸馏效果变差。
2 基于动态知识蒸馏的轻量化语义通信方法
本节提出了基于动态知识蒸馏的轻量化语义通信方法，该方法包括：首先以SCIB方法为基础构建了语义通信教师模型和学生模型，并基于动态知识蒸馏完成知识迁移；然后利用网络剪枝方法进一步对SCIB学生模型进行压缩得到物联网场景下轻量化语义通信模型。
2.1 基于动态知识蒸馏的知识迁移
2.2 语义通信学生模型网络剪枝
3 仿真结果分析
为了验证所提出基于动态知识蒸馏的轻量化语义通信方法的性能，在本节中进行了实验仿真，并将其与典型的语义通信系统方法进行对比，分析所提方法的有效性。
3.1 实验设置
3.2 实验分析
基于动态知识蒸馏的轻量化语义通信方法在知识蒸馏训练过程中的损失函数变化情况如图8所示，其横坐标为训练次数epoch，纵坐标为损失函数值。图中蓝色实线代表训练集上损失函数的变化情况，蓝色实线的波动下降代表SCIB教师模型到SCIB学生模型的知识迁移过程；红色虚线代表测试集上损失函数的变化情况，随着训练次数的增加，学生模型的输出逐渐拟合教师模型的输出，知识蒸馏损失函数不断下降并趋于稳定。
在信噪比SNR=15条件下，知识蒸馏过程中学生模型在测试集上的BLEU分数随训练次数epoch的变化如图9所示，横坐标代表训练次数epoch，纵坐标为BLEU分数，曲线反映了随着知识蒸馏训练次数增加，学生模型通过拟合教师模型的输出以及学习真实标签的分布，性能逐渐提升并趋于稳定。
下面将依次进行相同带宽下L-SCDKD方法与基线方法性能对比，并探索通信开销降低比例μ，知识蒸馏温度T以及网络剪枝比例对语义通信对性能的影响：
图10所示为在相同的通信带宽情况下，L-SCDKD方法与基线方法的性能对比图，横坐标为信噪比SNR，纵坐标为BLEU分数。图中倒三角曲线代表L-DeepSC语义通信方法，圆形曲线代表第三节所提出的SCIB语义通信方法，五角星曲线代表本节提出的L-SCDKD方法。实验设置三种方法的语义特征维度相同均为dz=16，即采用相同通信开销和带宽。其中SCIB和L-SCDKD方法通过设置初始dz=20，并在μ=20%情况下通过特征选择模块降低维度至dz=16。L-SCDKD方法中设置网络剪枝比例η=70%，三种方法的模型参数量及内存需求如表3所示。从图10和表3可以看出，在不同信噪比下，本节所提出的L-SCDKD方法性能优于L-DeepSC语义通信方法，与SCIB方法性能几乎相同，且L-SCDKD方法显著降低了模型参数量和内存需求。该实验结果表明了基于动态知识蒸馏的轻量化语义通信方法提升了带宽受限时的语义通信性能，同时，该方法通过知识蒸馏和网络剪枝降低了模型参数量和内存需求，从而更易部署于内存受限的智能设备，解决了所存在的问题。
为了验证SCIB方法中通信开销降低比例μ对语义通信性能的影响，本实验设置初始语义特征维度dz为20，分别采用μ=0、μ=20%、μ=30%和μ=40%降低语义特征维度为20、16、12和8，实验仿真得到如图11所示的性能曲线对比图。图11中横坐标为信噪比SNR，纵坐标为BLEU分数，五角星曲线、圆形曲线、倒三角曲线、菱形曲线分别表示SCIB方法在μ=0、μ=20%、μ=30%和μ=40%时的性能曲线。从图中可以看出，SCIB方法在μ=20%时与μ=0时BLEU分数几乎相同，继续随着μ的增大，SCIB方法的BLEU分数逐渐降低。该实验结果表明，经过语义信道联合编码得到的语义特征中仍存在冗余信息，SCIB方法可以在保证语义通信性能的同时，进一步压缩和消除冗余，降低语义通信开销。然而随着μ增大，SCIB方法会消除和忽略部分重要语义特征，从而导致语义通信性能下降，即有效语义特征的减少导致了通信性能的下降，该结果也验证了语义通信中通信性能和通信开销之间的平衡关系。（3）知识蒸馏温度T对语义通信性能的影响
图12展示了不同信噪比情况下，L-SCDKD方法中知识蒸馏温度T对语义通信性能的影响，横坐标为信噪比SNR，纵坐标为BLEU分数。图中五角星曲线、倒三角曲线和正方形曲线分别代表知识蒸馏温度T=1、T=2和T=3情况下L-SCDKD方法的性能曲线，圆形曲线为未采用知识蒸馏的SCIB学生模型性能曲线。实验设置初始dz为20，并在μ=20%情况下通过特征选择模块降低维度至dz=16，网络剪枝比例η=70%。从图中可以看出，随着蒸馏温度T的升高，L-SCDKD方法的性能变差。分析以上原因，L-SCDKD方法中SCIB教师模型的输出概率分布中的类别数目为词典大小，即分类数目很大，而蒸馏温度越高，SCIB教师模型的输出越平滑，从而使得SCIB学生模型受到负标签噪声的干扰越大，难以学习到正标签信息，导致知识蒸馏效果变差。此外，未采用知识蒸馏的SCIB学生模型由于网络架构简单、参数量少，语义信息提取能力弱。从图中可以看出，与未采用知识蒸馏的SCIB学生模型相比，T=1时的L-SCDKD方法性能得到了显著提升，该结果验证了知识蒸馏的有效性。（4）网络剪枝比例η对语义通信性能的影响
在不同信噪比情况下，L-SCDKD方法中网络剪枝比例η对语义通信性能的影响，如图13所示，横坐标为信噪比SNR，纵坐标为BLEU分数。图中五角星曲线、倒三角曲线、正方形曲线和圆圈曲线分别代表网络剪枝比例η=0、η=70%、η=80%和η=90%情况下L-SCDKD方法的性能曲线。从图中可以看出，当网络剪枝比例η=70%时L-SCDKD方法的性能与η=0时几乎相同，当η=80%时模型性能有微小下降，随着η继续增加至90%时模型性能急剧恶化。该实验结果表明，L-SCDKD模型中存在大量的冗余参数，可通过网络剪枝的方法降低参数量以完成模型压缩。然而当网络剪枝比例过大时会剪枝掉关键的权值参数，导致语义通信性能急剧下降，因此在所提出L-SCDKD方法中，网络剪枝比例η的选择尤为重要。
4 结束语
本文首先介绍了物联网场景下的语义通信模型，分析了带宽资源和设备内存同时受限时，语义通信性能难提升、模型难部署的问题；其次，针对上述问题提出了基于动态知识蒸馏的轻量化语义通信方法，该方法包括基于动态知识蒸馏的知识迁移和网络剪枝两阶段。最后对所提出的基于动态知识蒸馏的轻量化语义通信方法进行了仿真验证和实验对比，结果表明该方法提升了带宽受限时的语义通信性能，同时显著降低了模型参数量，更易部署于内存受限的智能设备，适用于物联网场景。
[1] 张平,牛凯,姚圣时,等. 面向未来的语义通信：基本原理与实现方法[J]. 通信学报, 2023,44(5): 1-14.
[2] 施雨轩,吴泳澎,张文军. 基于信息论的语义通信:理论与挑战[J]. 中兴通讯技术, 2023,29(2): 13-18.
[3] Gündüz D, Qin Z, Aguerri I E, et al. Beyond transmitting bits: Context, semantics, and task-oriented communications[J]. IEEE Journal on Selected Areas in Communications, 2022,41(1): 5-41.
[4] 牛凯,张平. 语义通信的数学理论（英文）[J]. 通信学报, 2024,45(6): 7-59.
[5] Yang S, Fu J. Performance Analysis of HF Communication System Based on Text Modal Semantic Encoding[C]//2024 4th International Conference on Communication Technology and Information Technology (ICCTIT). Guangzhou, China, 2024: 304-307.
[6] 石光明,高大化,杨旻曦,等. 信号的语义刻画与度量[J]. 电子学报, 2022,50(9): 2068-2078.
[7] Liu J, Shao S, Poor H, et al. An Indirect Rate-Distortion Characterization for Semantic Sources: General Model and the Case Of Gaussian Observation[J]. IEEE Transactions on Communications, 2022,70(9): 5946-5959.
[8] Li H, Gao D, Yang M, et al. A Scalable Coding Method With Semantic Decomposition for Semantic Communication[J]. IEEE Wireless Communications Letters, 2025.
[9] Lu K, Li R, Zhang H, et al. Reinforcement learning-powered semantic communication via semantic similarity[J]. arXiv preprint arXiv:2108.12121, 2021.
[10] YUN W J, KIM J, JUNG S, et al. Attention-Based Reinforcement Learning for Real-Time Uav Semantic Communication[C]//2021 17th International Symposium on Wireless Communication Systems (ISWCS). IEEE, 2021: 1-6.
[11] Wang Y, Chen M, Poor H, et al. Performance Optimization for Semantic Communications: An Attention-Based Reinforcement Learning Approach[J]. IEEE Journal on Selected Areas in Communications, 2022,40(9): 2598-2613.
[12] Farshbafan M, Saad W, Debbah M. Common Language for Goal-Oriented Semantic Communications: A Curriculum Learning Framework[C]//ICC 2022 IEEE International Conference on Communications. IEEE, 2022: 1710-1715.
[13] Bourtsoulatze E, Kurka D B, Gündüz D. Deep Joint Source-Channel Coding for Wireless Image Transmission[J]. IEEE Transactions on Cognitive Communications and Networking, 2019,5(3): 567-579.
[14] Kurka D B, Gündüz D. DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback[J]. IEEE Journal on Selected Areas in Information Theory, 2020,1(1): 178-193.
[15] Bo Y, Shao S, Tao M, et al. Learning Based Joint Coding-Modulation for Digital Semantic Communication Systems[C]//2022 14th International Conference on Wireless Communications and Signal Processing. IEEE, 2022: 1-6.
[16] 刘伟,王孟洋,白宝明. 面向带宽受限场景的高效语义通信方法[J]. 西安电子科技大学学报, 2024,51(3): 9-18.
[17] 李勇,刘志强,田茂幸,等. 基于全局相关语义重要性的语义压缩算法[J]. 浙江大学学报(工学版), 2025,59(4): 795-803.
[18] Xie H, Qin Z. A Lite Distributed Semantic Communication System for Internet of Things[J]. IEEE Journal on Selected Areas in Communications, 2020,39(1): 142-153.
[19] Liang T, Glossner J, Wang L, et al. Pruning and Quantization for Deep Neural Network Acceleration: A Survey[J]. Neurocomputing, 2021,461: 370-403.
[20] Hinton G, Vinyals O, Dean J. Distilling the Knowledge in A Neural Network[J]. Stat, 2015,1050: 9.
[21] Gou J, Yu B, Maybank S J, et al. Knowledge Distillation: A Survey[J]. International Journal of Computer Vision, 2021,129: 1789-1819.
[22] Zhang Q, Cheng X, Chen Y, et al. Quantifying the Knowledge in A Dnn to Explain Knowledge Distillation for Classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022,45(4): 5099-5114.
[23] Xie H, Qin Z, Li G Y, et al. Deep Learning Enabled Semantic Communication Systems[J]. IEEE Transactions on Signal Processing, 2021,69: 2663-2675.
[24] Zhou Q, Li R, Zhao Z, et al. Semantic Communication with Adaptive Universal Transformer[J]. IEEE Wireless Communications Letters, 2021,11(3): 453-457.
[25] Xie H, Qin Z. A Lite Distributed Semantic Communication System for Internet of Things[J]. IEEE Journal on Selected Areas in Communications, 2020,39(1): 142-153. ★
刘伟：教授，博士毕业于英国南安普顿大学，现任职于西安电子科技大学通信工程学院，主要研究方向为软件定义空间信息网络、MIMO 通信系统、干扰管理以及联合通信、计算和缓存。
王孟洋：硕士毕业于西安电子科技大学通信工程学院，主要研究方向为MIMO无线通信。
牛文洁：西安电子科技大学通信工程学院在读硕士研究生，主要研究方向为新型通信网络技术与理论。
★往期推荐★【6G卫星互联网】2025年第6期专题论文汇总（19篇）
《移动通信》杂志由中国电子科技集团公司主管，中国电子科技集团公司第七研究所主办，是中国期刊方阵“双效期刊”、工业和信息化部精品电子期刊、中国科技论文统计源刊、中国通信学会《信息通信领域高质量科技期刊分级目录》入选期刊、中国电子学会《电子技术、通信技术领域高质量科技期刊分级目录》入选期刊、中国应用型核心期刊、日本JST收录期刊。国内连续出版物号：CN44-1301/TN，国际连续出版物号：ISSN1006-1010，邮发代号：46-181。
来源：移动通信编辑部