摘要:滑坡对人类生存环境造成严重的危害,人工识别滑坡区域的方式比较耗时且隐蔽区域不易被探测,而利用遥感图像识别滑坡区域,能够准确快速地实现滑坡灾害预警和救援。随着深度学习的快速发展,语义分割已经广泛应用于滑坡遥感图像识别领域。针对当前滑坡图像分割模型容易出现错误识别
本文内容来源于《测绘学报》2024年第11期(审图号GS京(2024)2421号)
基于多层特征信息融合的滑坡图像分割模型
张银胜,1,2,3, 陈戈2, 段修贤1, 童俊毅2, 单梦姣2, 单慧琳,1,2,31.无锡学院江苏省集成电路可靠性技术及检测系统工程研究中心,江苏 无锡 214105
2.
3.
摘要:滑坡对人类生存环境造成严重的危害,人工识别滑坡区域的方式比较耗时且隐蔽区域不易被探测,而利用遥感图像识别滑坡区域,能够准确快速地实现滑坡灾害预警和救援。随着深度学习的快速发展,语义分割已经广泛应用于滑坡遥感图像识别领域。针对当前滑坡图像分割模型容易出现错误识别、图像边缘信息丢失等问题,本文提出了一种多层特征信息融合的滑坡分割模型MLFIF-Net,该模型以MobileNetv3-Small为主干网络,提高模型对滑坡图像的特征提取能力,同时构建级联带状空间金字塔池化模块增强滑坡图像的纹理特征,获取多尺度信息,利用高效通道注意力模块关注图像特征,设计了多层特征信息融合结构增强图像的边缘信息,从而提升模型的分割效果。试验结果表明,本文模型在贵州毕节市滑坡数据集上的准确率为96.77%,类别平均准确率为95.61%,平均交并比达到了87.69%,与SegNet等6种分割模型相比,其分割精度较为优异,能够准确识别目标区域,突出滑坡图像边缘细节。
关键词:语义分割遥感图像滑坡金字塔池化注意力模块特征信息融合
基金项目
第一作者:张银胜(1975—),男,博士,教授,研究方向为智能图像处理与目标检测。 E-mail:
通信作者:单慧琳 E-mail:shanhuilin@nuist.edu.cn
本文引用格式
张银胜, 陈戈, 段修贤, 等.
ZHANG Yinsheng, CHEN Ge, DUAN Xiuxian, et al.
阅读全文
我国地域辽阔,滑坡是较为频繁的灾害类型[1],其通常发生在陡峭的山坡、悬崖等地形上,会引发土石流、泥石流等灾害,造成人员伤亡、财产损失和环境破坏等严重危害。因此,如何在大范围复杂场景下高效精准且自动地识别滑坡区域,对预防地质灾害,保护自然环境和人类生命财产安全具有重要意义。
早期的滑坡识别通常由地质专家现场考察收集滑坡区域数据,这种方法既耗费人力,也存在一定的安全隐患,并且一些隐蔽的区域不易被探测[2]。随着遥感技术的发展,研究者利用遥感影像来获取相关数据,如利用合成孔径雷达干涉(interfermoetic SAR, InSAR)技术[3-4]和全球卫星导航系统(GNSS)[5]获取滑坡区域影像图对山体滑坡进行监测,利用综合遥感探测技术对滑坡灾害区域进行分析[6],得到灾害隐患高发区域等有效信息,这些研究都为滑坡预测和防治提供了参考依据。
当识别遥感图像中的滑坡时,方法通常分为3类:基于像素、基于对象和基于深度学习[7]。基于像素的方法通过提取每个像素的特征来识别滑坡区域,该方法可能会忽略像素之间的联系,且容易受到噪声[8]的影响。基于对象的方法在处理遥感图像时能够更好地利用空间、光谱等信息,从而实现滑坡区域的分类提取[9],但该方法过度依赖分割标准、尺度等因素,限制了其在实际应用中的效果。得益于计算机视觉技术的发展,基于深度学习的滑坡识别方法对识别效率有明显改善,该方法利用了诸如Seg Net(segmentation network)[10]、PSP-Net(pyramid scene parseing network)[11]、DeepLabV3+[12]等经典的语义分割模型,实现了对遥感图像中特定目标的识别。同时,该方法在大范围复杂场景中能够提升滑坡识别的准确性和效率,为地质灾害研究工作提供了有效的数据支持。
近年来,国内外研究者提出了许多语义分割方法应用于滑坡领域中。文献[13]设计了一种半自动的卷积神经网络(convolutional neural network, CNN)模型用于识别雨林地区的残余滑坡,能够预测卫星图像的滑坡区域,但模型对具体细节特征有所忽略。文献[14]基于像素分割和掩模区域的卷积神经网络(mask region-based convolutional neural network, Mask R-CNN)来识别滑坡区域,利用ResNet101作为骨干模型时效果最好,而以ResNet50作为骨干模型时图像边缘信息易丢失。文献[15]重构了一种U-Net滑坡分割模型,通过在上采样和下采样之间加入残差学习单元,对6个通道的滑坡图像特征进行提取,同时将包含数字地表模型(digital surface model, DSM)、斜率和坡向的3个空间信息引入模型,能够对震后滑坡区域进行识别,但仍存在着一些区域误差。文献[16]提出了一种结合循环生成对抗和类激活图的弱监督学习滑坡分割算法,可以减少数据标注工作量,但结果相较于监督学习方法存在差异。文献[17]提出了一种基于Deep Lab V3+并融合嵌入式多通道与地形特征的滑坡语义分割模型,同时结合地质知识的增强型深度学习对九寨沟地震滑坡进行识别,能准确排除非地震引发的滑坡,有效提高复杂背景下滑坡区域的识别效果,但对于地震产生的不规则滑坡区域没有突出相应的纹理特征。
在实际的识别过程中,新发生的滑坡区域由于山体植被被破坏,颜色特征多呈灰白、青白等浅色调,而旧滑坡区域由于表面植被的恢复,颜色特征不易被分辨,难以被模型准确识别。同时,滑坡区域存在较多狭长且粗糙的地表纹理,已有模型不能准确地识别滑坡区域形状,容易丢失边缘信息,导致分割效果不理想。针对上述问题,本文提出了一种多层特征信息融合的滑坡分割模型(multi-layer feature information fusion network, MLFIF-Net),主要包括:①构建级联带状空间金字塔池化模块增强模型对滑坡图像纹理特征的提取能力,捕获多尺度上下文信息;②嵌入了高效通道注意力模块提高模型对图像特征的关注度,减少与非滑坡区域相混淆的现象;③设计多层特征信息融合结构来增强图像的边缘信息,提升对滑坡区域的识别能力。
1 本文方法1.1 网络模型结构本文提出的分割模型MLFIF-Net结构如图1所示,主要由级联带状空间金字塔池化(cascade strip atrous spatial pyramid pooling, CSASPP)模块、高效通道注意力(efficient channel attention, ECA)模块和多层特征信息融合结构(multi-layer feature information fusion structure, MLFIFS)组成。该模型将滑坡原始图像和标签图像输入主干网络,并通过编码器中的模块相互拼接进行高级特征融合。同时,输出的低级特征有助于增强图像边缘信息,以跨层连接的方式获取特征信息。编码部分采用MobileNetv3-Small[18]作为主干网络,能够提升模型对滑坡图像有效信息特征的提取能力,加快网络的推理速度,之后采用CSASPP模块获取多尺度信息,识别滑坡图像的纹理特征。输出特征图在经过CSASPP模块后,与ECA模块结合,能够高效捕捉滑坡图像中的特征信息,同时编码部分会对输入图像的低级信息进行特征提取,并与从ECA模块输出的高级语义特征结合,在MLFIFS部分利用上采样、卷积等操作,逐步将低级语义特征转化为高级语义特征,最后利用解码部分的高层语义特征与对应尺寸的低层特征进行特征融合,弥补了特征图在复原过程中因部分位置信息缺失带来的影响。
图1图1 MLFIF-Net结构
Fig.1 MLFIF-Net structure
1.2 主干特征提取网络为了提高网络模型的推理速度,模型采用轻量级的卷积神经网络(convolutional neural network, CNN)作为主干网络,其核心颈部(Bottleneck)层的结构如图2所示,在保持网络轻量级的同时,减少图像信息丢失,提高特征表达能力。
图2图2 颈部层结构
Fig.2 Bottleneck layer structure
首先,输入图像通过1×1卷积的扩展层增加通道数,同时利用了批归一化(batch normalization, BN)和h-swish激活函数。其中,FC表示全连接层,NL表示非线性激活函数。然后,引入深度可分离卷积(depthwise separable convolution, DSConv)[19],该卷积由深度卷积和逐点卷积两个独立的卷积组成,每一层卷积均采用BN和ReLU激活函数,BN的作用是提升准确率并加快网络收敛速度。在卷积核选择方面,深度卷积采用5×5大小的卷积核来代替部分3×3卷积核,能够高效关注输入图像的通道维度。逐点卷积则使用了一个卷积核大小为1×1×M(M为输入维度)的标准卷积,在减少计算量的同时保持了网络的表达能力。在网络的线性瓶颈最后一层中引入了SE(squeeze-and-excitation)模块[20]保持网络模型的准确性。最后,通过平均池化层压缩输入图像的各个通道,利用全连接层反映输出图像类别,具体参数见表1。
表1MobileNetv3-Small网络参数
Tab.1 MobileNetv3-Small network parameters
输入尺寸参数输出尺寸224×224×3Conv,3×3112×112×16112×112×16Bottleneck,3×356×56×1656×56×16Bottleneck,3×328×28×2428×28×24Bottleneck,3×328×28×2428×28×24Bottleneck,5×514×14×4014×14×40Bottleneck,5×514×14×4014×14×40Bottleneck,5×514×14×4014×14×40Bottleneck,5×514×14×4814×14×48Bottleneck,5×514×14×4814×14×48Bottleneck,5×57×7×967×7×96Bottleneck,5×57×7×967×7×96Bottleneck,5×57×7×967×7×96Conv,1×17×7×5767×7×576Pool,7×71×1×5761×1×576Conv,1×11×1×576新窗口打开| 下载CSV
1.3 CSASPP模块传统的空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)模块主要由多个并行的空洞卷积和全局池化组成,每个空洞卷积层使用不同的膨胀率,之后将各个空洞卷积结果和池化结果进行拼接,并通过一个1×1卷积层进行特征融合,生成特征图像。然而,对于遥感图像而言,空洞卷积的增大会导致图像的部分区域信息丢失,进而无法捕捉到准确的滑坡位置。为了增强模型捕捉滑坡图像中多尺度特征信息的能力,在编码部分构建了CSASPP模块,结构如图3所示,它利用分层跳跃的方式,即在不同空洞卷积操作之后,通过增加由上层空洞卷积输出特征层分支,将得到的特征图像按通道进行拼接,能有效获取多尺度的上下文信息,更好地保持图像中目标区域语义信息的完整性。
图3图3 CSASPP模块结构
Fig.3 CSASPP module structure
该模块主要是由空洞卷积、普通池化和带状池化组成,每个空洞卷积层采用不同的膨胀率,以便在不同尺度下提取图像特征,有助于模型更好地获取多尺度的图像特征信息。原始ASPP模块中空洞卷积的卷积膨胀率分别为6、12、18,而较大的卷积膨胀率可能会引起局部信息丢失。因此,通过试验比较,最终选择了3、6、9的卷积膨胀率,以提高上下层之间的相关性,并减少信息丢失。将不同感受野的输出特征图像级联融合能够增强多尺度的目标细节信息。之后,输出的特征图像在通道维度上进行堆叠,能够丰富图像细节,获取滑坡不同形状的区域,提升对图像目标信息的感知能力。
对于池化部分,使用普通池化将图片均匀分割为不同大小的区域,可以获取到不同尺度的全局信息。同时,利用带状池化(striped pooling, SP)[21]获取纹理特征,其结构如图4所示。传统的池化操作通常利用固定大小的窗口在图像上滑动,然后选取窗口内像素的最大值或平均值作为池化结果,而SP则是将图像划分为多个带状区域,并对每个带状区域中的像素进行池化操作,为模型提供更多的滑坡图像信息,更加完整地保留图像的结构信息和纹理特征。
图4图4 SP结构
Fig.4 SP structure
当模块中输入的特征图像X∈RH×W时,其空间范围为1×W或H×1,对应输出的水平条带池化和垂直条带池化分别为
和
,对应的公式为
(1)
式中,i、j分别表示了特征图像中像素位置的行与列;Xij表示了第i行和第j列的特征图像信息;H和W分别代表特征图像的高度、宽度。
1.4 ECA模块模型在对滑坡图像特征提取时,由于地形、植被等复杂场景的影响,滑坡区域与背景形似度较高,难以精准捕捉特征保持分割效果。为了解决此类问题,在CSASPP模块输出图像处嵌入ECA模块[22],以提升模型对图像特征的关注,同时减少滑坡区域与非滑坡区域混淆的情况,结构如图5所示。ECA模块能在不降低维度的同时高效捕捉跨通道交互,提升模型分割效果。
图5图5 ECA模块结构
Fig.5 ECA module structure
一般情况下,通道注意力机制在处理特征时会考虑全局信息,这样可能会导致模型过于复杂,而ECA模块可以很好地避免这些问题。首先,设一个输入特征图像为X∈RW×H×C,其中C为通道维度。在不降维的前提下,通过全局平均池化(global average pooling, GAP),利用大小为ko的1D卷积生成通道权值并进行特征提取,实现跨通道交互,最后通过1D卷积和Sigmoid函数完成对特征图像的输出,过程公式为
(2)
式中,ko代表了通道交互的范围大小;γ和b用于改变通道数和卷积核大小的比例,一般γ为2,b为1;|t|odd代表了t的最近奇数;σ(·)代表Sigmoid激活操作;C1D(·)表示1D卷积操作;ω代表了信道权重;y代表了特征x经过GAP的输出特征。
1.5 多层特征信息融合结构在地形、植被等大范围的复杂场景下,遥感图像中的滑坡边缘区域易被遮挡,模型进行识别时会出现区域边缘轮廓模糊的现象,导致分割效果较差。为了解决此类问题,构建了多层特征信息融合结构MLFIFS,如图6所示。
图6图6 MLFIFS
Fig.6 Multi-layer feature information fusion structure
由于主干网络中不同层次包含不同的信息,底层容易获得图像的边缘信息,因此MLFIFS将主干网络的两层低级特征信息输入解码部分。同时,从编码部分获得的高级特征信息由CSASPP模块传递融合,生成的高级语义特征D1与经过3×3卷积特征信息E1相互堆叠,利用两次4倍上采样恢复图像大小,与底层特征信息相加,能够在与编解码连接的同时保持通道数不变,高效地保留图像边缘位置信息。另一部分的底层边缘特征首先经过1×1卷积通道数调整,获取低级特征信息E2。然后,将其与经过4倍上采样的特征图像堆叠,利用Sigmoid对应通道特征的权重,并再次与编码器输出的高级语义特征D1相互堆叠生成特征信息。最后,通过3×3卷积对通道进行改变以提升特征信息,经过4倍上采样输出最终的滑坡分割图像,减少图像中区域边缘轮廓模糊和缺失的现象,这样的处理流程有助于提高模型对滑坡图像的分割精度。
1.6 损失函数在滑坡图像中,前景背景的面积往往大于滑坡区域的背景面积,背景的不平衡会对识别造成消极影响。为了解决这个问题,采用戴斯损失函数(Dice Loss),该损失函数的特点是当目标区域和背景区域之间的比例不平衡时,其损失值能更好地反映模型对目标边界的预测能力。通过最小化Dice Loss,能够更有效地捕捉目标区域,从而提升图像分割的效果。但在实际过程中,Dice Loss可能会出现损失饱和,为了缓解该问题,将Dice Loss和交叉熵损失函数(cross-entropy loss, CE Loss)结合使用,能够在训练时使损失函数平缓下降,提升模型对于滑坡图像识别的准确性。Dice Loss和CE Loss过程公式为
(3)
式中,yi和分别表示模型对于目标i的标签值和预测值;N表示目标像素点总个数。2.1 试验数据本文选取的研究区域位于贵州省西北部的毕节市,该区域地势西高东低,山地、盆地、洼地等地形交错,结构较为复杂,同时隶属亚热带季风湿润气候,降雨量较为充沛,特殊的地形和丰富的雨水量使得该区域滑坡灾害发生频繁。文献[23—24]利用毕节市滑坡灾害数据集[25]来评估滑坡模型,具有很好的延伸性。该数据采集时间为2018年5—8月,利用TripleSat卫星数据,共采集770张滑坡图像和2003张非滑坡图像。由于所采集的样本较少,为了避免模型在训练时出现过拟合的现象,采用镜像(图7(b))、180°翻转(图7(c))、180°翻转后镜像(图7(d))等数据增强方法,最终得到3070张滑坡图像,并以8∶2的比例划分训练集和验证集,数据增强示例图像如图7所示。
图7图7 数据增强效果
Fig.7 Data enhancement renderings
2.2 试验配置试验环境配置见表2,最大学习率为0.01,权重衰减系数设置为0.000 5,批量大小设为8,模型的训练次数设置为100次,下采样倍数设为8,并利用Adam优化器对模型的学习率进行调整,内部Momentum参数设置为0.9。
表2配置信息
Tab.2 Configuration information
配置名称参数CPUIntel(R)Core(TM)i9-12900KFGPUNVIDIA GeForce RTX3090操作系统Windows10框架Pytorch1.12编程语言Python新窗口打开| 下载CSV
在评价指标方面,选择了准确率(pixel accuracy, PA)、类别平均准确率(mean pixel accuracy, MPA)、平均交并比(mean intersection over union, MIoU)对所使用的模型性能进行评估,所得出的结果均来自于验证集。
准确率用于衡量预测结果中每个像素分类的准确性,计算所有像素点中被正确分类的比例,而类别平均准确率是准确率的一种变体,用于计算每个类别的准确率。它们的计算公式为
(5)
(6)
式中,k表示滑坡图像的类别总数;pnn表示正确识别滑坡区域的像素点数量;pnm表示识别滑坡区域为背景区域的像素点数量。
平均交并比通过计算每个类别的交并比,取其平均值来度量模型的性能,计算公式为
(7)
式中,pmn表示识别背景区域为滑坡区域的像素点数量。
2.3 试验分析2.3.1 注意力模块试验为了验证ECA注意力对滑坡图像的分割效果,选取了CA(coordinate attention)[26]、SE、PSA(pyramid split attention)[27]、ECA 4种不同的注意力。其中,CA是一种灵活和轻量的注意力模块,考虑了通道信息和方向相关的位置信息;SE是一种通道注意力模块,主要是由压缩和激励两个部分组成;PSA将输入从通道分组,并对每组进行不同卷积核大小的卷积操作,以获取不同尺度的感受野。将4种注意力模块在相同的数据集进行试验对比,结果见表3。由试验结果可知,在嵌入ECA后,MLFIF-Net模型效果均优于其他3种注意力模块。
表3不同注意力模块的精度
Tab.3 Accuracy of different attention modules
注意力模块PAMPAMIoUCA96.2595.0887.05SE96.5895.4287.28PSA96.0595.2786.72ECA96.7795.6187.69新窗口打开| 下载CSV
不同注意力的分割效果如图8所示,对于滑坡区域与背景形似度较高的问题,CA虽然在识别过程中突出了滑坡边缘细节,但会出现滑坡与周边区域混淆的现象;PSA在识别过程中容易丢失滑坡图像边缘信息,导致分割结果不能突出边界特征;与SE相比,ECA能更好地区分滑坡区域与背景中的非滑坡区域,识别出滑坡的具体形状。
图8图8 不同注意力模块滑坡图像分割结果
Fig.8 Segmentation results of landslide images using different attention modules
2.3.2 金字塔池化模块试验为了评估CSASPP模块在模型中的效果,与其他两种模块进行对比试验,精度见表4。在试验1中,模型使用ASPP模块的结果,MIoU达到了86.62%。在试验2中,将ASPP膨胀率调整为(3,6,9)后MIoU提升了0.10%。在试验3中,引入了SASPP模块,即在ASPP中加入SP,MIoU相比于试验1提升了0.17%,表面SP有助于提升分割效果。在试验6中,本文构建的CSASPP模块MIoU提升到了87.35%,比试验1增长了0.73%,这表明CSASPP模块能够增强网络上下文信息。同时,将膨胀率调整为(3,6,9)后,模型更加关注滑坡图像细节特征,高效完成对滑坡区域的识别。
表4不同金字塔池化模块精度
Tab.4 Accuracy of different pyramid pool modules
试验模块膨胀率MIoU/(%)1ASPP(6,12,18)86.622ASPP(3,6,9)86.723SASPP(6,12,18)86.794SASPP(5,9,13)86.845SASPP(3,6,9)86.946CSASPP(6,12,18)87.357CSASPP(5,9,13)87.428CSASPP(3,6,9)87.69新窗口打开| 下载CSV
不同金字塔池化模块的分割效果如图9所示,ASPP模块能识别出滑坡大致位置,但对于纹理特征不能很好地体现。SASPP模块在细节上的表现要优于ASPP模块,对于部分边缘区域能够突出纹理特征,但在图9的图像2中部分细节识别较为模糊,本文的CSASPP模块能够在识别滑坡区域的同时突出边缘细节,减少锯齿状现象的出现。
图9图9 不同金字塔池化模块滑坡图像分割结果
Fig.9 Landslide image segmentation results of different pyramid pooling modules
2.3.3 消融试验为了评估本文模型对滑坡图像分割的有效性,进行了消融试验对比,试验精度见表5。以试验1的MobileNetv3-Small主干网络的试验结果作为基准模型(Baseline),试验2加入CSASPP模块后,MIoU提升了0.6%,说明构建的CSASPP模块能够很好地捕捉多尺度信息,从而提升平均交并比。试验3在试验2的基础上加入ECA模块,MIoU比试验2提升了0.46%,说明ECA模块可以提高对图像特征的关注度。试验4是在试验3的基础上构建MLFIFS,即MLFIF-Net模型,MIoU相较于试验1提升了1.54%,说明本文模型能够有效识别滑坡区域,提升图像的分割效果。
表5消融试验精度
Tab.5 Accuracy of ablation experiments
试验模型MIoU/(%)1Baseline86.152Baseline+CSASPP86.753Baseline+CSASPP+ECA87.214Baseline+CSASPP+ECA+MLFIFS87.69新窗口打开| 下载CSV
消融试验的MIoU曲线如图10所示,图中蓝色曲线代表试验1的基准模型,黄线和绿线分别代表试验2和试验3,红线代表MLFIF-Net模型,即试验4。可以看出,当迭代次数为50左右,MLFIF-Net的MIoU能够达到85%以上。随着迭代次数的增加,试验4的MIoU效果最好,这得益于ECA模块能够保留特征信息,并通过多层特征融合获取边缘信息,从而提升滑坡区域的分割效果。
图10图10 消融试验MIoU变化
Fig.10 Comparison of MIoU in ablation experiments
2.3.4 主干网络试验为了验证主干网络MobileNetv3-Small在模型中的效果,与Vgg16和Xception主干网络进行对比试验,同时增加了推理时间、帧率和参数量3个指标,结果见表6,相较于Vgg16和Xception, MLFIF-Net在使用MobileNetv3-Small后,推理时间达到12.34 ms,帧率达到80.97,参数量为6.1×106,能够保持推理速度的同时减少模型参数量。
表6不同主干网络试验结果
Tab.6 Experimental results of different backbone networks
主干网络推理时间/ms帧率参数量Vgg1613.5271.2429.3×106Xception35.3828.2555.7×106MobileNetv3-Small12.3480.976.1×106新窗口打开| 下载CSV
2.3.5 不同网络模型试验在使用相同数据集训练的情况下,将滑坡分割模型与其他经典模型进行了对比,如SegNet、PSP-Net和DA-Net[28]。同时,与E-Deep LabV3+[29]、DFPENet[30]和HADeen Net[31]3种滑坡分割模型进行对比试验,结果见表7。可以看出,MLFIF-Net模型PA和MPA分别为96.77%和95.61%,MIoU达到87.69%,相较于Seg Net、PSP-Net两种传统分割模型,PA分别提升了3.63%和2.36%,MPA分别提升了6.18%和2.77%,MIoU提升了约6%。与DA-Net用于场景分割模型相比,MLFIF-Net模型MIoU提升了0.89%,PA提升了0.51%,与同为滑坡分割模型的E-Deep Lab V3+、DFPENet、HADeen Net相比,MLFIF-Net模型的PA分别提升了0.23%、0.62%和0.92%,MIoU分别提升了0.44%、0.73%和1.28%。因此,与其他6种模型相比,MLFIF-Net模型在3种评价指标上都取得了不错的效果。
表7不同网络模型精度
Tab.7 Accuracy of different network models
模型主干网络PAMPAMIoUSeg Net—93.1489.4380.85PSP-NetRes Net5094.4192.8481.64E-Deep Lab V3+[28]Efficient Net96.5495.4287.25DA-Net[27]ResNet5096.2695.3586.80DFPENet[29]ResNet10196.1595.0886.96HADeen Net[30]Res Net5095.8594.7886.41MLFIF-NetMobileNetv3-Small96.7795.6187.69新窗口打开| 下载CSV
不同模型的分割效果如图11所示。由图11可知,传统分割模型Seg Net和PSP-Net在识别滑坡区域时,容易和滑坡颜色相似的地面相混淆,出现错误识别的现象,如图11的图像3将道路旁的山坡识别为滑坡区域。在图11的图像5中,Seg Net有少部分滑坡区域未识别到,而PSP-Net则出现大面积的识别错误。同时,在图11的图像1、图像4对边缘形状的识别过程中,Seg Net和PSP-Net的分割效果也存在一些问题,出现边缘区域模糊和锯齿状现象,导致分割图与标签图的差异较大,说明利用传统模型识别遥感图像不能达到较为优异的结果。对于DA-Net模型,虽然能够较为准确地识别滑坡区域,但对于一些边缘细节的识别效果却并不理想,如图11的图像1、图像5,区域边缘易出现缺失,同时会出现部分边界和周边区域相混淆的情况。由图11可以看出,E-Deep Lab V3+、DFPENet和HADeenNet 3种滑坡模型的分割效果较为优异,但对于边缘部分,本文的MLFIF-Net模型能够更加完整地突出边界细节,在识别滑坡区域上有着较高的精度,对边缘的分割效果要优于其他的模型。
图11图11 不同模型滑坡图像分割结果
Fig.11 Segmentation results of landslide images from different models
3 结论在识别滑坡区域时,为了解决局部信息丢失、不能准确识别边缘区域等问题,本文利用基于深度学习的方法,通过多层特征信息融合结构、改进金字塔池化等操作,提出了一种多层特征信息融合的分割模型MLFIF-Net,结论如下。
(1)本文模型采用MobileNetv3-Small作为主干网络,利用CSASPP模块、ECA模块和多层特征信息融合结构,提升对滑坡区域的识别能力,增强图像的边缘信息。
(2)在贵州毕节市滑坡数据集上做了消融和对比试验,所提出模型的PA和MPA分别为96.77%和95.61%,MIoU达到87.69%,与已有的6种分割模型比较,MLFIF-Net能精准地识别图像的滑坡区域位置,突出轮廓细节。同时,能够在大范围的复杂场景下,以准确快速的优势完成滑坡区域的识别,为防灾工作提供有效的数据支持。在后续的滑坡区域识别中,会考虑增加其他类型的滑坡来完成语义分割任务,同时在模型中会增加边缘模块来提升分割精度,更好地完成对滑坡区域的识别。
来源:测绘学报