摘要：据悉，西安空军工程大学的人员在期刊《Optics and Lasers in Engineering》上发表了关于基于深度学习的飞机涂层激光清洗过程中的视觉监测方法的研究内容（In-process vision monitoring methods for a

长三角G60激光联盟导读

据悉，西安空军工程大学的人员在期刊《Optics and Lasers in Engineering》上发表了关于基于深度学习的飞机涂层激光清洗过程中的视觉监测方法的研究内容（In-process vision monitoring methods for aircraft coating laser cleaning based on deep learning）。

论文链接：https://doi.org/10.1016/j.optlaseng.2022.107291

论文亮点：

为了在清洗过程中保护基体，并对飞机涂层激光清洗后的清洗效果和表面质量进行评估，本文提出了一种基于深度学习的视觉监测方法。本文构建了 “火焰识别 - 清洗质量评估” 以及 “光学图像 - 表面粗糙度” 数据集，并进行了数据增强处理。利用特征融合方法设计了能够有效提取输入图像细节信息的 SSEResNet 主干网络。结合 SSEResNet、双向特征金字塔网络（BiFPN）和软非极大值抑制（Soft-NMS）对级联区域卷积神经网络（Cascade R-CNN）目标检测模型进行了改进，并基于 ResNet101 提出了能够直接从光学图像预测表面粗糙度的 SSEResNet101 回归模型。模型对比和消融实验表明，本文提出的上述两种深度学习模型具有优异的检测能力和回归预测性能，能够实现激光清洗过程中的火焰识别、清洗效果判断以及清洗后表面质量评估。此外，本文进一步研究了四种不同的学习率衰减策略对模型的影响。结果表明，带热重启的余弦退火（CosineAnnealing with warm restart）方法的训练效果最佳。在 SSEResNet101 模型中，训练均方误差（MSE）损失为 0.0249，平均绝对误差（MAE）为 0.278μm，测试平均绝对误差为 0.245μm；在改进的 Cascade R-CNN 模型中，交并比（IoU=0.6）的平均精度均值（mAP）达到了 93.6%。

激光清洗技术是一种基于激光与物质相互作用的新型清洗技术。由于其具有非接触、无污染、对基体损伤小、灵活性高以及清洗效率高等优点，被广泛应用于各类表面涂层清洗作业中 [1], [2], [3]。然而，航空特种涂层的结构和成分复杂，且涂层清洗要求高精度，这使得激光清洗在实际应用中存在诸多问题。例如，激光能量过高或激光脉冲照射时间过长会对基体表面造成损害，而激光能量不足或激光脉冲照射时间过短则会导致清洗不彻底 [4]。此外，在去除飞机表面的特殊涂层时，由于飞机涂层厚度不均匀以及飞机表面地形不规则，很难控制激光束合适的焦距和脉冲输出功率。如果对整个表面采用相同的激光照射条件，基体的某些部分可能会受到损坏，而某些部分可能尚未完全清洗干净。而且，在很多情况下，清洗效果的判断依赖于操作人员的经验。为了及时发现并解决这些问题，有必要对激光清洗过程进行可视化监测，并根据监测信息及时修改激光参数以进行补偿。同时，为了评估飞机涂层去除后的表面质量，并防止因表面粗糙在重新喷涂涂层时出现橘皮现象 [5]，监测激光清洗后的表面粗糙度也至关重要。

近年来，对激光清洗过程监测技术的研究主要集中在图像、光谱信号等方面 [6]。Lu 等人 [7,8] 的团队首先提出了一种通过声波实时监测激光清洗的方法。他们研究了准分子激光清洗铝合金过程中产生的可听声波，发现声信号的峰值逐渐下降到某个稳定值。他们还通过监测脉冲激光照射下基体表面发出的声波，对激光干洗的表面清洁度进行了实时监测。Lee 和 Watkins [4] 研究了激光清洗铜表面时产生的声波，并基于不同数量的激光脉冲照射氧化铜所产生的声波的幅度变化，成功地监测了激光清洗过程。此外，他们利用声谱模式识别技术，通过神经网络逻辑实现了激光频率监测。另外，他们使用基于色度调制的表面检测方法，通过主波长、能级和激发纯度这三个光谱参数来监测大理石的激光清洗过程。Mateo 等人 [9] 利用激光诱导击穿光谱（LIBS）技术对黄铜表面涂层的激光清洗过程进行实时监测，并使用傅里叶变换衰减全反射红外光谱有效地验证了 LIBS 的监测效果。同时，表面粗糙度的快速检测方法引入了神经网络。Yang S H 等人 [10] 提出了一种适用于预测车削表面粗糙度的机器视觉检测方法。该方法使用基于差分进化算法（DEA）的人工神经网络（ANN）网络来预测表面粗糙度值。Hu 等人 [11] 将反向传播（BP）神经网络应用于高速铣削表面粗糙度的预测建模，并通过实验验证了该模型具有较高的预测精度。尽管这些基于声信号检测、光谱分析、激光诱导击穿光谱、激光诱导荧光（LIF）和电荷耦合器件（CCD）光学成像技术的激光清洗过程可视化监测方法能够有效地辅助操作人员，但仍然存在设备昂贵、抗干扰能力差、信号处理繁琐以及在某些关键节点依赖人工经验和判断等缺点。同时，表面粗糙度的预测方法仍然是通过物理计算和建模，尚未实现端到端的直接预测。因此，对激光清洗过程的可视化监测和表面粗糙度的快速检测需要进一步研究。

在飞机涂层的激光清洗过程中，激光与涂层相互作用会产生一系列可观察到的特征，如火焰、烟雾、声音和气味。充分利用这些特征有助于更好地控制和优化激光清洗过程。本文对三种特征进行可视化监测：首先，由于涂层和基体的材料不同，激光与它们相互作用产生的火焰特征会发生变化。通过监测火焰特征，可以实时掌握激光清洗状态，实现对激光清洗过程的控制和对基体的保护。其次，清洗质量好的区域和清洗质量差的区域在颜色上呈现出明显的视觉差异，通过监测颜色特征的变化可以评估激光清洗质量。第三，激光清洗后的表面质量与飞机涂层的重新喷涂质量有关，用于评估表面质量的表面粗糙度与清洗后的表面纹理特征之间存在一定的关系。因此，监测飞机涂层激光清洗后的表面纹理特征可以评估清洗后的表面质量。目前，以深度学习技术为代表的人工智能技术擅长从数据中挖掘变量之间隐藏的关系和变化规律，并以端到端的方式表达它们。因此，它被用来取代传统方法，并广泛应用于计算机视觉、自然语言处理等领域。在我们的研究中，利用深度学习技术挖掘和学习上述特征的内在关系和变化规律，并将其用于激光清洗过程的可视化监测和质量评估，以实现整个激光清洗过程的无人化、自动化和智能化。

本文研究了基于深度学习的飞机涂层激光清洗过程可视化监测方法，包括基于改进型级联区域卷积神经网络（Cascade R-CNN）的激光清洗质量可视化监测方法和基于 SSEResNet101 回归模型的激光清洗后表面质量可视化监测方法。由于深度学习网络要提取的火焰、颜色和表面纹理等特征与整个图像相比非常小，我们需要加强对小目标细节特征的提取，获取更丰富的颜色和纹理等语义信息，并提高深度学习模型的性能。因此，我们使用 SENet 注意力模块和 CSPNet 增强模块，设计了基于 ResNet101 的 SSEResNet 特征融合主干网络。结合 SSEResNet、双向特征金字塔网络（BiFPN）和软非极大值抑制（Soft-NMS），提出了改进的 Cascade R-CNN 目标检测模型和 SSEResNet101 回归预测模型。此外，本文将所提出的深度学习模型应用于基于光学图像的涂层激光清洗过程的端到端可视化监测，包括火焰检测、清洗质量评估和表面粗糙度预测。

我们在一块尺寸为 20cm×20cm×1cm 的光滑铝合金板上均匀喷涂了飞机专用涂层，制作了一块涂有 0.5mm 厚铁氧体吸波涂层的实验板，并使用激光清洗机模拟飞机表面涂层去除过程，同时用相机进行实时监测。所使用的相机是 Mars5000S-35uc 工业相机。我们从拍摄的监控视频中导出了 2000 张光学图像，图像分辨率为 1920×1080，并通过数据增强将其扩充了 5 倍。我们使用 LabelImg 软件对图像进行标注，以获得标注文件。按照 8:1:1 的比例划分训练集、验证集和测试集。8000 张光学图像及相应的标注文件可用于深度学习模型的训练。

本文根据激光清洗过程中不同的视觉特征来制作图像标注。当激光脉冲的焦距合适时，激光束能量集中，激光会使飞机的特殊涂层轻微燃烧，产生明亮且旺盛的火焰。然而，由于涂层和铝合金基体的材料不同，这种激光能量不足以使基体燃烧，并且在激光照射下涂层和基体的特征是不同的。随着涂层不断燃烧，火焰从旺盛逐渐减弱。当涂层完全燃烧后，激光开始接触基体，会出现 “火花飞溅” 的显著特征，这可以作为激光脉冲接触基体的判断依据。如果涂层火焰出现 “火花飞溅” 且火势微弱暗淡，应尽快停止激光清洗，以避免激光束长期照射对基体造成损坏。此外，如果激光清洗区域露出基体的原始颜色（米白色），或者特殊涂层燃烧后残留的氧化反应产物的淡黄色，则意味着该区域的涂层已被激光清洗干净，而未进行激光清洗或清洗不彻底的区域则呈现黑色或灰色。因此，根据上述特征，“火焰识别 - 清洗质量评估” 数据集中有四类标注，即：“涂层火焰”、“基体受照射”、“已清洗干净” 和 “未清洗”。这四类标注对应的监测图像如图 1 (a) 所示。

Fig. 1. (a) Visual monitoring image and label (b) Magnified optical image and surface roughness value.

为了制作 “光学图像 - 表面粗糙度” 回归预测数据集，我们使用电子显微镜以 30～110 倍的随机放大倍数采集了实验板表面的光学图像，并确保这些光学图像包含了良好的表面特征。这可以丰富这些光学图像的类型，有利于提高预测模型的鲁棒性和泛化能力。光学图像的宽高比为 1920:1080。为了适应本文所设计的回归预测模型的输入设置，并减轻模型计算资源的负担，对采集到的原始图像进行中心裁剪，以获得宽高比为 224:224 的光学图像。然后，使用表面粗糙度检测仪测量相应位置的粗糙度值，将其作为对应光学图像的标注值。本文共采集了 7600 张光学图像，并测量了 7600 个相应位置的表面粗糙度。按照 0.9:0.05:0.05 的比例划分了训练集、验证集和测试集。图 2 和图 1 分别展示了本文中两个数据集的制作方法和部分原始数据。在图 1 (b) 中，Ra 是用于定量评估表面粗糙度的一个参数，称为轮廓算术平均偏差，它是采样长度内轮廓偏差绝对值的算术平均值。在表面粗糙度的基本评估参数中，通常优先选用 Ra。

Fig. 2. Manufacture method of "Flame Recognition-Cleaning Quality Evaluation " dataset and "Optical Image-Surface Roughness " dataset.

深度学习需要大量的训练数据以便从数据中学习相关知识。数据增强技术可以在不增加推理成本的情况下扩充现有数据集，同时还能提高数据的多样性，从而提升模型网络的鲁棒性和泛化能力。本文采用了五种数据增强方法：翻转、亮度变化、模糊处理、添加高斯噪声和马赛克增强。翻转操作可以将图像上下颠倒，保留图像特征的同时减弱特殊位置对图像特征的影响；亮度变化是将图像转换到 HSL 通道，并通过调整 L 参数使图像变暗或变亮；模糊处理能够降低图像分辨率，使图像变得相对模糊；高斯噪声操作是向图像中添加一种服从高斯分布函数的噪声；马赛克增强是将四张图像裁剪后混合成一张图像，使得批量归一化时每层的激活统计量是基于四张不同的图像来计算的，大大减少了对大量数据制作的需求。其中，目标检测模型使用了所有的增强方法，而回归预测模型仅使用了前三种数据增强方法。这是因为目标检测模型主要研究图像中的火焰变化和颜色特征，采用上述五种数据增强方法可以在不破坏这两类特征的前提下增强数据的多样性。回归预测模型主要研究图像的表面纹理特征。如果使用添加高斯噪声的数据增强方法，图像的表面纹理会被破坏，导致模型效果不理想。此外，由于回归预测模型使用的标签是与表面粗糙度值对应的一个区域，若采用马赛克数据增强方法，四张图像组合在一起后标签会变得混乱。因此，回归预测模型只能使用前三种数据增强方法。图 3 展示了一些经过增强的数据。

Fig. 3. (a) Data augmentation of visual surveillance images (b) Augmentation of regression prediction dataset.

为了降低回归预测模型的训练难度，防止梯度爆炸，并使模型尽快收敛，本文对输入到预测模型中的光学图像以及作为标注值的表面粗糙度值进行了归一化处理。经过归一化处理后，光学图像数据满足标准正态分布。

Fig. 4. (a) SSEResNet backbone network (b) The structure of SE-Bottleneck (c) The structure of CSPNet module.

先导网络包含残差网络（ResNet）和挤压激励（SE [13]）模块。增强网络由跨阶段局部网络（CSPNet [14]）模块堆叠而成。首先，将增强网络输出的特征图与先导网络输出的特征图进行融合，然后，将融合后的新特征图输入到先导网络的下一个模块中。先导网络中每个模块输出的特征图包含相对低级的语义信息，而增强网络中的 CSPNet 模块能够提取出包含更高级语义信息的特征图。本文设计的增强型卷积神经网络能够融合多个高级和低级特征，并生成包含更丰富语义信息的特征图。

挤压激励（SE）模块的结构如图 4 (b) 所示。输入到 SE 模块的特征图首先通过全局平均池化层沿着空间维度对特征进行压缩，将每个二维特征通道转换为一个实数，然后通过一个全连接层降低特征维度，在经过修正线性单元（ReLu）激活后，再通过一个全连接层将特征维度提升至原始维度。这三层构成了一个瓶颈结构，能够对通道之间的相关性进行建模。然后通过 Sigmoid 运算得到归一化的权重，最后通过缩放操作将该权重加权到每个通道的特征上。

跨阶段局部网络（CSPNet）模块的结构如图 4 (c) 所示。输入到 CSPNet 模块的特征图首先通过步长为 2 的 3×3 卷积进行下采样，然后通过 1×1 卷积操作将其整合为 P0 和 P1。P1 在经过 n 个具有瓶颈结构的残差块（Resblock）模块后与 P0 进行叠加。最后，叠加后的特征图通过一个 1×1 卷积层进一步调整。在本文中，使用了五个 CSPNet 模块来增强 SE-ResNet101，这些 CSPNet 模块分别包含 1、2、8、8 和 4 个残差块（Resblock）模块。

为了监测涂层激光清洗过程的清洗质量，本文提出了一种改进型级联区域卷积神经网络（Cascade R-CNN）目标检测模型。级联区域卷积神经网络（Cascade R-CNN）[15] 目标检测模型是基于经典的更快区域卷积神经网络（Faster R-CNN）[16]，并且级联了三个具有不同交并比（IoU）值的检测器阶段。这种级联结构显著提高了目标检测的准确性。由于本文中待检测的目标尺寸较小且分布密集，需要对 Cascade R-CNN 进行改进，改进后的模型能够更好地检测出第 2.1 节中所标注的四类目标。图 5 展示了改进后的 Cascade R-CNN 模型结构。

Fig. 5. Improved cascade R-CNN object detection model.

改进后的级联区域卷积神经网络（Cascade R-CNN）目标检测模型由三个部分组成：主干网络（Backbone）、颈部网络（Neck）和头部网络（Head）。主干网络是本文设计的 SSEResNet 特征融合增强网络，其中 ResNet 选用的是 ResNet101。颈部网络部分采用了特征处理能力更强的双向特征金字塔网络（BiFPN）[17] 结构。BiFPN 对 SSEResNet101 提取的不同尺寸的特征图进行加权融合处理，得到的特征图输入到头部网络部分进行目标检测。其中，在头部网络部分保留了 Cascade R-CNN 的区域建议网络头部（RPNHead）。在进行感兴趣区域（ROI）池化后，通过三个具有不同交并比（IoU）值（0.5、0.6、0.7）的级联检测器（H1、H2、H3）对特征图进行分类（C）和边界框回归（B）。

在本文中，使用 BiFPN 来替代特征金字塔网络（FPN），以便使特征图得到更高效的多尺度融合处理，丰富小目标的特征信息，并提高模型对小目标的检测能力。BiFPN 是一种加权双向特征金字塔网络，它使用跨尺度连接和加权特征融合，以较小的参数实现了更好的多尺度特征融合效果。跨尺度连接减少了一些不必要层的节点连接，提高了融合效率。之前的特征融合对不同尺度的特征同等对待，而加权特征融合则对每一层赋予不同的权重（类似于注意力机制）然后再进行融合，这使得网络能够更多地关注相对更重要的层，从而更好地平衡不同尺度的特征信息。加权特征融合模式为快速归一化融合。

非极大值抑制（NMS）算法会根据建议框的得分从高到低进行排序。选择得分最高的检测框 M，并抑制与所选建议框有明显重叠的其他框。NMS 直接将与得分最高的框的交并比（IOU）大于某个阈值的框的得分设为零，但是当两个目标框非常接近时，这会导致得分较低的框因为重叠区域过大而被删除，从而造成漏检。软非极大值抑制（Soft-NMS）将所有其他目标的检测得分作为它们与 M 的重叠度的连续函数进行衰减，从而减轻了漏检问题。本文选择了高斯加权的软非极大值抑制（Soft-NMS），公式 (5) 为其计算公式。其中，b 是初始检测框，s 包含相关的检测得分，M 是得分最高的检测框，D 是最终的检测框集合。

表 1 展示了我们的实验环境。模型采用亚当（Adam）优化算法进行训练，学习率设为 0.001，动量为 0.9，并将最后一个训练周期（epoch）的权重作为模型的训练结果。本文使用了四种学习率衰减方法对模型进行迭代训练，每次训练时间约为 3 小时。

我们对改进后的级联区域卷积神经网络（Cascade R-CNN）目标检测模型进行了比较和消融实验。为确保实验的公平性，用于比较的每个模型均采用亚当（Adam）优化算法进行训练，固定学习率为 0.0025，训练 100 个轮次（epochs），且其他参数配置相同。

在目标检测模型的实验中，本文使用了两个评估指标：平均精度均值（mAP）和每秒检测帧数（fps）。fps 表示每秒检测的帧数，即推理速度。其值越高，处理速度越快。在工程应用中需要考虑这一参数。平均精度均值（mAP）代表模型的整体检测准确率。

本文将改进后的级联区域卷积神经网络（Cascade R-CNN）模型与其他五个常用的目标检测模型进行了比较，并对 Cascade R-CNN 进行了消融实验。在每次实验中，仅对主干网络（Backbone）、颈部网络（Neck）和头部网络（Head）这三个部分中的一个模块进行替换，以达到控制变量的目的，从而测试本文中改进模块的实际效果。其中，所有实验均使用增强后的数据集，交并比（IoU）设为 0.6。表 2 展示了目标检测模型的实验结果。

对比实验结果表明，本文改进后的级联区域卷积神经网络（Cascade R-CNN）模型的检测性能优于常用的目标检测模型。在消融实验中，改进后的 Cascade R-CNN 的平均精度均值（mAP）相较于 Cascade R-CNN 基线模型提高了 1.64%，其中，仅使用 SSEResNet101 主干网络可使 mAP 提高 0.82%，仅使用双向特征金字塔网络（BiFPN）特征融合颈部网络可使 mAP 提高 0.6%，仅使用软非极大值抑制（Soft-NMS）可使 mAP 提高 0.22%。消融实验结果证明了本文改进部分的有效性，其中 SSEResNet101 主干网络对模型 mAP 的提升贡献最大，因为改进后的主干网络能够提取更全面、丰富的小目标特征信息，从而提高了模型对小目标的检测能力。

本文研究了不同学习率衰减策略对改进后的 Cascade R-CNN 模型目标检测性能的影响。学习率调整方法包括：等间隔学习率调整（StepLR）、多间隔学习率调整（MultiStepLR）、余弦退火学习率调整（CosineAnnealingLR）、带热重启的余弦退火学习率调整（CosineAnnealing with warm restart）以及固定学习率（0.0025）。所有实验均使用亚当（Adam）优化算法和增强后的 “火焰识别 - 清洗质量评估” 数据集。我们计算并比较了在交并比（IoU）=0.6 的情况下，四类目标的平均精度（AP）值以及模型的 mAP 值。同时，为了更全面地了解模型在本文构建的数据集上的性能表现，绘制了四种学习率衰减策略在不同 IoU 值下的精确率 - 召回率（PR）曲线，这能更直观地反映模型的性能。表 3 和图 6 展示了我们的实验结果，其中表 3 分别列出了在四种学习率衰减策略和固定学习率下，改进后的 Cascade R-CNN 模型对四类目标检测的 AP 值以及模型的 mAP 值。

Fig. 6. PR curves of four learning rate decay strategies under different IoU values.

带热重启的余弦退火（CosineAnnealing with warm restart）学习率调整策略的训练效果最佳，在交并比（IoU）=0.6 时，平均精度均值（mAP）达到了 93.6%。然而，我们也发现，不同学习率衰减策略训练得到的 mAP 值实际上相差不大，都在 92% 左右。我们认为出现这种现象的原因可能是受数据量的限制。在这个数据量下，模型的检测性能已经发展到了一定程度，单纯使用不同的训练策略已无法大幅提升性能。如果想要进一步提高模型的检测能力，需要使用更大、更丰富的数据集进行进一步训练。同时，从图 6 中可以看出，这四种学习率衰减策略呈现出这样一种趋势：从 IoU=0.5 到 IoU=0.7，随着 IoU 值的增加，精确率 - 召回率（PR）曲线下的面积增大，这表明模型性能有所提升。这也证明了级联区域卷积神经网络（Cascade R-CNN）的检测器级联结构能够有效地提高模型的检测能力。

图 7 展示了使用带热重启的余弦退火学习率衰减策略的改进型 Cascade R-CNN 模型的实际检测效果，其中 “CF” 是 “涂层火焰（Coating flame）” 的缩写，“SiI” 是 “基体受照射（Substrate is irradiated）” 的缩写，“CU” 是 “已清洗干净（Cleaned up）” 的缩写，“NC” 是 “未清洗（Not clean）” 的缩写。从图中可以看出，本文的检测模型能够有效地检测涂层火焰的变化以及激光清洗的清洗质量，这表明使用深度学习技术对飞机涂层的激光清洗过程进行可视化监测是可行的。

Fig. 7. Improved Cascade R-CNN model actual detection effect.

为了评估激光清洗后的表面质量，我们基于第 3.1 节中设计的 SSEResNet 主干网络，以 ResNet101 作为基础主干网络，重塑了一个回归预测模型。本文中的 SSEResNet101 回归预测模型能够通过光学图像直接预测相应部位的表面粗糙度。该模型的详细信息如图 8 所示。

Fig. 8. The structure of SSEResNet101 regression prediction model.

表 4 展示了我们的实验环境。模型采用亚当（Adam）优化算法进行训练，学习率为 0.001，动量为 0.9，并将最后一个训练轮次（epoch）的权重作为模型的训练结果。本文使用了四种学习率衰减方法对模型进行迭代训练，每次训练时间约为 3 小时。

进行数据增强后，回归预测模型的均方误差损失（MSELoss）和平均绝对误差（MAE）值明显降低，这表明数据增强能够有效地提升模型的性能。这是因为数据增强操作增加了训练集中的数据量，减少了某些图像特征的单一性和特殊性，使得模型能够提取更多、更丰富的特征，进而增强了模型的鲁棒性和泛化能力。与其他卷积神经网络（CNN）模型相比，本文所设计的 SSEResNet101 在预测表面粗糙度时，均方误差（MSE）和平均绝对误差（MAE）值最小，决定系数（R²）值最大。在使用数据增强后，均方误差仅为 0.0287，比 ResNet101 小 0.0098，比 SEResNet101 小 0.0032。此外，SEResNet101 也比 ResNet101 小 0.0066。这表明本文所设计的增强型 CSPNet 模块以及所引入的 SE 模块都发挥了重要作用，它们共同提升了模型的预测能力。这是因为 CSPNet 的增强模块辅助提取高语义信息，并且在与低层次语义信息的特征融合后能够获得更丰富的语义信息。同时，SE 模块挖掘了通道间特征的相关性，在这两个模块的共同作用下，可以更好地提取输入光学图像的细节特征，从而使模型能够更好地学习这些特征与表面粗糙度之间的映射关系。

本文研究了不同学习率衰减策略在训练过程中对 SSEResNet101 模型的影响。使用等间隔学习率调整（StepLR）、多间隔学习率调整（MultiStepLR）、余弦退火学习率调整（CosineAnnealingLR）和带热重启的余弦退火学习率调整（CosineAnnealing with warm restart）进行模型训练时的均方误差损失（MSELoss）和平均绝对误差（MAE）曲线如图 9 (a) 所示。同时，为了更直观地展示基于光学图像和深度学习回归模型的表面粗糙度预测效果，我们使用回归模型的预测值和真实标注值绘制了散点图，如图 9 (b) 至图 9 (e) 所示。

Fig. 9. Training results and scatter plots of predicted effect for different learning rate decay strategies. (a) Training loss and Val MAE curves for different learning rate decay strategies (b) Using StepLR (c) Using MultiStepLR (d) Using CosineAnnealingLR (e) Using CosineAnnealing with warm restart.

从图 9 (a) 中我们可以看到，带热重启的余弦退火（CosineAnnealing with warm restart）学习率衰减方法的收敛效果最佳，均方误差损失（MSELoss）和平均绝对误差（MAE）最小。余弦退火学习率调整（CosineAnnealingLR）方法的训练效果次之，等间隔学习率调整（StepLR）方法的效果最差。这是因为带热重启的余弦退火方法能使学习率在衰减到一定值后急剧上升，然后进行新一轮的衰减。这样做的好处在于，如果模型收敛到了局部最优解，急剧上升的学习率能让模型有一定概率跳出局部最优解，从而继续对模型进行更新。使用学习率衰减的训练策略可以有效地提高训练的速度和精度，因为在训练初期学习率相对较大，模型能够快速高效地接近最优解，而在训练后期，学习率衰减到较小的值，模型能够逐渐收敛到最优解，而不会跳过最优解，导致振荡甚至发散。

从图 9 (b) 至图 9 (e) 中可以看出，回归模型通过光学图像直接预测的表面粗糙度在散点图上与真实值的表现非常接近，这表明本文设计的回归模型具有良好的预测效果，能够很好地从光学图像直接预测表面粗糙度值。其中，带热重启的余弦退火学习率衰减方法的预测效果最佳，其测试平均绝对误差（MAE）值为 0.245μm，表面粗糙度预测结果与真实值更为一致。图 10 展示了使用带热重启的余弦退火学习率衰减方法的预测效果。上述实验结果也表明，本文设计的深度学习模型能够通过预测表面粗糙度来实现对激光清洗后表面质量的评估。

Fig. 10. Prediction effect of using CosineAnnealing with warm restart.

本文将深度学习技术引入到激光清洗过程的可视化监测中，并设计了两种深度学习模型，以探索基于深度学习技术实现整个激光清洗过程无人化、自动化和智能化操作的可能性。首先，我们对喷涂有飞机专用涂层的实验板上的涂层进行了激光清洗，并对整个清洗过程进行了监测。然后，我们制作了两个数据集：“火焰识别 - 清洗质量评估” 和 “光学图像 - 表面粗糙度”，并使用数据增强方法对数据进行了扩充。通过特征融合的方式，我们设计了 SSEResNet 主干网络，以便更好地提取输入图像的细节特征，并基于 ResNet101 提出了 SSEResNet101 回归预测模型，实现了对光学图像表面粗糙度的直接预测。同时，我们改进了级联区域卷积神经网络（Cascade R-CNN）目标检测模型，通过对监测图像的分析，实现了对涂层火焰变化以及激光清洗清洗质量的检测，从而达到保护基体并评估清洗效果和表面质量的目的。对比实验和消融实验的结果表明，本文提出的两种模型具有优异的回归预测性能和目标检测能力。本文还研究了不同学习率衰减的训练策略对 SSEResNet101 回归预测模型和改进后的 Cascade R-CNN 模型的影响。结果表明，带热重启的余弦退火（CosineAnnealing with warm restart）方法的训练效果最佳。在 SSEResNet101 模型中，训练均方误差损失（MSELoss）为 0.0249，平均绝对误差（MAE）为 0.278μm，测试平均绝对误差为 0.245μm；在改进后的 Cascade R-CNN 模型中，交并比（IoU）=0.6 时的平均精度均值（mAP）达到了 93.6%。本文的工作对于进一步开发基于深度学习的飞机涂层激光清洗过程可视化监测技术具有一定的指导意义。

长三角G60激光联盟陈长军转载

热忱欢迎参加我们在2025年5-27-29日举办的两机展和激光在两机（飞机发动机和燃气轮机）及低空经济中的应用大会

来源：江苏激光联盟