浙江大学团队提出一种不依赖缺陷数据的扁线绕组焊点缺陷检测方法

摘要：深度学习被广泛应用于物体表面缺陷检测，而实际产线上扁线绕组焊点缺陷样本稀少，存在小样本问题，难以训练模型直接预测焊点缺陷。

深度学习被广泛应用于物体表面缺陷检测，而实际产线上扁线绕组焊点缺陷样本稀少，存在小样本问题，难以训练模型直接预测焊点缺陷。

浙江大学先进电气装备创新中心的史涔溦、刘炳昊、邱建琪、史婷娜针对此问题，在《电工技术学报》上撰文，提出一种不依赖缺陷数据的扁线绕组焊点缺陷检测方法，能够准确实现产线实拍图像上焊点的缺陷检测，解决了工业生产中缺陷样本稀少的问题，为扁线绕组焊点缺陷检测的工业任务提供了一种新的思路。

研究背景

电动汽车驱动电机广泛采用扁线绕组永磁同步电机，扁线绕组在焊接过程可能出现焊接不足、焊坑、焊珠等缺陷焊点，必须对焊接质量进行监测。

常规基于图像和深度学习的扁线绕组焊点缺陷检测方法需要大量缺陷焊点数据用于训练模型，而实际生产线上扁线绕组缺陷焊点样本十分匮乏，存在小样本和样本类别不平衡的问题。

项目组提出一种不依赖缺陷数据的焊点缺陷检测方法。

论文所解决的问题及意义

项目组针对电动汽车电机扁线绕组焊点缺陷样本在实际工业生产中稀缺，而无法利用目标检测算法直接实现缺陷类别预测的问题，基于特征比对提出一种不依赖缺陷数据的焊点缺陷检测方法，解决了工业生产中缺陷样本稀少的问题，为扁线绕组焊点缺陷检测的工业任务提供了一种新的思路。

论文方法及创新点

1、算法实现

1）焊点位置回归

区别于目标检测网络，针对产线图像，模型不再预测焊点类别，仅预测焊点边界框，从而根据边界框位置框定单一焊点图像。模型框架见图1，骨干网络为基于ImageNet预训练的Resnet50网络，采用FPN（Feature Pyramid Network）和PAN（Path Aggregation Network）的结构融合不同尺度的特征信息。

图1 焊点目标检测模型

2）正常焊点特征库构建

特征库用以保存正常焊点图像的特征，其构建过程如图2所示。图像经预训练的Resnet50网络会生成不同层级的特征图，项目组选择中间层级的特征图，采用双线性插值的方法对齐层级间的尺度，并沿深度方向拼接以融合不同层级的特征信息。选用中间层的好处是防止低层级较低的感受野和高层级较高的语义信息而丢失焊点局部信息。存储正常焊点图像特征太多时，可采样一个子集使得最大程度近似表达原集。

图2 特征库构建

3）计算异常分数

当检测阶段预测出焊点边界框后，根据边界框裁剪出焊点图像，复用骨干网络提取并融合焊点图像中间层特征，与特征库中特征进行比对，采用K邻近算法（KNN, K-Nearest Neighbors）搜索其与特征库中距离最邻近的特征，并以欧氏距离计算它们之间的距离并将其作为异常分数，以判定是否存在异常。检测过程如图3所示。

图3 缺陷检测

4）总体框架

项目组提出的扁线绕组焊点缺陷检测方法的总体流程如图4所示。在训练阶段，对含有预训练的Resnet50网络的目标检测模型进行迭代训练以实现焊点位置检测，同时保存正常焊点经预训练的Resnet50网络提取到的中间层特征以构建特征库；测试阶段分为两步，首先利用已完成训练的目标检测模型得到待检图像上焊点的位置，然后复用模型中的Resnet50网络提取该区域的特征，并与特征库中存储的特征作比对，从而确定此焊点是否存在缺陷，并定位其缺陷区域。