技术摘要：
本发明公开了一种基于改进的Faster R‑CNN模型的非均匀纹理小缺陷的检测方法，该方法包括获取含有待检测缺陷的待检测对象的图像，并采用改进的Faster R‑CNN模型对待检测对象的图像进行特征提取；所述改进的Faster R‑CNN模型具体是，在VGG16网络结构的最后三个阶段通  全部
背景技术：
锂电池作为现代工业中重要的材料之一，在新能源汽车、建筑、工业制造等领域被 广泛使用，在锂电池投入使用之前需要对锂电池的质量进行检测。锂电池缺陷种类繁多，主 要包括封边褶皱，极片划痕、露箔、颗粒、穿孔、暗斑、异物，以及表面凹痕、污迹、鼓包、喷码 变形等，且缺陷形状随机、大小不一，而且锂电池表面具有非均匀纹理复杂背景，这些给锂 电池质量检测带来巨大挑战。 现有锂电池质量检测的方法是通过人工肉眼比对、手触摸感觉对产品抽样检测， 人工存在易疲劳的问题，面对长时间的检测容易出错；人为的判断标准存在主观性，不同时 段对相似样本会出现不同判断；由于锂电池部分缺陷尺寸较小，导致许多细节人眼无法准 确地识别；人工检测效率很低，且无法进行实时检测。 文献《锂电池表面缺陷检测研究》提出了一套锂电池表面检测系统，能实现手机锂 电池外观尺寸缺陷、顶峰封印异物缺陷以及喷码不良的自动检测；但是由于锂电池表面每 种缺陷形态各异，且大小不一，因此很难找到一套可以表征所有缺陷特征的算法，尤其是部 分缺陷看起来非常小，且受复杂背景的影响严重，缺陷识别的效果将会显著下降。 何凯明等人提出一种二阶段目标检测框架Faster  R-CNN(Ren  S,He  K,Girshick  R,et  al.Faster  R-CNN:Towards  Real-Time  Object  Detection  with  Region  Proposal  Networks[J].IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence, 2017,39(6):1137-1149.)，但是其主要针对的是公共数据集，目标像素较大(例如VOC2007 数据集中目标像素为500*366)，难以适用于工业缺陷检测。大图像、小缺陷是工业缺陷检测 的一大特点，例如一张100万分辨率大小的锂电池图像上存在的缺陷只有几十个像素甚至 十几个像素，很容易造成小缺陷的定位不准确，不能满足工业检测精度要求，因此现有的 Faster  R-CNN不能直接应用到锂电池的表面缺陷检测当中。 注意力模块同样在计算机视觉中扮演着重要角色，主要用于学习图像中物体的上 下文信息、或是不同物体的相对位置信息、亦或是远距离物体的相关性；本发明在Faster  R-CNN模型中嵌入残差互补注意力门模块来捕获丰富的上下文信息，以增强小目标缺陷特 征的表达能力。
技术实现要素：
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于改进的Faster  R-CNN模型的非均匀纹理小缺陷的检测方法。 本发明解决所述技术问题采用的技术方案是，提供一种基于改进的Faster  R-CNN 4 CN 111598861 A 说　明　书 2/9 页 模型的非均匀纹理小缺陷的检测方法，其特征在于，该方法包括获取含有待检测缺陷的待 检测对象的图像，并采用改进的FasterR-CNN模型对待检测对象的图像进行特征提取； 所述改进的FasterR-CNN模型具体是，在VGG16网络结构的最后三个阶段通过嵌入 残差互补注意力门模块的特征金字塔多尺度融合结构提取特征； 所述残差互补注意力门模块具体是： 将特征y1经过卷积后生成新的特征h(y1)，特征h(y1)经过依次经过全局平均池化 和多层感知器后，再通过sigmoid激活函数后得到通道注意力映射图A，最后将通道注意力 映射图A与特征y1进行相乘得到经通道注意力模块输出的特征B；其中， A＝sigmoid(MLP(GAP(h(y1))))    (1) A∈RC×1    (2) B∈RC×H×W    (3) 式中，R表示特征空间，C、W和H分别表示特征图的通道数量、宽度和高度； 然后，将特征B分别经过三个卷积后生成特征E、F和G，将特征E、F和G分别进行重组 得到特征E’、F’和G’；其中， {E,F,G}∈RC×H×W    (4) E'∈RC×N，F'∈RC×N，G'∈RC×N    (5) 式中，N＝H×W； 将特征E’的转置和特征F’进行矩阵乘积运算并经过softmax激活函数后成空间注 意图S，将空间注意图S与特征G’相乘，得到经空间注意力改进的特征Q；最后将特征y1与特 征Q进行逐元素相加求和，获得经残差互补注意力门模块后的精细特征y2。 所述嵌入残差互补注意力门模块的特征金字塔多尺度融合结构具体为： 将VGG16网络的第三阶段、第四阶段和第五阶段中每个卷积层分别横向进行卷积， 每一层对应输出一个横向的卷积特征；将每个阶段的三个横向的卷积特征进行逐元素相加 求和，得到该阶段的混合卷积特征，第三、四、五阶段分别对应混合卷积特征x、混合卷积特 征y和混合卷积特征z； 其中，混合卷积特征z经过卷积后得到特征z1，特征z1经过下采样后得到特征Z； 特征z1同时经过上采样后得到特征z2，特征z2与混合卷积特征y按照通道拼接在 一起，形成特征y1；特征y1再经过残差互补注意力门模块得到精细特征y2，精细特征y2经过 下采样后得到特征Y； 精细特征y2同时经过上采样得到特征x1，特征x1与混合卷积特征x按照通道拼接 在一起，形成拼接后的特征x2；特征x2经过残差互补注意力门模块得到精细特征x3，精细特 征x3经过下采样后得到特征X； 最后将上述的特征X、Y、Z按照通道拼接在一起后，再经过卷积后即为改进的 Faster  R-CNN模型的最终输出特征。 所述VGG16网络所有卷积层的卷积核大小为3×3、步长为1；池化窗口大小为2×2、 步长为2。 一种基于改进的Faster  R-CNN模型的非均匀纹理小缺陷的检测方法的具体步骤 是： S1、图像获取，包括无缺陷的图像和含有待检测缺陷的图像，将图像归一化调整至 5 CN 111598861 A 说　明　书 3/9 页 1024x1024像素； S2、制作数据集；对步骤S1中含有待检测缺陷的图像中的缺陷进行标注形成标签， 并将所有的标签按照比例分为不同的数据集； S3、改进Faster  R-CNN模型；以VGG16网络为基础，在VGG16网络的最后三个阶段通 过嵌入残差互补注意力门模块的特征金字塔多尺度融合结构提取特征； S4、模型训练 S4-1、根据数据集中待检测缺陷的种类数和待检测缺陷名称修改改进的Faster  R-CNN模型的类别总数与类别标签； S4-2、设置改进的Faster  R-CNN模型的初始权重； S4-3、筛选预测框；读取训练图像，RPN网络对训练图像自动生成多个预测框，通过 softmax激活函数判断每个预测框属于前景或者背景，再对每个预测框利用边框回归函数 修正锚框，再使用非极大值抑制法进行筛选，生成精简预测框； S4-4、对精简预测框内的目标通过全连接层进行分类与定位，得到缺陷的类别和 位置，并通过损失函数计算训练损失； S4-5、训练阶段；根据训练损失的变化来自适应调整学习率以更新整个网络的参 数，直到验证集的准确度不再发生变化时迭代终止，并将保存训练得到的模型； S5、模型测试 输入测试用的尺寸为1024x1024像素的待检测对象的图像，单张图像检测时间为 0.1s；每次训练迭代图像的有效批量大小为2；精简预测框的推荐数量设定为300；分类得分 阈值和非最大抑制阈值均为0.5；感兴趣区域被视为背景的重叠阈值为[0.0，0.3]。 所述待检测对象为锂离子电池、光伏电池表面、光伏电池EL或光伏组件。 所述缺陷种类为褶皱、划痕、黑点或白斑。 与现有技术相比，本发明的有益效果为： 由于工业生产过程的不确定性，锂电池缺陷的形状是不规则的，同一类缺陷的大 小也不同，一些不同种类的锂电池缺陷几乎没有区别，例如锂电池表面褶皱和黑点，它们在 纹理和灰度信息上非常相似，针对锂电池的表面这种复杂缺陷的存在，本发明提出一种嵌 入残差互补注意力门模块的特征金字塔多尺度融合结构的设计；改进后的Faster  R-CNN模 型以特征金字塔的方式从上到下整合各阶段的不同尺度和感受野的特征图信息，增强对不 同类型缺陷的判别能力，尤其是对不同程度褶皱的判别能力显著提高，且显著提高整体的 召回率，满足工业精度要求。 如果直接使用VGG16网络的低级特征(前四个阶段)与高级特征(第五个阶段)叠 加，则会过度引入低级特征的冗余背景信息，因此提出一种新颖的多尺度注意力模型(残差 互补注意力门模块)以指导多尺度特征融合，以抑制复杂的背景信息；针对锂电池缺陷的细 小特点，残差互补注意力门模块能从全局捕获上下文信息以更准确的定位小缺陷，残差互 补注意力门模块包括通道注意力模块和空间注意力模块，可以自适应地分别在通道和空间 维度自适应捕获远程相似的上下文信息以指导多尺度特征融合(即在通道注意力中采用通 道注意力映射图A和初始特征与初始输入的特征y1通过相乘形式融合、在空间注意力中采 用空间注意图S与特征G’相乘融合，实现自适应调整)，经通道注意力模块来告诉网络“看什 么”以实现复杂背景和缺陷的解耦，保留缺陷信息，抑制背景信息，增强不同缺陷的语义识 6 CN 111598861 A 说　明　书 4/9 页 别性；通过空间注意力模块来告诉网络“看哪里”以增强网络的特征分辨能力，减弱随机纹 理特征的干扰，突出显示缺陷区域，得到精细化特征；精细后的特征(特征X、Y)将与融合后 的特征(特征Z)叠加，这是一个残差连接，可以在模型开始训练时帮助网络轻松地学习注意 力权重，且通道注意力模块和空间注意力模块的关系是互补的。 与传统手动提取特征的方法和利用简单神经网络的方法相比，本方法对大小不 一、形式各异的缺陷有着良好的适用性与鲁棒性；与传统人工检测方法相比，本方法有着明 显的效率提升，节省了检测时间并且提高了准确率。 本发明具有良好的移植性，能够在模型训练完成后嵌入到系统中，可以与缺陷检 测系统结合在一起，将检测到的缺陷情况与PLC或者机械臂进行通讯，完成实时分拣的操 作；同时可以被移植应用到相似缺陷，比如非均匀纹理背景下的小缺陷的检测中，例如光伏 电池表面缺陷、光伏电池EL缺陷、光伏组件缺陷等，具有一定的借鉴意义。 本发明具有在线训练与模型更新的优势，针对新的缺陷类型，可以即时完成新模 型的训练，可以灵活应对不同的缺陷类型，适应性强。 附图说明 图1为本发明的整体流程图； 图2为本发明的改进的Faster  R-CNN模型的网络结构图； 图3为本发明的残差互补注意力门模块的网络结构图。