技术摘要：
本发明提供了一种红外图像多目标行人识别方法，属于红外图像目标识别领域。该方法首先构建红外复杂样本数据集，然后基于WDSR算法，得到视觉效果改善、行人目标更清晰的红外图像数据集；然后对红外复杂样本数据集中行人的边界框进行k‑means聚类分析，得到边界框聚类结  全部
背景技术：
为了克服上述不足，本发明提出了一种红外图像多目标行人识别方法，可以完成 多目标、多状态的行人识别任务，减少了行人漏检和误识别的现象，有效改善了红外图像行 人识别的准确度。 本发明提供的技术方案是： 一种红外图像多目标行人识别方法，包括如下步骤： 1)构建红外复杂样本数据集； 2)基于WDSR算法，构建行人目标清晰的红外图像数据集； 3)对红外复杂样本数据集中行人的边界框进行k-means聚类分析，得到边界框聚 类结果，然后在YOLOv3网络的基础上，针对边界框聚类结果增加一个输出尺度，构建红外图 像多目标行人识别网络； 4)使用步骤2)中得到的红外图像数据集作为训练集，训练步骤3)中构建的红外图 像多目标行人识别网络；使用训练完毕的红外图像多目标行人识别网络进行红外行人识 别。 步骤1)具体包括：首先对复杂样本定义为：尺寸小、形状不完整、特征模糊的行人 3 CN 111597967 A 说　明　书 2/6 页 目标；然后在计算机视觉中心提供的CVC-14红外图像数据集中选取红外复杂样本图像构成 红外复杂样本数据集，该数据集提供了所有行人的标注结果。 步骤2)具体包括如下步骤： 21)使用CVC-14红外图像数据集，利用双三次插值下采样方法将红外复杂样本数 据集中的高分辨率图像转换为低分辨率图像，建立高分辨率数据集和低分辨率数据集的映 射关系； 22)将低分辨率数据集作为输入，有映射关系的高分辨率数据集作为输出，训练基 于WDSR的红外图像网络； 23)输入步骤1)中红外复杂样本数据集的图像，训练完成基于WDSR算法的红外图 像网络，得到分辨率较高的红外图像数据集。 所述步骤3)中对红外图像数据集中行人边界框进行k-means聚类分析，选取K＝4， 得到边界框的大小分别是：(4,13) ,(23,29) ,(15,42) ,(55,135)。 根据上述边界框聚类结果，所述步骤3)中增加的输出尺度为：对8倍下采样层的输 出结果使用2倍上采样操作，并与4倍下采样特征图融合后进行输出。 步骤4)具体包括如下步骤： 41)将步骤2)中得到的行人目标清晰的红外图像数据集随机分为训练集和测试 集， 42)使用步骤41)中的训练集训练步骤3)中构建的红外图像多目标行人识别网络， 直至损失函数趋于稳定； 43)将步骤41)中的测试集输入步骤42)得到的训练完成的红外图像多目标行人识 别网络中，得到红外图像多目标行人识别的结果。 与现有技术相比，本发明的有益效果是：本发明首先构建红外复杂样本数据集，然 后将该数据集输入到基于WDSR算法的红外图像网络中，得到视觉效果改善、行人目标更清 晰的红外图像数据集；然后结合YOLOv3的基础目标检测网络，构建红外图像多目标行人识 别网络，并训练该红外图像多目标行人识别网络；最后使用训练完毕的红外图像多目标行 人识别网络进行红外行人识别。 本发明的优点主要表现在以下几个方面： (一)本发明红外图像多目标行人识别方法，在夜晚、阴天等特殊环境下能够及时 识别行人，具有全天候工作的优势； (二)本发明能够有效改善红外图像的质量，突出行人目标的细节； (三)本发明相比于传统方法，减少了行人漏检和误识别的现象，识别准确度得到 了改善。 附图说明 图1为红外图像多目标行人识别方案设计图； 图2为RGB图像中“蝴蝶”使用4种方法的超分辨率实验结果； 图3为红外图像使用4种方法的超分辨率实验结果； 图4为本发明红外图像多目标行人识别网络的结构； 图5为分别使用三种网络进行红外图像行人识别的遮挡目标实验结果；其中，(a) 4 CN 111597967 A 说　明　书 3/6 页 是YOLOv3网络；(b)红外图像多目标行人识别网络；(c)WDSR 红外图像多目标行人识别网 络； 图6为分别使用三种网络进行红外图像行人识别的小尺寸目标实验结果；其中， (a)是YOLOv3网络；(b)红外图像多目标行人识别网络；(c)WDSR 红外图像多目标行人识别 网络。
技术实现要素：
下面结合附图，通过实施实例进一步描述本发明，但不以任何方式限制本发明的 范围。 本发明提供的红外图像多目标行人识别方法的方案设计如附图1所示。在本发明 实施例中，本发明提供方法具体包括如下步骤： 1)构建红外复杂样本数据集： 本发明以计算机视觉中心提供的CVC-14红外图像数据集为基础，构建了红外复杂 样本数据集。由于红外图像存在行人边缘模糊、清晰度差、以及遮挡等问题，本发明对复杂 样本的定义是：尺寸较小、形状不完整、特征模糊的行人目标。按照本发明对于复杂样本的 定义，筛选出多种背景下的红外复杂样本数据集。 2)基于WDSR算法，得到行人目标清晰的红外图像数据集： 训练基于WDSR算法的红外图像增强网络。首先，在CVC-14数据集中挑选800张清晰 的红外图像，利用双三次插值下采样方法将红外图像数据集中的高分辨率图像处理为低分 辨率图像，构成WDSR网络的输入输出图像对，训练基于WDSR算法的红外图像网络。 测试过程中，首先使用双三次插值方法进行下采样将图片缩小为原始尺寸的1/2， 然后分别使用最近邻域插值方法、双线性插值方法、双三次插值方法和训练好的基于WDSR 算法的红外图像网络，进行图像识别实验，将图像放大到原始大小。 超分辨率的评价指标使用峰值信噪比(Peak  signal-to-noise  ratio,PSNR)，通 过模型输出的高分辨率图像和高分辨率参照图像之间的差值衡量模型的性能。假设图像分 辨率为m*n，模型的输出结果用P(m,n)表示，用于参照的高分辨率图像用Q(m,n)表示，则P (m,n)和Q(m,n)的均方误差(Mean-square  error,MSE)可以用公式3表示： PSNR值可以使用MSE来计算，计算公式如式4： 其中Qm表示图像像素的灰度级数，例如8位的像素点，Qm＝255。 附图2是RGB图像中“蝴蝶”使用4种方法的超分辨率实验结果，附图3是红外图像使 用4种方法的超分辨率实验结果，实验结果中分别截取图中同样大小的细节图放大以更加 清楚的展示实验结果。表1是“蝴蝶”和红外图像分别使用4种方法的超分辨率实验PSNR值。 表1  4种超分辨率算法的PSNR比较 5 CN 111597967 A 说　明　书 4/6 页 实验结果表明，四种基于超分辨率的图像识别方法中，WDSR算法的表现最佳，在可 见光图像中PSNR可以达到25.97dB，在红外图像中的结果为24.25dB。因此本发明基于WDSR 算法的红外图像增强方法可以一定程度得解决红外图像中行人目标边缘模糊的问题，有效 改善行人目标的清晰度和视觉效果。 将红外复杂样本数据集输入训练完成的基于WDSR算法的红外图像网络中，得到增 强的、图像质量改善、行人目标更清晰的红外图像。 3)根据步骤1)中构建的红外复杂样本，对行人边界框进行k-means聚类分析，得到 红外复杂样本的边界框聚类结果，然后在YOLOv3网络的基础上，根据边界框聚类结果增加 一个输出尺度，构建红外图像多目标行人识别网络： 针对本发明构建的红外复杂样本进行样本数据集的聚类操作。选取K＝1,2,..., 15，对上述样本进行K-means聚类，距离测算公式如式1： d(box；centroid)＝1-IoU(box；centroid)        (式1) 式1中，IoU表示聚类边界框与标注边界框的交并比。 因此本发明选取K＝4，即4个边界框。即K＝4时平均IoU趋于平稳，由于边界框的位 置不能确定，因此只记录边界框的宽和高，计算公式如式2所示。 根据聚类结果，得到4个边界框的大小分别是：(4,13) ,(23 ,29) ,(15 ,42) ,(55 , 135)。本发明的聚类结果可以满足红外图像中行人的尺寸特征，对被遮挡的行人也具有一 定的鲁棒性。 YOLOv3算法使用8倍下采样进行小目标的检测，但是当目标尺寸小于8pixel* 8pixel时则无法准确进行特征提取和目标检测。本发明在YOLOv3网络的基础上，使用 Darknet-53网络结构中的4倍下采样层进行目标检测，获得更多的小目标信息。具体方法 是：对YOLOv3网络中8倍下采样层的输出结果使用2倍上采样操作，并与4倍下采样特征图进 行融合后再输出。 YOLOv3网络输入图像尺寸为416像素*416像素，由于图像的裁剪和缩放会导致图 像变形、目标不完整以及图像中的小目标尺寸会缩小等问题，直接影响目标检测的性能。红 外图像多目标行人识别网络的输入图像尺寸为512像素*512像素。红外图像多目标行人识 别网络结构如附图4所示。 4)使用步骤2)中得到的行人目标清晰的红外图像数据集作为训练集，训练构建的 红外图像多目标行人识别网络；对训练完毕的红外图像多目标行人识别网络进行行人识 别。 本发明的实验环境参数如表2所示。 表2红外图像目标识别实验平台 6 CN 111597967 A 说　明　书 5/6 页 选取了500张红外图像，红外行人目标共计2518个；随机选取400张红外图像作为 训练集，其中红外行人目标1961个；剩下的100张红外图像为测试集，其中红外行人目标557 个。 使用红外复杂样本数据集分别对YOLOv3网络和红外图像多目标行人识别网络进 行训练，同时，使用增强的红外样本数据集对红外图像多目标行人识别模型进行训练。每次 迭代训练32张红外图像；输入图像的尺寸为512像素*512像素；冲量系数为0.9；衰减系数为 0.0005，学习率0.001，最大迭代次数设置为50000；为了扩充数据集，每迭代一次就进行一 次图像的饱和度和曝光度变换；学习率调整策略为分步策略，防止出现过拟合。得到三个训 练完毕的行人识别网络。 使用传统YOLOv3网络、红外图像多目标行人识别网络以及WDSR 红外图像多目标 行人识别网络对单张红外图像进行行人识别实验。附图5是行人被遮挡时的实验结果，附图 6是小目标的识别结果。可以直观地看到，YOLOv3网络在红外图像行人识别中效果不佳，存 在漏检、误检的现象，而红外图像多目标行人识别网络以及WDSR 红外图像多目标行人识别 网络可以识别出部分被遮挡的目标以及尺寸较小的目标。这说明本发明提出的方案更加适 合在自然环境下的红外图像行人识别的应用场景，对复杂环境具有更好的鲁棒性。 实验结果如表3所示，分别展示了三种网络：YOLOv3网络、红外图像多目标行人识 别网络以及WDSR 红外图像多目标行人识别网络的行人识别准确率和召回率。传统YOLOv3 算法在红外图像行人识别中的准确率仅有69.5％，召回率70.38％，红外图像多目标行人识 别网络识别准确率为87.5％，召回率89.23％，WDSR 红外图像多目标行人识别网络的识别 准确率可以达到90.69％，召回率92.64％。实验结果表明，本发明提出的基于红外图像的行 人识别方法能够有效改善红外图像边缘模糊的问题，行人识别准确率提升了21.19％，召回 率提升22.26％。 表3三种算法行人识别实验结果 此外，YOLOv3算法在红外图像行人识别中的AP结果为68.73％，红外图像多目标行 人识别网络的AP结果为88.19％，WDSR 红外图像多目标行人识别网络的AP结果可以达到 91.37％，相比于传统YOLOv3算法提升了22.64％。 需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技 术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是 可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求 书界定的范围为准。 7 CN 111597967 A 说　明　书 6/6 页 参考文献： [1]Redmon  J,and  Farhadi  A.YOLOv3:An  Incremental  Improvement[J].arXiv: 1804.02767,2018. [2]谭康霞,平鹏,秦文虎.基于YOLO模型的红外图像行人检测方法[J].激光与红 外,48(11):1436-1442,2018. [3]Yu  J,Fan  Y,Yang  J,et  al.Wide  Activation  for  Efficient  and  Accurate  Image  Super-Resolution[J].arXiv:1808.08718v2,2018. [4]H.Krishna,and  C.V.Jawahar,"Improving  Small  Object  Detection,"2017  4th  IAPR  Asian  Conference  on  Pattern  Recognition(ACPR) ,Nanjing ,pp.340-345, 2017. 8 CN 111597967 A 说　明　书　附　图 1/4 页 图1 图2 9 CN 111597967 A 说　明　书　附　图 2/4 页 图3 10 CN 111597967 A 说　明　书　附　图 3/4 页 图4 图5 11 CN 111597967 A 说　明　书　附　图 4/4 页 图6 12