技术摘要：
本发明公开了一种基于深度学习的高铁线路鸟窝缺陷检测方法，克服了现有技术中存在的不足。该发明含有以下步骤：步骤1、输入铁路接触网图像；步骤2、用全卷积神经网络提取鸟窝存在的可疑区域；步骤3、利用全卷积神经网络对鸟窝可疑区域图像进行特征提取并检测鸟窝；步骤  全部
背景技术：
随着我国高铁事业的蓬勃发展，高铁线路中的安全问题显得尤其重要。鸟类经常 会选择高铁线路中的杆塔作为筑巢的地方，雨天这些树枝会极易发生短路事故，对乘客和 高铁列车的安全构成很大的威胁。目前，针对这一问题，主要有以下几种方案。 一是采用传统的人工检测方法，使用人力挨个筛查摄像机拍摄的高铁线路图像。 二是采用数字图像处理方法自动识别高铁线路中存在的鸟窝。主要步骤为：1.高铁图像二 值化；2.支柱主干部分和细线区域部分提取；3.基于悬空点检测的鸟窝可疑区域定位；4.鸟 窝可疑区域的直线方向直方图和长度直方图特征提取；5.基于直线方向和长度分布特征的 鸟窝识别。三是基于传统机器学习的方法。这种方法首先从图像中提取不同方向的线段并 采用Gestalt感知理论合并断续小线段，并聚类为平行线组。再根据图像上杆塔的结构特征 将图像分为8×4的分块，分析块内不同方向线段数量统计检测出图像上杆塔所在区域。再 通过mean-shift聚类分割在图像上获取颜色一致性区域，根据鸟窝样本的H直方图特性，通 过直方图相交法在图中选取与鸟窝样本最相似的多个区域作为鸟窝的候选区域。接着选取 熵、惯性矩和非相似性计算鸟窝候选区域的纹理特征量。最后，匹配各个候选区域与鸟窝样 本纹理相似性实现鸟窝的检测。 目前的高铁线路鸟窝缺陷检测方法，不能同时保证准确性和检测速度。传统的人 工检测方法虽然有较高的准确率，但是检测速度慢，对检测的工作人员有较高的要求且人 力长时间工作后存在疲劳、效率下降的问题，所以这种方法不适合大规模使用。基于数字图 像处理的方法通过检测裸露在空中、方向各异的鸟窝树枝来判断是否存在鸟窝。在鸟窝体 积较大的情况下有较高的准确率，但是在鸟窝还未成型、只有几根树枝时，其准确率会明显 下降，此外，这种方法步骤较多，因此检测速度较慢。基于传统机器学习的方法虽然能在保 证准确率的同时加快检测速度，但是由于方法选取的算子存在多样性且特征的选取存在差 异性，因此该方法容易受到实际环境的影响，产生不同的结果，缺乏实际应用中的鲁棒性。 现有技术“基于图像的铁路接触网鸟窝异常情况检测方法”，申请号： 201310721802.7，此专利公开一种采用数字图像处理的方法自动识别铁路接触网巡视图像 中存在鸟窝的异常情况。自动地对铁路接触网进行鸟窝异常情况的检测和识别，能有效帮 助巡检人员快速发现接触网支架上是否存在鸟窝，排查潜在的安全隐患，提高巡检人员工 作效率，避免人工判读带来的巨大人力消耗。 本申请基于深度学习，采用特征提取网络实现特征的自动提取，克服了人工提取 特征的复杂性、特征提取速度慢的不足，使得本申请具有提取特征代表性高和提取速度快 的优点。此外，采用两阶段的检测方法，在原图像的基础上准确缩小检测范围，达到更准确 地检测鸟窝的目标。同时利用大量实际环境场景中的图像训练特征提取网络，增强了实际 3 CN 111597939 A 说　明　书 2/5 页 应用中的鲁棒性。
技术实现要素：
本发明克服了现有技术中存在的不足，提供一种检测效果好的基于深度学习的高 铁线路鸟窝缺陷检测方法。 本发明的技术解决方案是，提供一种具有以下步骤的基于深度学习的高铁线路鸟 窝缺陷检测方法：含有以下步骤： 步骤1、输入铁路接触网图像； 步骤2、用全卷积神经网络提取鸟窝存在的可疑区域； 步骤3、利用全卷积神经网络对鸟窝可疑区域图像进行特征提取并检测鸟窝； 步骤4、保存检测鸟窝可疑区域与检测鸟窝的模型； 步骤5、加载模型，输入测试图像，得到高铁线路中的鸟窝缺陷检测结果。 优选地，所述步骤1中选取由列车车载摄像机拍摄到固定分辨率大小的彩色或灰 度图像作为输入图像。 优选地，所述步骤2包括以下分步骤： (2a)将输入图像调整为416×416像素大小，并将灰度图变为三通道图片； (2b)将所有图像输入全卷积神经网络Darknet-53，Darknet-53网络中使用1×1和 3×3大小的卷积核对图像的三个通道信息中的每个通道进行积和下采样特征提取，分别得 到255个52×52、26×26和13×13的像素特征图； (2c)对得到的3个尺度的特征图中的每个像素，使用逻辑回归预测3个边界框，每 个边界框包含框的位置、对象分数和每种鸟窝可疑区域的类别概率；其中边框回归的损失 函数公式为 其中 是回归框， 是标注框； (2d)从回归得到的边界框中筛选出鸟窝可疑区域的位置，并对其进行非极大值抑 制处理NMS，最终得到鸟窝可疑区域的中心点坐标、宽和高并保存其在原图像中的坐标信 息； (2e)根据鸟窝可疑区域的坐标裁剪出鸟窝可疑区域图像。 优选地，所述步骤3步骤如下： (3a)将鸟窝可疑区域图像调整为416×416像素大小，并将灰度图变为三通道图 像； (3b)将所有图像输入全卷积神经网络Darknet-53，Darknet-53网络中使用1×1和 3×3大小的卷积核对图像的三个通道信息中的每个通道进行积和下采样特征提取，分别得 到255个52×52、26×26和13×13的像素特征图； (3c)对得到的3个尺度的特征图中的每个像素，使用逻辑回归预测3个边界框，每 个边界框包含框的位置、对象分数和每种鸟窝可疑区域的类别概率，联合使用三种尺度的 特征图进行检测，提升对鸟窝或树枝检测的准确性； (3d)从回归得到的边界框中筛选出鸟窝的位置，并对其进行非极大值抑制处理 NMS，最终得到图像鸟窝的中心点坐标、宽和高； (3e)根据鸟窝所在鸟窝可疑区域位置，在原图像中框出步骤(2d)中保存的区域， 并输出作为最终结果。 4 CN 111597939 A 说　明　书 3/5 页 优选地，所述步骤4中将步骤2和步骤3中两个全卷积神经网络的参数保存为模型 文件。 与现有技术相比，本发明基于深度学习的高铁线路鸟窝缺陷检测方法具有以下优 点： 1.采用全卷积神经网络结构和两阶段检测方法解决高铁线路鸟窝缺陷检测问题。 2.采用基于深度学习的计算机视觉技术。在服务器端处理车载摄像机拍摄的高铁 图像，实现容易，适合大规模使用。 3.鉴于现有检测方法的复杂性，利用多层卷积神经网络自动提取特征，克服了现 有技术中人工提取特征的复杂性、特征提取速度慢的不足，使得具有提取特征代表性高和 提取速度快的优点，从而能显著加快检测速度。 4.由于鸟窝区域占图像总分辨率比率很小，且存在复杂环境的影响，通过两阶段 检测方法，准确地缩小鸟窝的检测范围。首先检测可能存在鸟窝的可疑区域，再在此基础上 检测鸟窝，同时利用大量实际环境场景中的图像训练特征提取网络，不仅提高了准确性，也 增强了实际应用中的鲁棒性。本发明针对大量的鸟窝数据进行分析，目前的模型已经考虑 涵盖了常见的鸟窝可能出现的区域。 附图说明 图1是本发明的流程示意图； 图2是本发明检测鸟窝可疑位置的示意图； 图3是本发明检测鸟窝可疑位置后将其裁剪出来的示意图； 图4是本发明在裁剪出来的图像中检测鸟窝的示意图； 图5是本发明最终输出的鸟窝缺陷检测结果的示意图。