技术摘要：
本申请公开了一种螺母‑销钉状态的识别方法及相关装置，方法包括：采用第一预置RPN网络模型对预置金具图中的部件进行识别，得到部件定位图；根据部件定位图，采用第二预置RPN网络模型对部件中的零件进行识别，得到零件定位图；根据零件定位图，通过预置梯度Hough变换法  全部
背景技术：
近年来，深度学习在图像识别领域广泛应用，在电力行业，利用深度学习算法对电 力部件及部件缺陷进行AI识别的效果已经得到了显著的提升，然而这类研究多是集中于绝 缘子、防震锤等元件的识别以及与之有关的绝缘子缺失、自爆等缺陷的识别，对于销钉级别 的AI缺陷识别相对较少。实际工作中，不同类型的部件、零件特征各异，其图片表现各不相 同，致使处于不同部件、零件的螺母-销钉的成像不尽相同。目前的销钉状态的AI识别延用 绝缘子、防震锤等元件的识别思路，对整张图片中的全部螺母-销钉笼统的进行识别，由于 螺母在图片中所占的比例较小且分布相对分散，使得包含前景物的候选区域远远少于只包 含背景的候选区域，导致实际螺母-销钉状态识别准确率仅在10％左右。
技术实现要素：
本申请提供了一种螺母-销钉状态的识别方法及相关装置，用于解决现有的螺母- 销钉状态识别技术是对整张图片进行笼统的识别，导致比例较小的螺母-销钉的状态识别 准确率较低的技术问题。 有鉴于此，本申请第一方面提供了一种螺母-销钉状态的识别方法，包括： 采用第一预置RPN网络模型对预置金具图中的部件进行识别，得到部件定位图； 根据所述部件定位图，采用第二预置RPN网络模型对所述部件中的零件进行识别， 得到零件定位图； 根据所述零件定位图，通过预置梯度Hough变换法对所述零件中的螺母进行圆检 测，得到圆心坐标和圆半径； 根据所述零件定位图，通过预置LSD算法对所述零件中的销钉进行直线段检测，得 到端点坐标； 根据所述圆心坐标、所述圆半径和所述端点坐标判断对应的圆与直线段是否相 交，若是，则销钉为未脱落状态，若否，则销钉为脱落状态。 优选地，所述采用第一预置RPN网络模型对预置金具图中的部件进行识别，得到部 件定位图，包括： 通过所述第一预置RPN网络模型中的边框回归层对所述预置金具图中的部件进行 定位，得到类部件定位框； 通过所述第一预置RPN网络模型中的分类层对所述预置金具图中的部件和背景进 行分类，得到前景部件； 根据所述类部件定位框和所述前景部件生成部件对应的部件定位图。 优选地，所述根据所述零件定位图，通过预置梯度Hough变换法对所述零件中的螺 4 CN 111598013 A 说　明　书 2/8 页 母进行圆检测，得到圆心坐标和圆半径，包括： 根据所述预置梯度Hough变换法配置所述零件中的螺母的极坐标圆方程，所述极 坐标圆方程为： x＝a rcosθ,y＝b rsinθ； 其中，(x,y)为当前边缘点坐标，(a,b)为预测的圆心坐标，r为预测的圆半径，θ为 预置梯度方向角； 根据所述极坐标圆方程、预置角度范围和预置半径范围扫描所述零件定位图中的 边缘点坐标，并对预置累加数组进行累加； 求得所述预置累加数组的最大累加值对应的所述圆心坐标和圆半径。 优选地，所述根据所述零件定位图，通过预置LSD算法对所述零件中的销钉进行直 线段检测，得到端点坐标，包括： 基于预置LSD算法，根据所述零件定位图中的每个像素与level  line的像素夹角 构建线段支撑域； 根据所述线段支撑域和预置容忍阈值对所述零件中的销钉进行直线段检测，得到 直线段对应的所述端点坐标。 本申请第二方面提供了一种螺母-销钉状态的识别装置，包括： 第一识别模块，用于采用第一预置RPN网络模型对预置金具图中的部件进行识别， 得到部件定位图； 第二识别模块，用于根据所述部件定位图，采用第二预置RPN网络模型对所述部件 中的零件进行识别，得到零件定位图； 第一检测模块，用于根据所述零件定位图，通过预置梯度Hough变换法对所述零件 中的螺母进行圆检测，得到圆心坐标和圆半径； 第二检测模块，用于根据所述零件定位图，通过预置LSD算法对所述零件中的销钉 进行直线段检测，得到端点坐标； 判断模块，用于根据所述圆心坐标、所述圆半径和所述端点坐标判断对应的圆与 直线段是否相交，若是，则销钉为未脱落状态，若否，则销钉为脱落状态。 优选地，所述第一识别模块，包括： 定位子模块，用于通过所述第一预置RPN网络模型中的边框回归层对所述预置金 具图中的部件进行定位，得到类部件定位框； 分类子模块，用于通过所述第一预置RPN网络模型中的分类层对所述预置金具图 中的部件和背景进行分类，得到前景部件； 生成子模块，用于根据所述类部件定位框和所述前景部件生成部件对应的部件定 位图。 优选地，所述第一检测模块，包括： 配置方程子模块，用于根据所述预置梯度Hough变换法配置所述零件中的螺母的 极坐标圆方程，所述极坐标圆方程为： x＝a rcosθ,y＝b rsinθ； 其中，(x,y)为当前边缘点坐标，(a,b)为预测的圆心坐标，r为预测的圆半径，θ为 预置梯度方向角； 5 CN 111598013 A 说　明　书 3/8 页 扫描子模块，用于根据所述极坐标圆方程、预置角度范围和预置半径范围扫描所 述零件定位图中的边缘点坐标，并对预置累加数组进行累加； 求取子模块，用于求得所述预置累加数组的最大累加值对应的所述圆心坐标和圆 半径。 优选地，所述第二检测模块，包括： 构建子模块，用于基于预置LSD算法，根据所述零件定位图中的每个像素与level  line的像素夹角构建线段支撑域； 检测子模块，用于根据所述线段支撑域和预置容忍阈值对所述零件中的销钉进行 直线段检测，得到直线段对应的所述端点坐标。 本申请第三方面提供了一种螺母-销钉状态的识别设备，其特征在于，所述设备包 括处理器以及存储器： 所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器； 所述处理器用于根据所述程序代码中的指令执行第一方面任一项所述的螺母-销 钉状态的识别方法。 本申请第四方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读 存储介质用于存储程序代码，所述程序代码用于执行第一方面任一项所述的螺母-销钉状 态的识别方法。 从以上技术方案可以看出，本申请实施例具有以下优点： 本申请中，提供了一种螺母-销钉状态的识别方法，包括：采用第一预置RPN网络模 型对预置金具图中的部件进行识别，得到部件定位图；根据部件定位图，采用第二预置RPN 网络模型对部件中的零件进行识别，得到零件定位图；根据零件定位图，通过预置梯度 Hough变换法对零件中的螺母进行圆检测，得到圆心坐标和圆半径；根据零件定位图，通过 预置LSD算法对零件中的销钉进行直线段检测，得到端点坐标；根据圆心坐标、圆半径和端 点坐标判断对应的圆与直线段是否相交，若是，则销钉为未脱落状态，若否，则销钉为脱落 状态。 本申请提供的螺母-销钉状态的识别方法，采用层次识别的方法对螺母-销钉的状 态进行识别；由于螺母-销钉在部件中占的比例太小，直接进行图片识别存在许多冗余信 息，或者噪声信息，从而影响最终的识别精度；本申请首先在预置金具图中找到所有的部 件，采用神经网络模型对其进行分类以及定位，得到初步的部件定位图，然后在部件定位图 的基础上查找零件，同样采用神经网络模型得到零件的类别和定位，从而生成零件定位图， 经过两层识别后，能够扩大螺母-销钉在图像中的相对比例，从提高识别精度；螺母-销钉的 识别被分成两个部分，一个是类圆螺母的圆检测；一个是类线段的销钉的直线段检测；根据 螺母和销钉的形状进行针对性的划分后再进行螺母-销钉的状态识别，可以得到更加准确 可靠的识别结果。因此，本申请针对性的将预置金具图中的部件和零件区分识别，解决了现 有的螺母-销钉状态识别技术是对整张图片进行笼统的识别，导致比例较小的螺母-销钉的 状态识别准确率较低的技术问题，提高了识别精度。 附图说明 图1为本申请实施例提供的一种螺母-销钉状态的识别方法的一个流程示意图； 6 CN 111598013 A 说　明　书 4/8 页 图2为本申请实施例提供的一种螺母-销钉状态的识别方法的另一个流程示意图； 图3为本申请实施例提供的一种螺母-销钉状态的识别装置的结构示意图； 图4为本申请实施例提供的采用第一预置RPN网络模型识别部件的过程示意图； 图5为本申请实施例提供的螺母与销钉的位置关系示意图。