技术摘要：
本发明公开了一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法，属于计算机视觉与模式识别技术领域。首先利用基于VGG16网络的卷积层对电力铭牌图像进行文本/非文本预测提取和不同实例之间的链接预测的提取；然后利用实例分割网络对目标图像进行分割并输出电力  全部
背景技术：
在计算机视觉与模式识别领域，文本检测技术由于文本的长度与文字排布的不规 则性而区别于目标检测技术，对于文本检测技术的研究越来越受到广大研究者的热衷，针 对于不同视角的文本，不同排列方式的文本：环形，矩形，平行四边形等，研究者们提出了很 多的针对不同文本的文本检测技术方法。所谓的文本检测技术就是利用神经网络对目标图 像进行特征提取，将图像中与文本相关的信息提取出来，并利用相应的边界框去把文本信 息给标注出来。文本检测技术的应用领域比较广泛，在无人驾驶，车牌识别，电力铭牌识别， 公共安全和计算机视觉等方面都有着极其重要的应用场景。对于电力铭牌中的文本检测， 大多数文本都是成矩形排列，但是由于拍摄视角的不同，有不少的铭牌图像中的文本属于 平行四边形排列。而目前主流的文本检测技术主要有基于VGG16网络的CTPN技术，基于 VGG16的SegLink技术，两者都主要是通过利用对文本生成一系列的小矩形框，然后通过分 数评价需要保留的矩形框，再通过框与框之间的链接，把所有的矩形框连接起来形成文本 检测的边界框。虽然这操作的计算量比较大，但仍然是文本检测的主流技术。而经过研究者 们的日夜研究，目前的新方法不再需要对文本生成一系列的小矩形框，通过对图像中文本 进行实例分割，并通过像素级别的细化处理，能够大大降低计算量的同时，达到比较好的实 验效果。 通常在现实中的文本排列不规则和拍摄视角的不同而导致一种文本检测技术往 往不能同时在不同文本排列上实现想要的结果，到目前为止还没有一种文本技术能同时在 不同文本排列或者不同拍摄视角的图像上实现等同的实验效果。为此，在对于不同的文本 进行检测时，往往需要采用不同的技术，而没有一种较为通用的技术可以涵盖大部分文本， 对于规则排列的矩形样本的方法一般不适用于圆形或者环形排列的样本。而我们日常生活 中的大部分文本排列都是以矩形排列为主，所以大部分技术都是针对于矩形文本排列，或 者增加多一点适用性，对于平行四边形排列的文本也能实现较好的实验结果，对于电力铭 牌中的文本检测，我们需要的就是能同时适用于矩形排列和平行四边形排列方式的文本检 测技术。。
技术实现要素：
本发明的目的在于克服现有文本检测系统适应性不高、无法全方位准确识别的问 题，提出了一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法。 本发明采用如下技术方案： 一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法，其关键在于，包 3 CN 111598082 A 说　明　书 2/4 页 括以下步骤： S1 .输入目标电力铭牌图像，利用基于VGG16的全卷积神经网络，进行文本预测和 非文本预测，其预测结果用热力图A表示； S2.对所述目标电力铭牌图像不同方向分别进行链接预测，其预测结果均采用热 力图表示，随后将不同方向的预测结果的热力图进行融合操作得到热力图B； S3.利用全卷积网络对所述目标电力铭牌图像进行语义分割预测提取，得到对应 的热力图C； S4.利用实例分割网络对所述热力图A和热力图B进行关于每一个实例的分割，得 出对应的分割效果较好、边界较为分明的热力图D； S5.将所述热力图C与所述热力图D进行融合操作得到热力图E； S6.基于所述热力图E，利用边界框生成网络生成出所述目标铭牌的文本检测边界 框。 作为优选方案，步骤S2需要对所述目标电力铭牌图像从8个不同方向分别进行链 接预测，其方向包括左边、左下、左上、右边、右下、右上、上边和下边，8个不同方向分别输出 不同的热力图。 作为优选方案，步骤S2中所述目标电力铭牌图像从不同方向分别进行链接预测的 预测结果需要利用滤波器对融合后的热力图进行噪声系成分的过滤后才能得到所述热力 图B。 作为优选方案，所述的全卷积网络模型公式为： 其中，yij表示网络的输出，k表示卷积核的大小，s是 步长或者次采样因子，fks决定的是层的类型：卷积层或者是平均池化层的矩阵乘法，或者是 激活函数的非线性元素乘法等其他类型的层。 有益效果：本发明主要利用了全卷积网络对于物体的边缘比较敏感，能够很精确 的检测出物体的边缘的特性，不仅对于物体和背景具有好的实验效果，对于电力铭牌中的 文本和其单一的背景颜色的边缘部分也是如此，全卷积网络能够精确的提取出文本的边 缘，能使得网络生成的边界框更加的贴合文本，而由于电力铭牌背景的单一性，此方法能够 更加精确的把铭牌中的文本信息给框选出来，将其提取的结果作用于实例分割对文本的相 对精确的检测输出，将两者融合之后，得到的文本边界框能够更加的贴合文本信息，能使得 电力铭牌上的文本检测实现更好的效果。 附图说明 图1为本发明实施例的流程图； 图2为本发明的整体框架图； 图3为实施例中热力图A； 图4为目标电力铭牌图像的八个不同方向的链接预测热力图； 图5为目标电力铭牌图像的实例分割后对应的热力图D与文本边界框输出； 图6为本发明经全卷积网络细调之后的电力铭牌的热力图E与文本边界框输出结 果。 4 CN 111598082 A 说　明　书 3/4 页