技术摘要：
本发明公开了一种基于金字塔图像序列的数据增强的方法、计算机设备及存储介质。其中，该方法包括：输入原始图像信息；将原始图像进行不同比率的下采样，形成金字塔图像序列；将金字塔图像序列中不同层的金字塔图像进行融合形成变换后图像并输出变换后图像。通过上述方  全部
背景技术：
计算机视觉技术领域中，目标检测技术主要在图像中检测具有特定特征的目标物 是否存在，若存在，则给出目标物所在的区域位置及区域大小。目前该技术在智能视频监 控，无人驾驶技术，计算机辅助诊断技术等方面都有着重要的应用。然而由于实际场景中目 标物体的形变、遮挡、以及观察角度和环境变化等众多因素的影响，目标检测仍是一个具有 挑战的任务。 申请内容 本申请主要解决的技术问题是提供一种在不引入噪声的情况下增加了小尺寸目 标训练样本的数量，以提高对小目标的检测性能。 为解决上述技术问题，本申请采用的一个技术方案是：提供一种数据增强方法。该 方法包括：输入原始图像信息；将原始图像进行不同比率的下采样，形成金字塔图像序列； 将金字塔图像序列中不同层的金字塔图像进行融合形成变换后图像；输出变换后图像。 为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机设备。该 设备包括处理器、存储器及存储的计算机程序，存储器中存储有计算机程序，处理器用于执 行计算机程序以实现上述数据增强方法。 为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机存储介 质。该计算机存储介质存储有计算机程序，计算机程序被执行以实现上述数据增强方法。 本发明的有益效果是：通过对原始图像进行不同比率的下采样，形成金字塔图像 序列，再将金字塔图像序列中不同层的金字塔图像进行融合形成变换后图像。由于变换后 图像融合了来自金字塔图像序列中不同层级的特征，增加了特定特征的细节和定位信息； 并且，变换后图像中包括的不同层的金字塔图像均来自同一原始图像，图像拼接过程中不 会引入噪声，由此实现了在不引入噪声的情况下增加了小尺寸目标训练样本的数量，从而 由于目标训练样本的增加提高了对小目标的检测性能。 附图说明 为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需 要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方 式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。其中： 图1是本申请基于金字塔图像序列的数据增强的方法一实施例的流程示意图； 图2是本申请基于金字塔图像序列的数据增强的方法一实施例的又一流程示意 图； 图3是根据本发明方法新生成的训练样本平面图形示意图； 3 CN 111583126 A 说　明　书 2/6 页 图4是根据本发明方法进行图像增强之后的标注位置变换平面图形示意图； 图5是本申请提供的计算机设备一实施例的结构示意图； 图6是本申请提供的计算机存储介质一实施例的结构示意图。
技术实现要素：
下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清 楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部实施 方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性的劳动前提下所 获得的所有其他实施方式，都属于本申请保护的范围。 本申请的发明人经过长期研究发现，现有的基于图像处理的数据增强方法有基于 几何变换和光度变换的方法。其中，基于几何变换的方法是指将图像中的每个像素点通过 几何操作映射到新的位置，对像素之间的空间关系加以修改，例如：平移变换、旋转变换、镜 像翻转、随机修剪等。而光度变换是指将每个三通道的(r，g，b)像素值，通过某种规则映射 成为新的(r，g，b)，例如：色彩抖动、边缘增强、Fancy  PCA等。基于此，为了对更多尺寸的目 标训练样本数量的数据增强，尤其是对小尺寸目标训练样本数量的数据增强，本申请提供 如下实施例。 请参阅图1，图1是本申请基于金字塔图像序列的数据增强方法一实施例的流程示 意图。该数据增强方法包括如下步骤： S100：输入原始图像信息。 输入的原始图像信息具体可以为：输入原始图像尺寸、输入预设变换概率P以及输 入变换因子n。具体的，通过输入原始图像尺寸可获取原始图像的高度和宽度；通过输入预 设变换概率P可以预先设定好原始训练样本中需要变换的概率；通过输入变换因子n可以控 制原始图像进行下采样的比率大小，n可以为大于等于2的任意整数，例如：n为2或3或4等。 值得注意的是，原始图像尺寸、预设变换概率P以及变换因子n的输入顺序可以互 换，没有先后输入之分，可根据实际情况输入，效果均同。 S200：将原始图像进行不同比率的下采样，形成金字塔图像序列。 关于下采样指将输入的原始图像尺寸减小，具体为，在金字塔图像中依次由底层 向顶层逐渐减小原始图像尺寸，其中层级越高，其图像越小，分辨率越低。 S300：将金字塔图像序列中不同层的金字塔图像进行融合形成变换后图像。 S400：输出变换后的图像。 进一步参见图2，图2是本申请基于金字塔图像序列的数据增强的方法一实施例的 又一流程示意图，其包括如下步骤： S101：输入原始图像尺寸； S102：输入预设变换概率P； S103：输入变换因子n。 值得注意的是，步骤S101-S103没有先后输入之分，可根据实际情况输入，效果均 同。步骤S101-S103与图1所示的步骤S100类似，相同的部分不再赘述，请参考前文S100步骤 的说明。 S210：输入初始化变换概率P1。 4 CN 111583126 A 说　明　书 3/6 页 具体而言，本申请中初始化变换概率P1为Rand(0，1)，即P1为大于等于0，小于1的 随机实数。 在执行步骤S210之后执行以下步骤： S220：比较初始化变换概率P1与预设变换概率P的大小。 当初始化变换概率P1大于等于预设变换概率P时，执行步骤S221，S221输出原始图 像，即输入的原始图像不进行下采样。例如：当预设变换概率P为0.5，初始化变换概率P1为 0.6时，则直接输出原始图像。 另一种情况，当初始化变换概率P1小于预设变换概率P时，便执行步骤S222。 步骤S222：将原始图像进行两种不同比率的下采样，以形成金字塔图像序列。具体 下采样方法可以为： 对原始图像进行 比率的下采样，以获取第一层金字塔图像； 对原始图像进行 比率的下采样，以获取第二层金字塔图像。 具体可进一步参见图3，图3是根据本发明方法新生成的训练样本平面图形示意 图。 例如：当输入图像为图3中的原图，预设变换概率P为1，初始化变换概率P1为0.5，n ＝3时，此时因为初始化变换概率P1＝0.5小于预设变换概率P＝1，即可执行对所有的原始 训练样本都进行变换因子n＝3的数据增强处理，具体为将原始图像I分别进行2/3比率和1/ 3比率的下采样，分别形成如图3中“n＝3”的“A1”和“A2”两种不同比率的第一层金字塔图像 和第二层金字塔图像，并同时保留原始训练样本。 又如：当输入图像I为图3中的原图，预设变换概率P为1，初始化变换概率P1为0.5， n＝4时，此时因为初始化变换概率P1＝0.5小于预设变换概率P＝1，即可执行对所有的原始 训练样本都进行变换因子n＝4的数据增强处理，具体为将原始图像I分别进行3/4比率和1/ 4比率的下采样，形成如图3中“n＝4”的“A1”和“A2”两种不同比率的第一层金字塔图像和第 二层金字塔图像，并同时保留原始训练样本。 再如：当输入图像I为图3中的原图，预设变换概率P为0.8，初始化变换概率P1为 0.5，n＝2时，此时因为初始化变换概率P1＝0.5小于预设变换概率P＝0.8，即可执行对原始 训练样本中80％的训练样本进行变换因子n＝2的数据增强处理，具体为将原始图像I均进 行1/2比率的下采样，形成如图3中“n＝2”的“A1”比率的金字塔图像，并同时保留原始训练 样本。 其中，预设变换概率P的大小：大于等于0，小于等于1，当P＝1时，为最大程度地增 大目标训练样本，即对所有的训练样本都进行向下采样。当P＝0时，为最小程度地增大目标 训练样本，即对所有的训练样本都不进行向下采样。 执行完步骤S222将原始图像进行两种不同比率的下采样，以形成所述金字塔图像 序列后便执行步骤S300。 S300：将金字塔图像序列中不同层的金字塔图像进行融合形成变换后图像。具体 为： 将一个第一层金字塔图像与(2n-1)个第二层金字塔图像进行拼接，以形成变换后 5 CN 111583126 A 说　明　书 4/6 页 图像，并且变换后的图像与原始图像的尺寸相同。具体可继续参见图3的训练样本平面图形 示意图。 例如：当输入图像为图3中的原图，变换因子n＝3时，此时第一层金字塔图像为2/3 比率的下采样图像，即原始图像变成图3中n＝3的“A1”图像；第二层金字塔图像为1/3比率 的下采样图像，即原始图像变成图3中n＝3的“A2”图像，并且第二层金字塔图像的个数为2 ×3－1＝5，即有5个图3中n＝3的“A2”图像。然后将一个第一层金字塔图像“A1”与5个第二 层金字塔图像“A2”通过平移的方法进行拼接，形成图3中n＝3的变换后图像，且变换后的图 像与原始图像的尺寸相同。 又如：当输入图像I为图3中的原图，变换因子n＝4时，此时第一层金字塔图像为3/ 4比率的下采样图像，即原始图像变成图3中n＝4的“A1”图像；第二层金字塔图像为1/4比率 的下采样图像，即原始图像变成图3中n＝4的“A2”图像，并且第二层金字塔图像的个数为2 ×4－1＝7，即有7个图3中n＝4的“A2”图像。然后将一个第一层金字塔图像“A1”与7个第二 层金字塔图像“A2”可通过平移的方法进行拼接，形成图3中n＝4的变换后图像，且变换后的 图像与原始图像的尺寸相同。 再如：当输入图像I为图3中的原图，变换因子n＝2时，此时金字塔图像均为1/2比 率的下采样图像，即原始图像均变成图3中n＝2的“A1”图像；并且金字塔图像的个数为4个， 即有4个图3中n＝2的“A1”图像。然后将四个金字塔图像“A1”可通过平移的方法进行拼接， 形成图3中n＝1的变换后图像，且变换后的图像与原始图像的尺寸相同。 通过上述方法，由于原始图像进行了缩放和平移的操作，因此原始图像的位置标 注也会进行相应地变化。可进一步参见图4，图4是根据本发明方法进行图像增强之后的标 注位置变换的平面图形示意图。 例如：当输入图像为图4中的原图，变换因子n＝3时，设原始图像中位置关键点A坐 标为(x,y)，高度和宽度分别为h和w，那么变换之后所产生的的6个对应的关键点坐标分别 为： 根据坐标公式，例如设原始图像中位置关键点A坐标为(12,9)，高度h＝3和宽度w ＝6，则变换之后所产生的的6个对应的关键点坐标分别为： A1(8,6)；A2(8,3)；A3(8,4)；A4(8,5)；A5(6,5)；A6(4,5)。 由此可见，对于预设的类别特征点，如图4的位置关键点A，通过本发明的数据增强 方法，变换后图像融合了来自金字塔图像序列中较低不同层级的特征，由一个定位点增加 至6个定位点，即：增加了特定特征的细节和定位信息。并且，通过调节预设的变换因子n的 取值，可以根据需要调节增加训练样本的数量。 进一步的，由于本申请通过对原始图像进行不同比率的下采样，形成金字塔图像 序列，再将金字塔图像序列中不同层的金字塔图像进行融合形成变换后图像。由于变换后 图像融合了来自金字塔图像序列中不同层级的特征，且变换后图像中包括的不同层的金字 塔图像均来自同一原始图像，变换后图像和原始图像是同一个水平，因此图像拼接过程中 6 CN 111583126 A 说　明　书 5/6 页 不会引入噪声，实现了在不引入噪声的情况下增加了小尺寸目标训练样本的数量，从而由 于目标训练样本的增加提高了对小目标的检测性能。 S400：输出变换后图像。 变换后图像融合了来自金字塔图像序列中不同层级的特征，增加了特定特征的细 节和定位信息；并且，变换后图像中包括的不同层的金字塔图像，增加了小尺寸目标训练样 本的数量，从而由于目标训练样本的增加，为目标检测训练模型提供更多的训练样本，提高 了对小目标的检测性能。 对于上述实施方式，本申请提出了一种计算机设备，具体请参阅图5，图5是本发明 提供的计算机设备一实施例的结构示意图。该装置500包括处理器510和存储器520，其中， 处理器510和存储器520耦接，存储器520中存储有计算机程序，处理器510用于执行计算机 程序以实现数据增强的方法。 在本实施例中，处理器510还可以称为CPU(Central  Processing  Unit，中央处理 单元)。处理器510可能是一种集成电路芯片，具有信号的处理能力。处理器510还可以是通 用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其 他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理 器或者该处理器510也可以是任何常规的处理器等。 对于上述实施方式的方法，其可以计算机程序的形式存在，因而本发明提出一种 计算机存储介质，请参阅图6，图6是本发明提供的一种计算机存储介质一实施例的结构示 意图。本实施例一种计算机存储介质600中存储有计算机程序610，其可被执行以实现上述 实施例中的方法。 本实施例一种计算机存储介质600可以是U盘、移动硬盘、只读存储器(ROM，Read- Only  Memory)、随机存取存储器(RAM，Random  Access  Memory)、磁碟或者光盘等可以存储 程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指 令发送给其他设备运行，或者也可以自运行该存储的程序指令。 在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其 它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划 分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可 以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨 论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合 或通信连接，可以是电性，机械或其它的形式。 作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络 单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目 的。 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以 是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单 元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。 集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可 以存储在一个计算机可读取一种计算机存储介质中。基于这样的理解，本发明的技术方案 7 CN 111583126 A 说　明　书 6/6 页 本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品 的形式体现出来，该计算机软件产品存储在一个一种计算机存储介质中，包括若干指令用 以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器 (processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的一种计算机存储 介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only  Memory)、随机存取存储器(RAM， Random  Access  Memory)、磁碟或者光盘等各种可以存储程序代码的介质。 显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用 的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成 的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储 在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们 中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的 硬件和软件结合。 以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明 说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术 领域，均同理包括在本发明的专利保护范围内。 8 CN 111583126 A 说　明　书　附　图 1/4 页 图1 9 CN 111583126 A 说　明　书　附　图 2/4 页 图2 10 CN 111583126 A 说　明　书　附　图 3/4 页 图3 图4 11 CN 111583126 A 说　明　书　附　图 4/4 页 图5 图6 12