技术摘要：
本发明涉及一种引入注意力机制的人脸图像修复方法，该方法包括：(1)获取原始数据集并进行图像预处理，得到我们需要的人脸图像数据集并合理划分整理为测试集与数据集。(2)将训练数据集输入到引入上下文关注层的图像修复模型中进行训练，该模型在生成器网络中引入了两个 全部
背景技术：
信息化时代的到来使得数字图像信息成为人们相互之间进行信息传递的主要方 式，海量的图像信息在获取、压缩、传输等过程中难免会出现部分信息丢失的问题，最大程 度的恢复缺损图像丢失的信息，在许多领域都有重大意义。传统的图像修复方法主要可以 分为基于结构和基于纹理两大类，它们在小尺度信息丢失的情况下能取得比较好的修复效 果，但缺损面积变大，其修复效果急剧下降。深度学习方法的出现，尤其是生成对抗网络与 深度卷积神经网络的出现，使得我们可以在更大面积缺损的图像修复上取得较好的效果， 并且修复的方式更加智能化，这是传统的图像修复方法无法比拟的。人脸图像的修复在许 多领域也有比较重要的价值，尤其是在公安刑侦领域，一种高效智能的修复算法能够很大 程度上减轻刑侦人员的工作任务。
技术实现要素：
基于WGAN-GP的修复模型对于图像修复的过程可以分为编码阶段和解码阶段。在 编码阶段，修复模型利用卷积神经网络下采样的方式不断提取缺损图像的特征图像；在解 码阶段，利用卷积神经网络进行对应的上采样，将编码得到的特征图像恢复为人脸图像。但 由于卷积神经网络感受野大小有限，无法实现前景区域与背景区域之间的长程关联，这限 制了模型的修复效果。为了增强前景区域与背景区域之间的关联性，本发明在修复模型中 引入了注意力机制，通过引入一种上下文关注层的方式加强了前景区域与背景区域之间的 关联，提升了模型的整体修复效果。 为了实现引入注意力机制的人脸图像修复方法，本发明提出方法具体步骤如下： (1)人脸图像采集，本发明中使用到的数据集来自于CelebA人脸数据集，我们从中 随机挑选出40000张人脸图像。 (2)人脸图像划分，将选出的40000张人脸图像按照7比1的比例分成训练集与测试 集，两部分中不包含相同的图像，训练集用于训练人脸图像修复模型，测试集用于测试训练 好的修复模型的修复效果。 (3)人脸图像预处理，由于CelebA人脸数据集中包含许多背景信息，本发明中对原 始CelebA图像进行人脸检测并剪切出人脸区域部分，并将得到的人脸区域部分调整为128 ×128的人脸图像，得到的人脸图像为本发明中的真实图像。对得到的人脸图像中心区域进 行64×64的掩码处理得到缺损图像数据集，用于之后修复模型的训练与测试。 (4)训练修复模型，将经过预处理得到的128×128的人脸图像训练集输入到本发 明中的修复模型中进行训练，经过生成器网络与判别器网络之间的对抗训练，不断提升生 成器网络拟合样本的能力，保存最终训练好的修复模型。 3 CN 111612718 A 说 明 书 2/3 页 (5)测试训练好的修复模型，将经过预处理的人脸测试集图像输入训练好的修复 模型中，保存生成的修复图像，并从主观视觉感受和客观相似性评价指标两方面与真实图 像进行对比，得到的结果代表最终修复模型对缺损人脸图像的修复能力。 所述步骤(4)中图像修复模型总体上是一个生成对抗网络，其结构如图1所示，主 要是通过生成器网络与判别器网络相互之间进行博弈对抗训练，不断提升生成器网络拟合 数据的能力。 在本发明修复网络模型中，为了实现前景区域与背景信息之间的长程关联性，在 生成器网络中引入了一种上下文关注层。上下文关注层利用背景区域信息来处于前景区域 的填充，加强了前景区域与背景区域信息之间的联系。 上下文关注层的基本工作流程如图3所示。首先将缺损图像背景区域与前景区域 划分开，并将背景区域划分为多个3×3的补丁块，接着将这些3×3的背景补丁块整合为3× 3的卷积核，分别对前景区域进行对应的卷积操作，得到多个重建前景；计算各个重建前景 与前景区域之间的内积值，再经过softmax函数归一化得到对应的注意力得分，最后将对应 的注意力得分作为权值，将各个重建前景区域加权求和得到最终的重建前景参与缺损图像 的修复过程。 为了将上下文关注层融入我们的修复模型中，我们在生成器网络中引入了两个并 行编码器，一个负责引入上下文关注层，实现前景区域与背景信息之间的长程关联；另一个 负责卷积操作，提取缺损图像的特征图。将两个编码器的结果经过concat函数进行特征聚 合，最后再经过一个解码器输出最终生成的修复图像。生成器结构如图4所示。 所述步骤(5)中将测试图像输入训练好的修复模型中测试模型的修复效果，分别 将引入注意力机制前后的修复模型对测试集进行测试，对比两种修复模型得到的修复图 像，并与真实图像进行对比，计算它们与真实图像之间的均方误差MSE、峰值信噪比PSNR以 及平均结构相似性MSSIM。 与现有技术相比，本发明的有益效果是： 本发明通过在修复模型生成器网络中引入了注意力机制，解决了卷积神经网络中 感受野大小有限带来的问题，实现了前景区域与背景区域信息之间的长程关联。改善了修 复模型对于一些高级特征信息的修复，提升了修复模型的整体修复效果。 附图说明 图1为生成对抗网络结构示意图。 图2为本发明图像预处理过程中HOG特征提取流程图。 图3为本发明提出的上下文关注层工作原理流程图。 图4为本发明修复模型生成器网络结构示意图。
本发明涉及一种引入注意力机制的人脸图像修复方法，该方法包括：(1)获取原始数据集并进行图像预处理，得到我们需要的人脸图像数据集并合理划分整理为测试集与数据集。(2)将训练数据集输入到引入上下文关注层的图像修复模型中进行训练，该模型在生成器网络中引入了两个 全部
背景技术：
信息化时代的到来使得数字图像信息成为人们相互之间进行信息传递的主要方 式，海量的图像信息在获取、压缩、传输等过程中难免会出现部分信息丢失的问题，最大程 度的恢复缺损图像丢失的信息，在许多领域都有重大意义。传统的图像修复方法主要可以 分为基于结构和基于纹理两大类，它们在小尺度信息丢失的情况下能取得比较好的修复效 果，但缺损面积变大，其修复效果急剧下降。深度学习方法的出现，尤其是生成对抗网络与 深度卷积神经网络的出现，使得我们可以在更大面积缺损的图像修复上取得较好的效果， 并且修复的方式更加智能化，这是传统的图像修复方法无法比拟的。人脸图像的修复在许 多领域也有比较重要的价值，尤其是在公安刑侦领域，一种高效智能的修复算法能够很大 程度上减轻刑侦人员的工作任务。
技术实现要素：
基于WGAN-GP的修复模型对于图像修复的过程可以分为编码阶段和解码阶段。在 编码阶段，修复模型利用卷积神经网络下采样的方式不断提取缺损图像的特征图像；在解 码阶段，利用卷积神经网络进行对应的上采样，将编码得到的特征图像恢复为人脸图像。但 由于卷积神经网络感受野大小有限，无法实现前景区域与背景区域之间的长程关联，这限 制了模型的修复效果。为了增强前景区域与背景区域之间的关联性，本发明在修复模型中 引入了注意力机制，通过引入一种上下文关注层的方式加强了前景区域与背景区域之间的 关联，提升了模型的整体修复效果。 为了实现引入注意力机制的人脸图像修复方法，本发明提出方法具体步骤如下： (1)人脸图像采集，本发明中使用到的数据集来自于CelebA人脸数据集，我们从中 随机挑选出40000张人脸图像。 (2)人脸图像划分，将选出的40000张人脸图像按照7比1的比例分成训练集与测试 集，两部分中不包含相同的图像，训练集用于训练人脸图像修复模型，测试集用于测试训练 好的修复模型的修复效果。 (3)人脸图像预处理，由于CelebA人脸数据集中包含许多背景信息，本发明中对原 始CelebA图像进行人脸检测并剪切出人脸区域部分，并将得到的人脸区域部分调整为128 ×128的人脸图像，得到的人脸图像为本发明中的真实图像。对得到的人脸图像中心区域进 行64×64的掩码处理得到缺损图像数据集，用于之后修复模型的训练与测试。 (4)训练修复模型，将经过预处理得到的128×128的人脸图像训练集输入到本发 明中的修复模型中进行训练，经过生成器网络与判别器网络之间的对抗训练，不断提升生 成器网络拟合样本的能力，保存最终训练好的修复模型。 3 CN 111612718 A 说 明 书 2/3 页 (5)测试训练好的修复模型，将经过预处理的人脸测试集图像输入训练好的修复 模型中，保存生成的修复图像，并从主观视觉感受和客观相似性评价指标两方面与真实图 像进行对比，得到的结果代表最终修复模型对缺损人脸图像的修复能力。 所述步骤(4)中图像修复模型总体上是一个生成对抗网络，其结构如图1所示，主 要是通过生成器网络与判别器网络相互之间进行博弈对抗训练，不断提升生成器网络拟合 数据的能力。 在本发明修复网络模型中，为了实现前景区域与背景信息之间的长程关联性，在 生成器网络中引入了一种上下文关注层。上下文关注层利用背景区域信息来处于前景区域 的填充，加强了前景区域与背景区域信息之间的联系。 上下文关注层的基本工作流程如图3所示。首先将缺损图像背景区域与前景区域 划分开，并将背景区域划分为多个3×3的补丁块，接着将这些3×3的背景补丁块整合为3× 3的卷积核，分别对前景区域进行对应的卷积操作，得到多个重建前景；计算各个重建前景 与前景区域之间的内积值，再经过softmax函数归一化得到对应的注意力得分，最后将对应 的注意力得分作为权值，将各个重建前景区域加权求和得到最终的重建前景参与缺损图像 的修复过程。 为了将上下文关注层融入我们的修复模型中，我们在生成器网络中引入了两个并 行编码器，一个负责引入上下文关注层，实现前景区域与背景信息之间的长程关联；另一个 负责卷积操作，提取缺损图像的特征图。将两个编码器的结果经过concat函数进行特征聚 合，最后再经过一个解码器输出最终生成的修复图像。生成器结构如图4所示。 所述步骤(5)中将测试图像输入训练好的修复模型中测试模型的修复效果，分别 将引入注意力机制前后的修复模型对测试集进行测试，对比两种修复模型得到的修复图 像，并与真实图像进行对比，计算它们与真实图像之间的均方误差MSE、峰值信噪比PSNR以 及平均结构相似性MSSIM。 与现有技术相比，本发明的有益效果是： 本发明通过在修复模型生成器网络中引入了注意力机制，解决了卷积神经网络中 感受野大小有限带来的问题，实现了前景区域与背景区域信息之间的长程关联。改善了修 复模型对于一些高级特征信息的修复，提升了修复模型的整体修复效果。 附图说明 图1为生成对抗网络结构示意图。 图2为本发明图像预处理过程中HOG特征提取流程图。 图3为本发明提出的上下文关注层工作原理流程图。 图4为本发明修复模型生成器网络结构示意图。
