技术摘要：
本发明公开了一种面向人脸数据对不完整的网纹人脸修复方法、系统及存储介质，模拟生成干净人脸图像的网纹图像，人脸网纹图像和对应的人脸中的网纹图像形成数据对；使用由多个所述数据对组成的训练集训练基于U‑net的神经网络，得到训练后的分割模型；利用干净人脸图像  全部
背景技术：
人脸加网纹是一种简单且成本低廉的保护人脸信息的方法，如图1所示，网纹的设 计具有很大的随机性，它们的波形、粗细、灰度值、以及网纹的数量会有所差异，这样的构造 的目的性在于不法分子不能随意的生成网纹图像，相当于一种加密手段。图2中，在干净的 人脸上添加模拟生成的网状条纹，这样的网纹可以把干净的人脸腐蚀，同时它会丢失一些 信息，从而达到保护人脸图像数据的目的。这些人脸网纹图像大多是由公安部发行，很好地 保护了用户的人脸数据。在实际应用中，公安部会发放给合法企业一些人脸网纹图像集使 企业用来进行人证对比或其他认证用途。在人脸识别中的人脸数据绝大部分都是人脸图像 无缺失的，但现在人脸网纹腐蚀严重，使得人脸的一些重要特征或信息丢失，严重影响了人 证对比的成功率，目前的人脸修复方法精度不高。
技术实现要素：
本发明所要解决的技术问题是，针对现有技术不足，提供一种面向人脸数据对不 完整的网纹人脸修复方法、系统及存储介质，提高人脸图像修复的精度。 为解决上述技术问题，本发明所采用的技术方案是：一种面向人脸数据对不完整 的网纹人脸修复方法，包括以下步骤： 1)模拟生成干净人脸图像的网纹图像，人脸网纹图像和对应的人脸中的网纹图像 形成数据对； 2)使用由多个所述数据对组成的训练集训练基于U-net的神经网络，得到训练后 的分割模型；利用干净人脸图像组成的数据集训练基于GAN的神经网络，得到修复模型； 3)将待修复人脸网纹图像输入所述分割模型，确定所述待修复人脸的网纹区域； 将待修复人脸网纹图像输入所述修复模型，得到与待修复人脸近似的干净人脸；将所述与 待修复人脸近似的干净人脸对应所述网纹区域的像素填充到待修复人脸的网纹区域，得到 修复后的人脸图像。 1)通过上述方法：形成丰富的训练数据对，有利于Unet网络能够提取多样的网纹 特征，更够更准确的分割出网纹人脸中的网纹。 2)多种不同层的Unet网络可以更加多样化的提取到网纹特征，同时将不同的网纹 分割结果做投票可以得到更准确的网纹位置。 3)使用GAN生成人脸的方式做修补使得修复后的人脸与待修复的网纹区域更加平 滑、自然，达到更好的修复效果。 所述基于U-net的神经网络包括N个不同数量卷积层的U-net，所述U-net的每个卷 4 CN 111612799 A 说　明　书 2/12 页 积层的每个卷积核后均设置elu激活函数，每个卷积层后均设置下采样层；将所述待修复人 脸网纹图像分别输入所述N个不同层数的U-net后，得到N个语义分割图，对所述N个语义分 割图进行融合投票，得到新的语义分割图。采用不同层的U-net可以增加提取网纹的多样 性，更精确地提取出网纹。 本发明中，N＝4；4个不同数量卷积层的U-net分别为三卷积层U-net网络、四卷积 层U-net网络、五卷积层U-net网络、六卷积层U-net网络。虽然使用了四个不同结构的U-net 模型，但是在计算量上依然比更高层的模型的计算量级低，且模型之间没有交互关系，可以 同时进行训练，大大缩短了训练时间。 为进一步提高模型的准确性，对所述4个语义分割图进行融合投票的具体实现过 程包括：将所述4个语义分割图对应像素点位置上二值化的数值相加，得到一个总的语义分 割图，即新的语义分割图；判断所述新的语义分割图的每个像素值是否小于投票阈值，若 是，则将相应位置的像素值设置为0，即设置为空白像素。步骤2)中，所述基于GAN的神经网 络为HR-DCGAN判别网络；所述HR-DCGAN判别网络包括三个依次连接的卷积层，最后一个卷 积层与反卷积层连接；所述HR-DCGAN判别网络的激活函数为Selu激活函数。采用HR-DCGAN， 其中前馈神经网络中将elu激活函数替换为selu激活函数，增加了生成人脸的稳定性。使用 GAN生成人脸的方式做修补使得修复后的人脸与待修复的网纹区域更加平滑、自然。 一种面向人脸数据对不完整的网纹人脸修复系统，其特征在于，包括： 数据获取模块，用于模拟生成干净人脸图像的网纹图像，人脸网纹图像和对应的 人脸中的网纹图像形成数据对； 分割模型，由多个所述数据对组成的训练集训练基于U-net的神经网络获得； 修复模型，由干净人脸图像组成的数据集训练基于GAN的神经网络获得； 处理模型，将待修复人脸网纹图像输入所述分割模型，确定所述待修复人脸的网 纹区域；将待修复人脸网纹图像输入所述修复模型，得到与待修复人脸近似的干净人脸；将 所述与待修复人脸近似的干净人脸对应所述网纹区域的像素填充到待修复人脸的网纹区 域，得到修复后的人脸图像。 所述处理模块包括： 网纹区域获取单元，用于将待修复人脸网纹图像输入所述分割模型，确定所述待 修复人脸的网纹区域； 近似干净人脸获取单元，用于将待修复人脸网纹图像输入所述修复模型，得到与 待修复人脸近似的干净人脸； 修复单元，用于将所述与待修复人脸近似的干净人脸对应所述网纹区域的像素填 充到待修复人脸的网纹区域，得到修复后的人脸图像。 本发明另一种面向人脸数据对不完整的网纹人脸修复系统，包括计算机设备，该 计算机设备被配置或编程为用于执行上述方法的步骤。 作为一个发明构思，本发明还提供了一种计算机存储介质，其存储有程序；该程序 用于执行上述方法的步骤。 与现有技术相比，本发明所具有的有益效果为： 1、本发明在模型训练的阶段不需要使用网纹人脸图像及对应的干净人脸图像数 据对进行训练，只需要一些干净的人脸图像和网纹人脸中网纹的标注样本即可，可以形成 5 CN 111612799 A 说　明　书 3/12 页 丰富的训练数据对，有利于Unet网络能够提取多样的网纹特征，能够更准确的分割出网纹 人脸中的网纹，大大降低收集训练数据的难度，提高了人脸修复的精度； 2、多种不同层的Unet网络可以更加多样化的提取到网纹特征，同时将不同的网纹 分割结果做投票可以得到更准确的网纹位置；本发明的方法采用不同层的U-net可以增加 提取网纹的多样性。图中虽然四个模型的生成的语义分割图都不全对，但做了阈值为2的投 票后就得到了与测试用例相同的语义分割图，提高了模型的准确率。虽然使用了四个不同 结构的U-net模型，但是在计算量上依然比更高层的模型的量级低，且模型之间没有交互关 系，可以同时进行训练，大大缩短了训练时间； 3、使用GAN生成人脸的方式做修补使得修复后的人脸与待修复的网纹区域更加平 滑、自然，达到更好的修复效果；在生成人脸的过程中采用HR-DCGAN，其中前馈神经网络中 将elu激活函数替换为selu激活函数，增加了生成人脸的稳定性；大多数网纹人脸图片的分 辨率为178×96，在人脸修复的过程中需要使用同样分辨率的图像，传统的DCGAN生成的图 像的分辨率为64x64，转化为178×96会严重失真。本发明中，在DCGAN的基础上增加了一个 上采样层，使得生成网络生成的图像大小为128×128，保持与178×96分辨率同一个等级 上，即使转化为178×96也不会失真严重。 附图说明 图1为常用的网纹图； 图2为在干净的人脸上添加模拟生成的网状条纹示意过程图； 图3为本发明方法流程图； 图4为上采样的过程示意图； 图5为的U-net网络进行人脸和网纹的分割任务示意图； 图6为卷积核的大小为3×3的U-net网络结构； 图7为6层U-net网络结构； 图8为四个模型(U-net)的预测结果； 图9为本发明多任务人脸网纹修复方法的原理图； 图10为使用基于GAN的神经网络模型对空白像素区域进行修复过程示意图； 图11为本发明改进后的生成网络模型； 图12为阈值0.7-0.9上每隔0.01的细粒度选取实验结果图； 图13为多任务人脸修复方法实际应用图 图14为对四种不同的阈值做F1得分对比结果图； 图15为MLA-U-net的识别结果与不同层U-net的识别结果； 图16为HR-DCGAN  10、20、50轮生成的人脸的图像； 图17为不同层U-net训练损失变化图； 图18为MLA-U-nets阈值设置； 图19为MLA-U-nets与不同层U-net网纹识别对比； 图20为HR-DCGAN  10轮生成的人脸； 图21为HR-DCGAN  20轮生成的人脸； 图22为HR-DCGAN  50轮生成的人脸； 6 CN 111612799 A 说　明　书 4/12 页 图23为HR-DCGAN与DCGAN不同训练轮次的MSE评分； 图24为HR-DCGAN与DCGAN不同训练轮次的PSNR评分。