logo好方法网

人脸融合模型训练方法、装置及电子设备


技术摘要:
本申请提出一种人脸融合模型训练方法、装置及电子设备,属于图像处理技术领域。其中,该方法包括:将用户图像和模板图像进行换脸处理,生成参考模版图像;依据参考模版图像对模板图像进行五官姿态调整,生成第一输入图像;将模板图像进行自换脸处理,生成第二输入图像  全部
背景技术:
人脸融合旨在将目标人脸从用户图像无缝融合到模板图像上,并且融合后图像需 要保持人脸区域的语义合理性以及边缘一致性。 相关技术中,在进行人脸融合时,模板图像中的人脸区域与用户图像中的人脸区 域,可能存在光照条件或个体肤色差异大等情况,从而很容易出现融合后的图像肤色差异 大的问题。
技术实现要素:
提供了一种用于人脸融合模型训练方法、装置、电子设备及存储介质。 根据第一方面,提供了一种人脸融合模型训练方法,包括:将用户图像和模板图像 进行换脸处理,生成换脸后的参考模版图像;依据所述换脸后的参考模版图像,将所述模板 图像进行五官姿态调整,生成第一输入图像;将所述模板图像进行自换脸处理,生成第二输 入图像;将所述第一输入图像和所述第二输入图像,输入初始人脸融合模型的生成器中,生 成融合后的人脸区域图像;将所述融合后的人脸区域图像与所述模板图像的背景区域图像 进行融合,生成融合图像;将所述融合图像和所述模板图像,分别输入所述初始人脸融合模 型的判别器中,根据所述判别器的判别结果,对所述初始人脸融合模型进行反向传播修正, 直至生成人脸融合模型。 根据第二方面,提供了一种应用如前所述的人脸融合模型的人脸融合方法,包括: 获取人脸融合请求,所述融合请求中包括目标用户图像和目标模版图像;将所述目标用户 图像和所述目标模板图像进行换脸处理,生成换脸后的参考模版图像;依据所述参考模版 图像,将所述目标模板图像进行五官姿态调整,生成输入图像;利用所述人脸融合模型的生 成器对所述输入图像和所述参考模版图像进行处理,生成融合后的人脸区域图像;将所述 融合后的人脸区域图像与所述目标模板图像中的背景区域图像进行融合,生成目标融合图 像。 根据第三方面,提供了一种人脸融合模型训练装置,包括:第一生成模块,用于将 用户图像和模板图像进行换脸处理,生成换脸后的参考模版图像;第二生成模块,用于依据 所述换脸后的参考模版图像,将所述模板图像进行五官姿态调整,生成第一输入图像;第三 生成模块,用于将所述模板图像进行自换脸处理,生成第二输入图像;第四生成模块,用于 将所述第一输入图像和所述第二输入图像,输入初始人脸融合模型的生成器中,生成融合 后的人脸区域图像;第五生成模块,用于将所述融合后的人脸区域图像与所述模板图像的 背景区域图像进行融合,生成融合图像;修正模块,用于将所述融合图像和所述模板图像, 分别输入所述初始人脸融合模型的判别器中,根据所述判别器的判别结果,对所述初始人 5 CN 111598818 A 说 明 书 2/14 页 脸融合模型进行反向传播修正,直至生成人脸融合模型。 根据第四方面,应用如前所述的人脸融合模型的人脸融合装置,包括:获取模块, 用于获取人脸融合请求,所述融合请求中包括目标用户图像和目标模版图像;第一生成模 块,用于将所述目标用户图像和所述目标模板图像进行换脸处理,生成换脸后的参考模版 图像;第二生成模块,用于依据所述参考模版图像,将所述目标模板图像进行五官姿态调 整,生成输入图像;第三生成模块,用于利用所述人脸融合模型的生成器对所述输入图像和 所述参考模版图像进行处理,生成融合后的人脸区域图像;第四生成模块,用于将所述融合 后的人脸区域图像与所述目标模板图像中的背景区域图像进行融合,生成目标融合图像。 根据第五方面,提供了一种电子设备,其包括:至少一个处理器;以及与所述至少 一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的 指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如前所述 的人脸融合模型训练方法或人脸融合方法。 根据第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其 特征在于,所述计算机指令用于使所述计算机执行如前所述的人脸融合模型训练方法或人 脸融合方法。 根据本申请的技术方案,解决了相关技术中,模板图像中的人脸区域与用户图像 中的人脸区域存在光照条件或个体肤色差异大等情况时,容易导致融合后的图像肤色差异 大的问题。 应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特 征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。 附图说明 附图用于更好地理解本方案,不构成对本申请的限定。其中: 图1为本申请实施例所提供的一种人脸融合模型训练方法的流程示意图; 图2为本申请实施例所提供的另一种人脸融合模型训练方法的流程示意图; 图3为本申请实施例所提供的一种人脸融合方法的流程示意图; 图4为本申请实施例所提供的另一种人脸融合方法的流程示意图; 图5为本申请实施例提供的一种人脸融合模型训练装置的结构示意图; 图6为本申请实施例提供的一种人脸融合装置的结构示意图; 图7为本申请实施例提供的电子设备的结构示意图。
下载此资料需消耗2积分,
分享到:
收藏