logo好方法网

图像处理方法、装置、电子设备及存储介质


技术摘要:
本申请公开了一种图像处理方法、装置、电子设备及存储介质,该图像处理方法包括:获取第一图像、第二图像以及初始图像;利用预先训练的至少一个特征提取模型,提取第一图像的内容特征、第二图像的风格特征、初始图像的内容特征以及初始图像的风格特征;根据初始图像的  全部
背景技术:
图像风格迁移(Photorealistic  Style  Transfer,PST)指自然图像之间的风格转 换,指定一幅输入图像作为基础图像,也被称为内容图像,同时指定一幅图像作为希望得到 的风格图像,算法在保证内容图像的内容同时,将内容图像的风格进行转换,最终输出的合 成图像呈现出内容图像和风格图像的完美结合。在图像风格迁移的技术中,如何实现精准 有效的迁移图像风格是整个技术的关键。
技术实现要素:
鉴于上述问题,本申请提出了一种图像处理方法、装置、电子设备及存储介质。 第一方面,本申请实施例提供了一种图像处理方法,所述方法包括:获取第一图 像、第二图像以及初始图像;利用预先训练的至少一个特征提取模型,提取所述第一图像的 内容特征、所述第二图像的风格特征、所述初始图像的内容特征以及所述初始图像的风格 特征;根据所述初始图像的内容特征与所述第一图像的内容特征的差异,确定内容损失函 数的值,以及根据所述初始图像的风格特征中不同特征之间的相似度,与所述第二图像的 风格特征中对应的不同特征之间的相似度的差异,确定风格损失函数的值;根据所述内容 损失函数的值和所述风格损失函数的值确定总损失函数的值;根据所述总损失函数的值调 整所述初始图像,直至得到目标图像,所述目标图像的内容特征与所述第一图像的内容特 征匹配,所述目标图像的风格特征与所述第二图像的风格特征匹配。 第二方面,本申请实施例提供了一种图像处理装置,所述装置包括:图像获取模 块、特征获取模块、第一损失获取模块、第二损失获取模块以及图像调整模块,其中,所述图 像获取模块用于获取第一图像、第二图像以及初始图像;所述特征获取模块用于利用预先 训练的至少一个特征提取模型,提取所述第一图像的内容特征、所述第二图像的风格特征、 所述初始图像的内容特征以及所述初始图像的风格特征;所述第一损失获取模块用于根据 所述初始图像的内容特征与所述第一图像的内容特征的差异,确定内容损失函数的值,以 及根据所述初始图像的风格特征中不同特征之间的相似度,与所述第二图像的风格特征中 对应的不同特征之间的相似度的差异,确定风格损失函数的值;所述第二损失获取模块用 于根据所述内容损失函数的值和所述风格损失函数的值确定总损失函数的值;所述图像调 整模块用于根据所述总损失函数的值调整所述初始图像,直至得到目标图像,所述目标图 像的内容特征与所述第一图像的内容特征匹配,所述目标图像的风格特征与所述第二图像 的风格特征匹配。 第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器; 一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由 5 CN 111583100 A 说 明 书 2/14 页 所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的图像 处理方法。 第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取 存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的图像 处理方法。 本申请提供的方案,通过获取第一图像、第二图像以及初始图像,利用预先训练的 至少一个特征提取模型,提取第一图像的内容特征、第二图像的风格特征、初始图像的内容 特征以及初始图像的风格特征,根据初始图像的内容特征与第一图像的内容特征的差异, 确定内容损失函数的值,以及根据初始图像的风格特征中不同特征之间的相似度,与第二 图像的风格特征中对应的不同特征之间的相似度的差异,确定风格损失函数的值,根据内 容损失函数和风格损失函数确定总损失函数的值,根据总损失函数的值调整初始图像,直 至得到目标图像,目标图像的内容特征与第一图像的内容特征匹配,目标图像的风格特征 与第二图像的风格特征匹配,从而实现在进行图像风格迁移过程中,损失函数中风格损失 函数的值由提取到初始图像中的风格特征之间相似度,与提取到第二图像中的风格特征之 间相似度的差异决定,使得内容损失函数的可解释性较好,准确表示图像之间的风格损失, 进而使得最终获得的目标图像的风格特征能更接近第二图像的风格特征,实现图像的风格 特征的有效迁移。 附图说明 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使 用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于 本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附 图。 图1示出了根据本申请一个实施例的图像处理方法流程图。 图2示出了根据本申请另一个实施例的图像处理方法流程图。 图3示出了本申请另一个实施例提供的一种界面示意图。 图4示出了本申请另一个实施例提供的图像处理方法中步骤S240的流程图。 图5示出了本申请另一个实施例提供的一种显示效果图。 图6示出了本申请另一个实施例提供的另一种显示效果图。 图7示出了本申请另一个实施例提供的又一种显示效果图。 图8示出了本申请另一个实施例提供的再一种显示效果图。 图9示出了本申请另一个实施例提供的又另一种显示效果图。 图10示出了本申请另一个实施例提供的又再一种显示效果图。 图11示出了根据本申请一个实施例的图像处理装置的一种框图。 图12是本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备 的框图。 图13是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方 法的程序代码的存储单元。 6 CN 111583100 A 说 明 书 3/14 页
下载此资料需消耗2积分,
分享到:
收藏