logo好方法网

图像处理方法及装置、电子设备及存储介质


技术摘要:
本申请公开了一种图像处理方法及装置、电子设备及存储介质。该方法包括:获取第一人脸模型以及参考表情数据,其中,所述第一人脸模型基于人脸得到;依据所述参考表情数据渲染所述第一人脸模型的表情,得到第二人脸模型。
背景技术:
随着图像处理技术的发展,基于图像处理实现的应用也越来越多,其中,表情迁移 即为众多应用中的一个。通过将待迁移表情迁移至人脸模型,可改变人脸模型的表情,得到 迁移表情后的人脸模型,而如何提高迁移表情后的人脸模型的逼真度具有非常重要的意 义。
技术实现要素:
本申请提供一种图像处理方法及装置、电子设备及存储介质。 第一方面,提供了一种图像处理方法,所述方法包括: 获取第一人脸模型以及参考表情数据,其中,所述第一人脸模型基于人脸得到; 依据所述参考表情数据渲染所述第一人脸模型的表情,得到第二人脸模型。 在该方面中,依据参考表情数据和第一人脸模型得到第二人脸模型,实现将参考 表情数据所指示的表情迁移至第一人脸模型,进一步的,通过改变参考表情数据所指示的 表情,可得到任意表情下的第一人脸模型。由于第一人脸模型比非基于人脸得到的人脸模 型更逼真,通过将参考表情数据所指示的表情迁移至第一人脸模型,可得到更逼真的第二 人脸模型,使表情迁移的效果更加自然。 结合本申请任一实施方式,所述获取参考表情数据,包括: 获取第一人脸图像; 对所述第一人脸图像进行人脸关键点提取处理,得到所述第一人脸图像中的人脸 关键点信息; 依据所述人脸关键点信息,得到所述参考表情数据。 在实施方式中,通过对第一人脸图像进行人脸关键点提取处理,可得到人脸关键 点信息,进而可依据人脸关键点信息确定第一人脸图像中的表情数据,作为参考表情数据。 结合本申请任一实施方式,所述依据所述参考表情数据和所述第一人脸模型,得 到第二人脸模型,包括: 对所述第一人脸模型进行特征提取处理,得到第一特征图像; 对所述第一特征图像和所述参考表情数据进行融合处理,得到第二特征图像; 对所述第二特征图像进行上采样处理,得到所述第二人脸模型。 在该实施方式中,通过对参考表情数据和第一人脸模型进行融合处理,实现将参 考表情数据所指示的表情迁移至第一人脸模型,得到第二人脸模型。 结合本申请任一实施方式,所述获取第一人脸图像,包括: 获取视频流; 4 CN 111597926 A 说 明 书 2/18 页 对所述视频流中的图像进行人脸检测处理,得到包含人脸的图像,作为所述第一 人脸图像。 在该实施方式中,通过对视频流中的图像进行人脸检测处理,得到第一人脸图像, 进而可实现将视频流中的表情迁移至第一人脸模型。 结合本申请任一实施方式,所述获取参考表情数据,包括: 获取第一音频数据; 依据映射关系与所述第一音频数据中携带的信息,得到所述参考表情数据,其中, 所述映射关系用于表示音频数据中携带的信息与表情数据之间的映射。 在该实施方式中,可通过第一音频数据改变第一人脸模型的表情,得到第二人脸 模型。 结合本申请任一实施方式,所述方法还包括: 获取所述第一人脸模型的人物属性; 依据所述人物属性,得到第二音频数据,其中,所述第二音频数据中携带的信息与 所述第一音频数据中携带的信息相同; 在控制所述第二人脸模型执行说话操作的过程中,输出所述第二音频数据。 结合本申请任一实施方式,在所述依据映射关系与所述第一音频数据中携带的信 息,得到所述参考表情数据之前,所述方法还包括: 对所述第一音频数据进行声音特征提取处理,得到特征数据; 所述依据映射关系与所述第一音频数据中携带的信息,得到所述参考表情数据, 包括: 依据所述映射关系与所述第一音频数据中携带的信息,得到中间表情数据; 依据所述特征数据,调整所述中间表情数据得到所述参考表情数据。 结合本申请任一实施方式,所述获取第一音频数据,包括: 通过语音采集组件采集语音数据; 对所述语音数据进行语义分析处理,得到语义数据; 依据所述语义数据中携带的信息得到所述第一音频数据。 结合本申请任一实施方式,所述第一人脸模型基于人脸得到,包括: 获取第二人脸图像和所述第二人脸图像的深度图像; 依据所述第二人脸图像和所述深度图像,得到所述第一人脸模型。 在该实施方式中,依据第二人脸图像和深度图像可得到第一人脸模型。 结合本申请任一实施方式,所述依据所述第二人脸图像和所述深度图像,得到所 述第一人脸模型,包括: 依据所述第二人脸图像和所述深度图像,得到第三人脸模型; 将所述第三人脸模型中属于参考区域的像素区域去除,得到第四人脸模型,其中, 所述参考区域包括以下至少一个:眼睛区域、口腔区域; 向所述第四人脸模型中的参考区域填充参考数据,得到所述第一人脸模型,其中, 所述参考数据包括以下至少一个:眼睛区域的数据、口腔区域的数据。 在该实施方式中,通过将第三人脸模型中属于参考区域的像素区域去除,得到第 四人脸模型,并向第四人脸模型中的参考区域填充参考数据,得到第一人脸模型。这样,在 5 CN 111597926 A 说 明 书 3/18 页 调整第一人脸模型的表情的过程中,可利用与参考数据关联的相关数据,从而降低得到的 第二人脸模型中出现缺失信息的情况发生的概率,提高第二人脸模型的逼真度。 结合本申请任一实施方式,所述第一人脸模型为三维人脸模型。 第二方面,提供了一种图像处理装置,所述装置包括: 第一获取单元,用于获取第一人脸模型以及参考表情数据,其中,所述第一人脸模 型基于人脸得到; 第一处理单元,用于依据所述参考表情数据渲染所述第一人脸模型的表情,得到 第二人脸模型。 结合本申请任一实施方式,所述第一获取单元,用于: 获取第一人脸图像; 对所述第一人脸图像进行人脸关键点提取处理,得到所述第一人脸图像中的人脸 关键点信息; 依据所述人脸关键点信息,得到所述参考表情数据。 结合本申请任一实施方式,所述第一处理单元,用于: 对所述第一人脸模型进行特征提取处理,得到第一特征图像; 对所述第一特征图像和所述参考表情数据进行融合处理,得到第二特征图像; 对所述第二特征图像进行上采样处理,得到所述第二人脸模型。 结合本申请任一实施方式,所述第一获取单元,用于: 获取视频流; 对所述视频流中的图像进行人脸检测处理,得到包含人脸的图像,作为所述第一 人脸图像。 结合本申请任一实施方式,所述第一获取单元,用于: 获取第一音频数据; 依据映射关系与所述第一音频数据中携带的信息,得到所述参考表情数据,其中, 所述映射关系用于表示音频数据中携带的信息与表情数据之间的映射。 结合本申请任一实施方式,所述装置还包括: 第二获取单元,用于获取所述第一人脸模型的人物属性; 第二处理单元,用于依据所述人物属性,得到第二音频数据,其中,所述第二音频 数据中携带的信息与所述第一音频数据中携带的信息相同; 控制单元,在控制所述第二人脸模型执行说话操作的过程中,输出所述第二音频 数据。 结合本申请任一实施方式,所述装置还包括: 第三处理单元,用于在所述依据映射关系与所述第一音频数据中携带的信息,得 到所述参考表情数据之前,对所述第一音频数据进行声音特征提取处理,得到特征数据; 所述第一获取单元用于: 依据所述映射关系与所述第一音频数据中携带的信息,得到中间表情数据; 依据所述特征数据,调整所述中间表情数据得到所述参考表情数据。 结合本申请任一实施方式,所述第一获取单元用于: 通过语音采集组件采集语音数据; 6 CN 111597926 A 说 明 书 4/18 页 对所述语音数据进行语义分析处理,得到语义数据; 依据所述语义数据中携带的信息得到所述第一音频数据。 结合本申请任一实施方式,所述第一人脸模型基于人脸得到,包括: 获取第二人脸图像和所述第二人脸图像的深度图像; 依据所述第二人脸图像和所述深度图像,得到所述第一人脸模型。 结合本申请任一实施方式,所述依据所述第二人脸图像和所述深度图像,得到所 述第一人脸模型,包括: 依据所述第二人脸图像和所述深度图像,得到第三人脸模型; 将所述第三人脸模型中属于参考区域的像素区域去除,得到第四人脸模型,其中, 所述参考区域包括以下至少一个:眼睛区域、口腔区域; 向所述第四人脸模型中的参考区域填充参考数据,得到所述第一人脸模型,其中, 所述参考数据包括以下至少一个:眼睛区域的数据、口腔区域的数据。 结合本申请任一实施方式,所述第一人脸模型为三维人脸模型。 第三方面,提供了一种处理器,所述处理器用于执行如上述第一方面及其任意一 种可能实现的方式的方法。 第四方面,提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和 存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所 述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种 可能实现的方式的方法。 第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有 计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所 述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。 第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或 指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一 方面及其任一种可能的实现方式的方法。 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非 限制本申请。 附图说明 为了更清楚地说明本申请实施例或
下载此资料需消耗2积分,
分享到:
收藏