logo好方法网

一种虚拟现实图像增强方法、装置、设备及存储介质


技术摘要:
本发明公开了一种虚拟现实图像增强方法,包括获取虚拟现实设备中用于显示的第一图像;将第一图像输入GAN网络增强模型,以通过GAN网络增强模型生成对应第一图像的第二图像;将第一图像输入复原模型,以通过复原模型生成对应第一图像的第三图像;通过图像语义识别模型检  全部
背景技术:
随着技术和产业生态的快速发展,虚拟现实产业规模也不断增长,世界各国纷纷 出台政策鼓励和推动虚拟现实产业的发展,因此越来越多的企业开始涉足虚拟现实行业, 加大对虚拟现实产业的投资,虚拟现实已经逐渐应用到医疗、工程管理、建筑设计、娱乐教 育等多个领域,比如辅助医疗,工业检测、户型体验、游戏体验等,发展潜力巨大。 但是现在很多虚拟现实设备的显示效果并不理想,比如图像视频不够清晰,用户 需要花费一番精力才能看清和体验,舒适度较差。所以如何生成高质量的虚拟现实设备所 显示的图像是本领域技术人员急需解决的问题。
技术实现要素:
本发明的目的是提供一种虚拟现实图像增强方法,可以极大改善虚拟现实设备显 示图像的质量;本发明的另一目的在于提供一种虚拟现实图像增强装置、一种虚拟现实图 像增强设备以及一种计算机可读存储介质,可以极大改善虚拟现实设备显示图像的质量。 为解决上述技术问题,本发明提供一种虚拟现实图像增强方法,包括: 获取虚拟现实设备中用于显示的第一图像; 将所述第一图像输入GAN网络增强模型,以通过所述GAN网络增强模型生成对应所 述第一图像的第二图像; 将所述第一图像输入复原模型,以通过所述复原模型生成对应所述第一图像的第 三图像; 通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度,以生成 对应所述第二图像的相似度数据; 将所述相似度数据与所述第三图像输入所述GAN网络增强模型,以通过所述GAN网 络增强模型生成对应的第四图像; 将所述第四图像返回所述虚拟现实设备进行显示。 可选的,所述复原模型为反卷积生成模型。 可选的,在所述将所述相似度数据与所述第三图像输入所述GAN网络增强模型之 后,还包括: 通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强。 可选的,在所述通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代 增强之后,还包括: 通过预设时间内连续生成的多个所述第四图像以及对应的第一图像建立正负样 本集;其中所述正负样本集包括多个正负样本,任一所述正负样本中的正样本为一所述第 4 CN 111583141 A 说 明 书 2/9 页 四图像,负样本为对应的所述第一图像; 将所述正负样本集输入所述GAN网络增强模型中的判别器,以得到所述GAN网络增 强模型的训练样本集。 可选的,在所述得到所述GAN网络增强模型的训练样本集之后,还包括: 将所述训练样本集输入所述GAN网络增强模型中的生成器,以得到由多张图像所 形成的虚拟环境图像; 所述将所述第四图像返回所述虚拟现实设备进行显示包括: 将所述虚拟环境图像返回所述虚拟现实设备进行显示。 可选的,所述获取虚拟现实设备中用于显示的第一图像包括: 通过边缘服务器获取虚拟现实设备中用于显示的第一图像; 所述将所述第四图像返回所述虚拟现实设备进行显示包括: 通过所述边缘服务器将所述第四图像返回所述虚拟现实设备进行显示。 可选的,所述获取虚拟现实设备中用于显示的第一图像包括: 通过5G网络获取虚拟现实设备中用于显示的第一图像; 所述将所述第四图像返回所述虚拟现实设备进行显示包括: 通过所述5G网络将所述第四图像返回所述虚拟现实设备进行显示。 本发明还提供了一种虚拟现实图像增强装置,包括: 获取模块:用于获取虚拟现实设备中用于显示的第一图像; 第二图像生成模块:用于将所述第一图像输入GAN网络增强模型,以通过所述GAN 网络增强模型生成对应所述第一图像的第二图像; 第三图像生成模块:用于将所述第一图像输入复原模型,以通过所述复原模型生 成对应所述第一图像的第三图像; 相似度数据生成模块:用于通过图像语义识别模型检测所述第二图像与所述第三 图像的语义相似度,以生成对应所述第二图像的相似度数据; 第四图像生成模块:用于将所述相似度数据与所述第三图像输入所述GAN网络增 强模型,以通过所述GAN网络增强模型生成对应的第四图像; 传输模块:用于将所述第四图像返回所述虚拟现实设备进行显示。 本发明还提供了一种虚拟现实图像增强设备,包括: 存储器,用于存储计算机程序; 处理器,用于执行所述计算机程序时实现如上述任一项所述虚拟现实图像增强方 法的步骤。 本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计 算机程序,所述计算机程序被处理器执行时实现如上述任一项所述虚拟现实图像增强方法 的步骤。 本发明所提供的一种虚拟现实图像增强方法,包括获取虚拟现实设备中用于显示 的第一图像;将第一图像输入GAN网络增强模型,以通过GAN网络增强模型生成对应第一图 像的第二图像;将第一图像输入复原模型,以通过复原模型生成对应第一图像的第三图像; 通过图像语义识别模型检测第二图像与第三图像的语义相似度,以生成对应第二图像的相 似度数据;将相似度数据与第三图像输入GAN网络增强模型,以通过GAN网络增强模型生成 5 CN 111583141 A 说 明 书 3/9 页 对应的第四图像;将第四图像返回虚拟现实设备进行显示。通过GAN网络增强模型可以对从 虚拟现实设备中获取的图像进行增强修复,而通过复原模型以及图像语义识别模型对GAN 网络增强模型进行辅助,可以使得GAN网络增强模型生成质量更高的的图像返回到虚拟现 实设备进行显示,从而极大改善虚拟现实设备显示图像的质量。 本发明还提供了一种虚拟现实图像增强装置、一种虚拟现实图像增强设备以及一 种计算机可读存储介质,同样具有上述有益效果,在此不再进行赘述。 附图说明 为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有 技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发 明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根 据这些附图获得其他的附图。 图1为本发明实施例所提供的一种虚拟现实图像增强方法的流程图; 图2为本发明实施例所提供的一种具体的虚拟现实图像增强方法的流程图; 图3为本发明实施例所提供的一种虚拟现实图像增强装置的结构框图; 图4为本发明实施例所提供的一种虚拟现实图像增强设备的结构框图。
分享到:
收藏