logo好方法网

图像检索方法、图像检索装置及图像检索系统


技术摘要:
本发明实施例提供了一种图像检索方法、图像检索装置及图像检索系统,涉及图像处理技术领域,用于在不知道画作的名称、作者等相关信息的情况下,实现对画作的检索。一种图像检索方法,其特征在于,包括:接收第一原始图像;提取所述第一原始图像的图像特征,得到第一特  全部
背景技术:
画屏能够显示图像(本文以画作为例),且能够还原画作的真实质感,因而得到了 较为广泛应用。 在相关技术中,用户可以通过输入画作相关信息的文字描述(例如画作的名称或 作者等),使得画屏显示相应的画作以供用户欣赏。但是,在用户发现了不知道名称、作者等 相关信息的画作的情况下,用户难以通过画屏对该画作直接进行检索显示,并难以了解该 画作的信息。
技术实现要素:
本发明实施例的目的在于提供一种画作检索的方法、云端设备、终端设备及画作 检索系统,用于在不知道画作的名称、作者等相关信息的情况下,实现对画作的检索。 为达到上述目的,本发明实施例提供了如下技术方案: 本发明实施例的第一方面提供了一种图像检索方法,包括:接收第一原始图像;提 取所述第一原始图像的图像特征,得到第一特征编码;根据所述第一特征编码,得到第一目 标信息;根据所述第一目标信息,在画作库和知识图谱库中查找得到与所述第一目标信息 相对应的第一目标画作;输出所述第一目标画作。 本发明的一些实施例所提供的图像检索方法,与画作库和知识图谱库相结合,通 过获取第一原始图像,并对其进行图像特征提取得到第一特征编码,能够根据第一特征编 码在画作库和知识图谱库中,检索得到与第一原始图像所对应的被拍摄物相同和/或相似 的目标画作,实现了在用户不知道画作的名称、作者等相关信息的情况下,实现对画作的检 索。 在一些实施例中,所述提取所述第一原始图像的图像特征,得到第一特征编码,包 括:利用第一图像特征提取模型,提取所述第一原始图像的图像特征,得到所述第一特征编 码。所述图像检索方法,还包括:响应于用户对所述第一目标画作的操作,获取用户的操作 信息;根据所述用户的操作信息,对所述第一图像特征提取模型进行更新,得到第二图像特 征提取模型;接收第二原始图像;利用所述第二图像特征提取模型,提取所述第二原始图像 的图像特征,得到第二特征编码;根据所述第二特征编码,得到第二目标信息;根据所述第 二目标信息,在所述画作库和所述知识图谱库中查找得到与所述第二目标信息相对应的第 二目标画作;输出所述第二目标画作。 在一些实施例中,所述根据所述用户的操作信息,对所述第一图像特征提取模型 进行更新,得到第二图像特征提取模型,包括:对所述用户的操作信息进行归类,计算各类 标签所对应的用户操作信息的占比;根据所述各类标签的占比,调整所述各类标签所对应 6 CN 111581421 A 说 明 书 2/19 页 的图像特征的权重;根据所述第一图像特征提取模型以及调整后的权重,训练形成所述第 二图像特征提取模型;将所述第一图像特征提取模型替换为所述第二图像特征提取模型。 在一些实施例中,所述根据所述第一特征编码,得到第一目标信息,包括:获取所 述画作库对应的第一特征编码库,以及所述知识图谱库所对应的第二特征编码库;所述第 一特征编码库和所述第二特征编码库由所述第一图像特征提取模型分别对所述画作库和 所述知识图谱库中的图像进行图像特征提取获得;计算所述第一特征编码与所述第一特征 编码库和所述第二特征编码库中的每个特征编码之间的距离,并获取在预设范围内的各距 离所对应的特征编码,将所获取的各特征编码作为第一目标特征编码;根据所述第一目标 特征编码确定所述第一目标信息。 在一些实施例中,所述根据所述第二特征编码,得到第二目标信息,包括:获取所 述画作库对应的第三特征编码库,以及所述知识图谱库所对应的第四特征编码库;所述第 三特征编码库和所述第四特征编码库由所述第二图像特征提取模型分别对所述画作库和 所述知识图谱库中的图像进行图像特征提取获得;计算所述第二特征编码与所述第三特征 编码库和所述第四特征编码库中的每个特征编码之间的距离,并获取在预设范围内的各距 离所对应的特征编码,将所获取的各特征编码作为第二目标特征编码;根据所述第二目标 特征编码确定所述第二目标信息。 在一些实施例中,所述根据所述第一目标信息,在画作库和知识图谱库中查找得 到与所述第一目标信息相对应的第一目标画作包括:根据所述第一目标信息在所述画作库 中查找得到第一查找结果;根据所述第一目标信息在所述知识图谱库中查找得到第二查找 结果;在所述第一查找结果和所述第二查找结果相同的情况下,以所述第一查找结果和所 述第二查找结果中的一者作为第一目标画作;在所述第一查找结果和所述第二查找结果不 同的情况下,以所述第一查找结果和所述第二查找结果共同作为所述第一目标画作。 本发明实施例的第二方面提供了一种图像检索装置,包括处理器和存储器。所述 存储器存储有程序指令,所述程序指令可由所述处理器执行,使所述图像检索装置执行以 下操作:接收第一原始图像;提取所述第一原始图像的图像特征,得到第一特征编码;根据 所述第一特征编码,得到第一目标信息;根据所述第一目标信息,在画作库和知识图谱库中 查找得到与所述第一目标信息相对应的第一目标画作;输出所述第一目标画作。 本发明实施例提供的图像检索装置所能实现的有益效果,与上述技术方案提供的 图像检索方法所能达到的有益效果相同,在此不做赘述。 在一些实施例中,所述图像检索装置还执行以下操作:利用第一图像特征提取模 型,提取所述第一原始图像的图像特征,得到第一特征编码;所述图像检索装置还执行以下 操作:响应于用户对所述第一目标画作的操作,获取用户的操作信息;根据所述用户的操作 信息,对所述第一图像特征提取模型进行更新,得到第二图像特征提取模型;接收第二原始 图像;利用所述第二图像特征提取模型,提取所述第二原始图像的图像特征,得到第二特征 编码;根据所述第二特征编码,得到第二目标信息;根据所述第二目标信息,在所述画作库 和所述知识图谱库中查找得到与所述第二目标信息相对应的第二目标画作;输出所述第二 目标画作。 在一些实施例中,所述图像检索装置还执行以下操作:对所述用户的操作信息进 行归类,计算各类标签所对应的用户操作信息的占比;根据所述各类标签的占比,调整所述 7 CN 111581421 A 说 明 书 3/19 页 各类标签所对应的图像特征的权重;根据所述第一图像特征提取模型以及调整权重后的图 像特征,训练形成所述第二图像特征提取模型;将所述第一图像特征提取模型替换为所述 第二图像特征提取模型。 在一些实施例中,所述图像检索装置还执行以下操作:根据所述第一目标信息在 所述画作库中查找得到第一查找结果;根据所述第一目标信息在所述知识图谱库中查找得 到第二查找结果;在所述第一查找结果和所述第二查找结果相同的情况下,以所述第一查 找结果和所述第二查找结果中的一者作为第一目标画作;在所述第一查找结果和所述第二 查找结果不同的情况下,以所述第一查找结果和所述第二查找结果共同作为所述第一目标 画作。 本发明实施例的第三方面提供了一种图像检索系统,包括终端设备,以及如上述 一些实施例中所述的图像检索装置。所述终端设备被配置为,采集第一原始图像,并将所述 第一原始图像上传至所述图像检索装置。所述图像检索装置被配置为,接收所述第一原始 图像,并提取所述第一原始图像的图像特征,得到第一特征编码。所述图像检索装置还被配 置为,根据所述第一特征编码,得到第一目标信息。所述图像检索装置还被配置为,根据所 述第一目标信息,在画作库和知识图谱库中查找得到与所述第一目标信息相对应的第一目 标画作。所述图像检索装置还被配置为,输出所述第一目标画作。所述终端设备还被配置 为,显示所述第一目标画作。 本发明实施例提供的图像检索系统所能实现的有益效果,与上述技术方案提供的 图像检索方法所能达到的有益效果相同,在此不做赘述。 在一些实施例中,所述图像检索装置包括第一服务器和第二服务器;所述第一服 务器存储有画作库,所述第二服务器存储有知识图谱库。所述第一服务器被配置为,接收所 述第一原始图像,并将所述第一原始图像发送至所述第二服务器;或,所述第一服务器被配 置为,接收所述第一原始图像,并对所述第一原始图像进行数据处理,将数据处理后的第一 原始图像发送至所述第二服务器;所述第二服务器被配置为,提取所述第一原始图像的图 像特征得到第一特征编码,并根据所述第一特征编码得到第一目标信息;所述第一服务器 被配置为,接收所述第二服务器发送的所述第一目标信息,并根据所述第一目标信息,在所 述画作库中查找得到与所述第一目标信息相对应的第一查找结果;所述第二服务器还被配 置为,根据所述第一目标信息,在所述知识图谱库中查找得到与所述第一目标信息相对应 的第二查找结果。其中,在所述第一查找结果和所述第二查找结果相同的情况下,以所述第 一查找结果和所述第二查找结果中的一者作为第一目标画作;在所述第一查找结果和所述 第二查找结果不同的情况下,以所述第一查找结果和所述第二查找结果共同作为所述第一 目标画作。 在一些实施例中,所述图像检索装置还被配置为,响应于用户对所述第一目标画 作的操作,获取用户的操作信息;所述图像检索装置还被配置为,根据所述用户的操作信 息,对所述第一图像特征提取模型进行更新,得到第二图像特征提取模型;所述图像检索装 置还被配置为,接收第二原始图像,利用所述第二图像特征提取模型,提取所述第二原始图 像的图像特征得到第二特征编码,并根据所述第二目标信息,在所述画作库和所述知识图 谱库中查找得到与所述第二目标信息相对应的第二目标画作,输出所述第二目标画作;所 述终端设备还被配置为,显示所述第二目标画作。 8 CN 111581421 A 说 明 书 4/19 页 在一些实施例中,所述图像检索装置还被配置为,对所述用户的操作信息进行归 类,计算各类标签所对应的用户操作信息的占比;所述图像检索装置还被配置为,根据所述 各类标签的占比,调整所述各类标签所对应的图像特征的权重;所述图像检索装置还被配 置为,根据所述第一图像特征提取模型以及调整权重后的图像特征,训练形成所述第二图 像特征提取模型;所述图像检索装置还被配置为,将所述第一图像特征提取模型替换为所 述第二图像特征提取模型。 本发明实施例的第四方面提供了一种计算机可读存储介质,其特征在于,存储有 计算机程序指令,在所述计算机程序指令在处理器上运行时,使得处理器执行如上述一些 实施例中所述的图像检索方法。 本发明实施例的第五方面提供了一种计算机程序产品。所述计算机程序产品包括 计算机程序指令,在计算机上执行所述计算机程序指令时,所述计算机程序指令使计算机 执行如上述一些实施例中提供的图像检索方法。 本发明实施例的第六方面提供了一种计算机程序。当所述计算机程序在计算机上 执行时,所述计算机程序使计算机执行如上述一些实施例中提供的图像检索方法。 附图说明 为了更清楚地说明本发明中的技术方案,下面将对本发明一些实施例中所需要使 用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例的附 图,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。此外,以下描述 中的附图可以视作示意图,并非对本发明实施例所涉及方法的实际流程等的限制。 图1为根据本发明一些实施例中的一种知识图谱的结构图; 图2为根据本发明一些实施例中的另一种知识图谱的结构图; 图3为根据本发明一些实施例中的一种图像检索方法的流程图; 图4为图3中所示的一种图像检索方法中S300的流程图; 图5为图3中所示的一种图像检索方法中S400的流程图; 图6为根据本发明一些实施例中的另一种图像检索方法的流程图; 图7为图6中所示的一种图像检索方法中S700的流程图; 图8为图6中所示的一种图像检索方法中S1000的流程图; 图9为根据本发明一些实施例中的一种终端设备显示第一目标画作的示意图; 图10为根据本发明一些实施例中的一种终端设备显示第一目标画作的信息的示 意图; 图11为根据本发明一些实施例中的一种终端设备显示被提问的关键字段相对应 的信息第二目标信息的示意图; 图12为根据本发明一些实施例中的一种图像检索装置的结构图; 图13为根据本发明一些实施例中的一种画作检索系统的结构图; 图14为根据本发明一些实施例中的一种画作检索系统的框架图; 图15为根据本发明一些实施例中的一种云服务器部署方案的框架图; 图16为根据本发明一些实施例中的一种用户反馈、知识图谱查询和日志存储的方 案的框架图。 9 CN 111581421 A 说 明 书 5/19 页
下载此资料需消耗2积分,
分享到:
收藏