logo好方法网

一种图像数据处理方法、装置以及计算机可读存储介质


技术摘要:
本申请公开了一种图像数据处理方法、装置以及计算机可读存储介质,该方法包括:获取包含样本检测对象的样本图像;通过初始检测模型获取样本图像的第一维度特征,对第一维度特征进行特征降维,得到样本图像的第二维度特征;根据第一维度特征,获取样本检测对象的第一类  全部
背景技术:
随着计算机网络的不断发展,人工智能在各种领域中均有一定的应用,其中就涉 及到将人工智能应用到图像检测的领域中,例如通过训练得到的检测模型实现对图像中的 检测对象的对象类别的检测。 现有技术中,在训练初始检测模型以得到检测模型时,往往会通过大量的样本图 像对初始检测模型进行训练,并且,每种类别的检测对象所在的样本图像的图像数量也非 常多。由于初始检测模型本身的特征维度较高,对于每种类别的检测对象所在的样本图像 的图像数量也很多,因此,初始检测模型在进行训练时,会学习到检测对象太多的冗余信 息,该冗余信息不仅不会帮助到初始检测模型更好地识别出样本图像中的检测对象的对象 类别,反而会干扰初始检测模型,使得初始检测模型容易将多种类别的检测对象识别为一 种类别的检测对象,以致后续训练得到的检测模型也不能精确地对图像中的检测对象的对 象类别进行区分。
技术实现要素:
本申请提供了一种图像数据处理方法、装置以及计算机可读存储介质,可提高检 测模型针对检测图像中的检测对象的对象特征的检测准确性。 本申请一方面提供了一种图像数据处理方法,包括: 获取包含样本检测对象的样本图像;样本图像携带有样本检测对象的对象类型标 签; 通过初始检测模型,获取样本图像的第一维度特征,对第一维度特征进行特征降 维,得到样本图像的第二维度特征; 根据第一维度特征,获取针对样本检测对象的第一类型预测结果,根据第二维度 特征,获取针对检测对象的第二类型预测结果; 根据对象类型标签所指示的样本检测对象的实际对象类型、第一类型预测结果和 第二类型预测结果,修正初始检测模型的模型参数,得到检测模型;检测模型用于对检测图 像中的检测对象的对象特征进行检测。 其中,初始检测模型中包括第一预测子网络和第二预测子网络;第一预测子网络 的特征维度大于第二预测子网络的特征维度; 通过初始检测模型,获取样本图像的第一维度特征,对第一维度特征进行特征降 维,得到样本图像的第二维度特征,包括: 基于第一预测子网络,获取样本图像的第一维度特征,基于第二预测子网络,对第 一维度特征进行特征降维,得到第二维度特征; 6 CN 111597376 A 说 明 书 2/25 页 则,根据第一维度特征,获取针对检测对象的第一类型预测结果,根据第二维度特 征,获取针对检测对象的第二类型预测结果,包括: 基于第一预测子网络和第一维度特征,预测得到样本检测对象的第一类型预测结 果,基于第二预测子网络和第二维度特征,预测得到样本检测对象的第二类型预测结果。 其中,根据样本检测对象的实际对象类型、第一类型预测结果和第二类型预测结 果,修正初始检测模型的模型参数,得到检测模型,包括: 根据第一类型预测结果和实际对象类型,确定针对第一预测子网络的第一损失函 数; 根据第二类型预测结果和实际对象类型,确定针对第二预测子网络的第二损失函 数; 根据第一类型预测结果和第二类型预测结果,获取第一预测子网络和第二预测子 网络之间的协同损失函数; 根据第一损失函数、第二损失函数和协同损失函数,确定初始检测模型的目标损 失函数; 基于目标损失函数,修正初始检测模型的模型参数,得到检测模型。 其中,根据第一类型预测结果和实际对象类型,确定针对第一预测子网络的第一 损失函数,包括: 根据第一类型预测结果和实际对象类型,确定第一预测子网络的第一预测损失 值; 根据第一预测损失值,确定第一损失函数;第一损失函数用于使第一类型预测结 果所指向的样本检测对象的预测对象类型,趋向于实际对象类型。 其中,根据第二类型预测结果和实际对象类型,确定针对第二预测子网络的第二 损失函数,包括: 根据第二类型预测结果和实际对象类型,确定第二预测子网络的第二预测损失 值; 根据第二预测损失值,确定第二损失函数;第二损失函数用于使第二类型预测结 果所指向的样本检测对象的预测对象类型,趋向于实际对象类型。 其中,根据第一类型预测结果和第二类型预测结果,获取第一预测子网络和第二 预测子网络之间的协同损失函数,包括: 获取第一类型预测结果和第二类型预测结果之间的互信息熵; 根据互信息熵,确定协同损失函数;协同损失函数用于使第二类型预测结果趋向 于第一类型预测结果。 其中,根据第一损失函数、第二损失函数和协同损失函数,确定初始检测模型的目 标损失函数,包括: 获取第一损失函数对应的第一模型影响权重、第二损失函数对应的第二模型影响 权重、以及协同损失函数对应的第三模型影响权重; 基于第一模型影响权重对第一损失函数进行加权,得到第一加权损失函数,基于 第二模型影响权重对第二损失函数进行加权,得到第二加权损失函数,基于第三模型影响 权重对协同损失函数进行加权,得到第三加权损失函数; 7 CN 111597376 A 说 明 书 3/25 页 将第一加权损失函数、第二加权损失函数和第三加权损失函数之和,确定为目标 损失函数。 其中,上述方法还包括: 将检测模型中修正后的第一预测子网络,确定为第一目标子网络,将检测模型中 修正后的第二预测子网络,确定为第二目标子网络; 获取客户端发送的包含检测对象的检测图像; 基于第一目标子网络或第二目标子网络,输出检测图像中的检测对象的目标类型 预测结果; 根据目标类型预测结果,确定检测对象的检测对象类型; 将检测对象类型发送至客户端,以使客户端在客户端页面中对检测图像和检测对 象类型进行关联输出。 其中,上述方法还包括: 将检测模型中修正后的第二预测子网络,确定为第二目标子网络; 获取客户端发送的检测图像; 基于第二目标子网络,输出检测图像的图像特征; 对检测图像的图像特征进行特征归一化,得到检测图像的匹配特征向量; 根据检测图像的匹配特征向量、以及图像检索库中的检索图像的匹配特征向量, 从图像检索库中获取检测图像的相似检索图像; 将相似检索图像发送至客户端,以使客户端在客户端页面中输出相似检索图像。 其中,根据检测图像的匹配特征向量、以及图像检索库中的检索图像的匹配特征 向量,从图像检索库中获取检测图像的相似检索图像,包括: 获取图像检索库中的每个检索图像的匹配特征向量与检测图像的匹配特征向量 之间的向量距离; 根据每个检索图像对应的向量距离,确定每个检索图像与检测图像之间的图像相 似度; 将图像检索库中,与检测图像之间的图像相似度大于图像相似度阈值的检索图 像,确定为检测图像的相似检索图像。 本申请一方面提供了一种图像数据处理装置,包括: 获取模块,用于获取包含样本检测对象的样本图像;样本图像携带有样本检测对 象的对象类型标签; 降维模块,用于通过初始检测模型,获取样本图像的第一维度特征,对第一维度特 征进行特征降维,得到样本图像的第二维度特征; 结果获取模块,用于根据第一维度特征,获取针对样本检测对象的第一类型预测 结果,根据第二维度特征,获取针对检测对象的第二类型预测结果; 模型更新模块,用于根据对象类型标签所指示的样本检测对象的实际对象类型、 第一类型预测结果和第二类型预测结果,修正初始检测模型的模型参数,得到检测模型;检 测模型用于对检测图像中的检测对象的对象特征进行检测。 其中,初始检测模型中包括第一预测子网络和第二预测子网络;第一预测子网络 的特征维度大于第二预测子网络的特征维度; 8 CN 111597376 A 说 明 书 4/25 页 降维模块,用于: 基于第一预测子网络,获取样本图像的第一维度特征,基于第二预测子网络,对第 一维度特征进行特征降维,得到第二维度特征; 则,结果获取模块,用于: 基于第一预测子网络和第一维度特征,预测得到样本检测对象的第一类型预测结 果,基于第二预测子网络和第二维度特征,预测得到样本检测对象的第二类型预测结果。 其中,模型更新模块,包括: 第一损失确定单元,用于根据第一类型预测结果和实际对象类型,确定针对第一 预测子网络的第一损失函数; 第二损失确定单元,用于根据第二类型预测结果和实际对象类型,确定针对第二 预测子网络的第二损失函数; 第三损失确定单元,用于根据第一类型预测结果和第二类型预测结果,获取第一 预测子网络和第二预测子网络之间的协同损失函数; 第四损失确定单元,用于根据第一损失函数、第二损失函数和协同损失函数,确定 初始检测模型的目标损失函数; 损失修正单元,用于基于目标损失函数,修正初始检测模型的模型参数,得到检测 模型。 其中,第一损失确定单元,包括: 第一损失值确定子单元,用于根据第一类型预测结果和实际对象类型,确定第一 预测子网络的第一预测损失值; 第一损失确定子单元,用于根据第一预测损失值,确定第一损失函数;第一损失函 数用于使第一类型预测结果所指向的样本检测对象的预测对象类型,趋向于实际对象类 型。 其中,第二损失确定单元,包括: 第二损失值确定子单元,用于根据第二类型预测结果和实际对象类型,确定第二 预测子网络的第二预测损失值; 第二损失确定子单元,用于根据第二预测损失值,确定第二损失函数;第二损失函 数用于使第二类型预测结果所指向的样本检测对象的预测对象类型,趋向于实际对象类 型。 其中,第三损失确定单元,包括: 互信息熵获取子单元,用于获取第一类型预测结果和第二类型预测结果之间的互 信息熵; 第三损失确定子单元,用于根据互信息熵,确定协同损失函数;协同损失函数用于 使第二类型预测结果趋向于第一类型预测结果。 其中,第四损失确定单元,包括: 权重获取子单元,用于获取第一损失函数对应的第一模型影响权重、第二损失函 数对应的第二模型影响权重、以及协同损失函数对应的第三模型影响权重; 加权子单元,用于基于第一模型影响权重对第一损失函数进行加权,得到第一加 权损失函数,基于第二模型影响权重对第二损失函数进行加权,得到第二加权损失函数,基 9 CN 111597376 A 说 明 书 5/25 页 于第三模型影响权重对协同损失函数进行加权,得到第三加权损失函数; 目标函数确定子单元,用于将第一加权损失函数、第二加权损失函数和第三加权 损失函数之和,确定为目标损失函数。 其中,上述装置还包括: 第一网络确定模块,用于将检测模型中修正后的第一预测子网络,确定为第一目 标子网络,将检测模型中修正后的第二预测子网络,确定为第二目标子网络; 第一图像获取模块,用于获取客户端发送的包含检测对象的检测图像; 结果输出模块,用于基于第一目标子网络或第二目标子网络,输出检测图像中的 检测对象的目标类型预测结果; 类型确定模块,用于根据目标类型预测结果,确定检测对象的检测对象类型; 类型发送模块,用于将检测对象类型发送至客户端,以使客户端在客户端页面中 对检测图像和检测对象类型进行关联输出。 其中,上述装置还包括: 第二网络确定模块,用于将检测模型中修正后的第二预测子网络,确定为第二目 标子网络; 第二图像获取模块,用于获取客户端发送的检测图像; 特征输出模块,用于基于第二目标子网络,输出检测图像的图像特征; 归一化模块,用于对检测图像的图像特征进行特征归一化,得到检测图像的匹配 特征向量; 相似检索模块,用于根据检测图像的匹配特征向量、以及图像检索库中的检索图 像的匹配特征向量,从图像检索库中获取检测图像的相似检索图像; 图像发送模块,用于将相似检索图像发送至客户端,以使客户端在客户端页面中 输出相似检索图像。 其中,相似检索模块,包括: 距离获取单元,用于获取图像检索库中的每个检索图像的匹配特征向量与检测图 像的匹配特征向量之间的向量距离; 相似度确定单元,用于根据每个检索图像对应的向量距离,确定每个检索图像与 检测图像之间的图像相似度; 相似检索单元,用于将图像检索库中,与检测图像之间的图像相似度大于图像相 似度阈值的检索图像,确定为检测图像的相似检索图像。 本申请一方面提供了一种图像数据处理装置,包括: 图像获取模块,用于获取包含检测对象的检测图像; 特征输出模块,用于将检测图像输入检测模型,基于检测模型输出检测图像的图 像特征;检测模型是采用如权利要求1-10任一项的图像数据处理方法训练得到; 类型预测模块,用于基于图像特征,在检测模型中输出检测对象的类型预测结果; 或者 图像检索模块,用于基于图像特征,从图像检索库中获取检测图像的相似检索图 像。 本申请一方面提供了一种计算机设备,包括存储器和处理器,存储器存储有计算 10 CN 111597376 A 说 明 书 6/25 页 机程序,计算机程序被处理器执行时,使得处理器执行本申请中一方面中的方法。 本申请一方面提供了一种计算机可读存储介质,该计算机可读存储介质存储有计 算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时使该处理器执行上述 一方面中的方法。 根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程 序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算 机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使 得该计算机设备执行上述一方面等各种可选方式中提供的方法。 本申请获取包含样本检测对象的样本图像;样本图像携带有样本检测对象的对象 类型标签;通过初始检测模型,获取样本图像的第一维度特征,对第一维度特征进行特征降 维,得到样本图像的第二维度特征;根据第一维度特征,获取针对样本检测对象的第一类型 预测结果,根据第二维度特征,获取针对检测对象的第二类型预测结果;根据对象类型标签 所指示的样本检测对象的实际对象类型、第一类型预测结果和第二类型预测结果,修正初 始检测模型的模型参数,得到检测模型;检测模型用于对检测图像中的检测对象的对象特 征进行检测。由此可见,本申请提出的方法可以通过样本图像的一个较高维度的特征(即第 一维度特征)和一个较低维度的特征(即第二维度特征),协同对初始检测模型进行训练,使 得初始检测模型不仅可以学习到样本图像较高维度的图像特征,而且还可以通过较低维度 的图像特征减少初始检测模型所学习到的、较高维度的图像特征中的冗余图像特征,使得 最终训练得到的检测模型可以更准确地对检测图像中的检测对象的对象特征进行检测。 附图说明 为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的 一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这 些附图获得其他的附图。 图1是本申请实施例提供的一种网络架构的结构示意图; 图2是本申请提供的一种图像检测的场景示意图; 图3是本申请提供的一种图像数据处理方法的流程示意图; 图4是本申请提供的一种模型训练的场景示意图; 图5是本申请提供的一种模型应用的场景示意图; 图6是本申请提供的一种终端页面的页面示意图; 图7是本申请提供的一种获取相似图像的场景示意图; 图8是本申请提供的一种图像数据处理方法的流程示意图; 图9是本申请提供的一种图像数据处理装置的结构示意图; 图10是本申请提供的一种图像数据处理装置的结构示意图; 图11是本申请提供的一种计算机设备的结构示意图。
下载此资料需消耗2积分,
分享到:
收藏