logo好方法网

属性识别方法及装置、电子设备和存储介质


技术摘要:
本公开涉及一种属性识别方法及装置、电子设备和存储介质。所述方法包括:获取待识别图像;将所述待识别图像输入神经网络,经由所述神经网络确定所述待识别图像中的目标对象的属性类别预测结果,其中,所述神经网络是预先根据损失函数训练得到的,所述损失函数包括第一  全部
背景技术:
属性是指目标对象的一些特征,例如性别、年龄、服装款式、头发长短等。属性识别 是指从图片或视频中判断目标对象的属性,包括行人属性识别、人脸属性识别、车辆属性识 别等。属性识别是计算机视觉以及智能安防监控领域的重要问题。 作为一个经典的计算机视觉问题,属性识别面临着许多困难。例如,由于拍摄距离 或者行人的走动导致的低分率,场景、光照、拍摄角度、行人姿态等的多变性,以及潜在的遮 挡问题等,都会对属性识别造成影响。
技术实现要素:
本公开提供了一种属性识别技术方案。 根据本公开的一方面,提供了一种属性识别方法,包括: 获取待识别图像; 将所述待识别图像输入神经网络,经由所述神经网络确定所述待识别图像中的目 标对象的属性类别预测结果,其中,所述神经网络是预先根据损失函数训练得到的,所述损 失函数包括第一损失函数,所述第一损失函数的值是根据多个图像样本的属性的特征确定 的,所述多个图像样本根据属性类别标签和图像样本中目标对象的身份信息来选取。 在本公开实施例中,用于训练所述神经网络的第一损失函数的值,是根据属性类 别和目标对象的身份信息选取的多个图像样本的属性的特征来确定的,由此在所述神经网 络的训练中,利用属性信息和身份信息来构造多层次(属性层次和身份层次)的特征,将属 性信息和身份信息统一到特征空间,而非将属性和身份这两种不同的信息简单地糅合在一 起,从而能够使构造的特征空间更合理。本公开实施例训练得到的神经网络所提取的待识 别图像的特征,能够体现待识别图像中多层次(属性层次和身份层次)的信息,从而能够提 高属性识别的准确性。 在一种可能的实现方式中,所述多个图像样本包括第一图像样本、第二图像样本 和第三图像样本,所述第一损失函数包括第一子损失函数,所述第一子损失函数的值是根 据所述第一图像样本的第一属性的特征、所述第二图像样本的第一属性的特征和所述第三 图像样本的第一属性的特征确定的,其中,所述第一图像样本为所述多个图像样本中的任 一图像样本,所述第一属性为任一属性,所述第二图像样本与所述第一图像样本具有所述 第一属性下相同的属性类别标签,且所述第二图像样本与所述第一图像样本中目标对象的 身份信息不同,所述第三图像样本与所述第一图像样本具有所述第一属性下不同的属性类 别标签,且所述第三图像样本与所述第一图像样本中目标对象的身份信息不同。 在该实现方式中,根据第一图像样本的第一属性的特征、第二图像样本的第一属 5 CN 111582383 A 说 明 书 2/21 页 性的特征和第三图像样本的第一属性的特征,可以组成类间三元组。根据第一图像样本的 第一属性的特征、第二图像样本的第一属性的特征和第三图像样本的第一属性的特征确定 第一子损失函数的值,并利用第一子损失函数对所述神经网络进行约束,由此训练得到的 神经网络能够学习到区分不同属性类别的能力。 在一种可能的实现方式中, 所述第二图像样本为与所述第一图像样本具有所述第一属性下相同的属性类别 标签、且目标对象的身份信息与所述第一图像样本不同的图像样本中,所述第一属性的特 征与所述第一图像样本距离最远的图像样本; 和/或, 所述第三图像样本为与所述第一图像样本具有所述第一属性下不同的属性类别 标签、且目标对象的身份信息与所述第一图像样本不同的图像样本中,所述第一属性的特 征与所述第一图像样本距离最近的图像样本。 通过根据第一图像样本的第一属性的特征,与所述第一图像样本属于所述第一属 性下的相同属性类别、且目标对象的身份信息与所述第一图像样本不同的图像样本中、所 述第一属性的特征与所述第一图像样本距离最远的图像样本的第一属性的特征,以及与所 述第一图像样本属于所述第一属性下的不同属性类别、且目标对象的身份信息与所述第一 图像样本不同的图像样本中、所述第一属性的特征与所述第一图像样本距离最近的图像样 本的第一属性的特征,确定第一子损失函数的值,并利用第一子损失函数对所述神经网络 进行约束,由此训练得到的神经网络能够学习到更准确地区分不同属性类别的能力。 在一种可能的实现方式中,所述第一子损失函数的值是根据第一距离与第二距离 之间的差值确定的,其中,所述第一距离为所述第一图像样本的第一属性的特征与所述第 二图像样本的第一属性的特征之间的距离,所述第二距离为所述第一图像样本的第一属性 的特征与所述第三图像样本的第一属性的特征之间的距离。 根据第一距离与第二距离之间的差值,确定第一子损失函数的值,由此利用相对 距离来对所述神经网络进行约束,能够使训练得到的神经网络所提取的相同属性类别、不 同身份信息的特征之间的距离小于不同属性类别、不同身份信息的特征之间的距离,由此 训练得到的神经网络能够学习到区分不同属性类别的能力。 在一种可能的实现方式中,所述第一子损失函数的值是根据所述第一距离与所述 第二距离之间的差值,以及预设的第一参数确定的。 通过根据第一距离与第二距离之间的差值以及第一参数确定第一子损失函数的 值,由此训练得到的神经网络能够学习到更准确地区分不同属性类别的能力。 在一种可能的实现方式中,所述多个图像样本包括第一图像样本、第四图像样本 和第五图像样本,所述第一损失函数包括第二子损失函数,所述第二子损失函数的值是根 据所述第一图像样本的第一属性的特征、所述第四图像样本的第一属性的特征和所述第五 图像样本的第一属性的特征确定的,其中,所述第一图像样本为所述多个图像样本中的任 一图像样本,所述第一属性为任一属性,所述第四图像样本与所述第一图像样本具有所述 第一属性下相同的属性类别标签,且所述第四图像样本与所述第一图像样本中目标对象的 身份信息相同,所述第五图像样本与所述第一图像样本具有所述第一属性下相同的属性类 别标签,且所述第五图像样本与所述第一图像样本中目标对象的身份信息不同。 6 CN 111582383 A 说 明 书 3/21 页 在该实现方式中,根据第一图像样本的第一属性的特征、第四图像样本的第一属 性的特征和第五图像样本的第一属性的特征,可以组成类内三元组。根据第一图像样本的 第一属性的特征、第四图像样本的第一属性的特征和第五图像样本的第一属性的特征确定 第二子损失函数的值,并利用第二子损失函数对神经网络进行约束,由此训练得到的神经 网络能够学习到区分相同属性类别的不同身份信息的目标对象的能力。在该实现方式中, 在同一属性下属于同一个属性类别的多个图像样本中,进一步根据目标对象的身份信息对 图像样本进行划分,由此即使在粗粒度的标签体系下,也可以构建细粒度的特征空间,从而 可以不受限于标签定义的歧义性,而学到合适的特征。 在一种可能的实现方式中, 所述第四图像样本为与所述第一图像样本具有所述第一属性下相同的属性类别 标签、且目标对象的身份信息与所述第一图像样本相同的图像样本中,所述第一属性的特 征与所述第一图像样本距离最远的图像样本; 和/或, 所述第五图像样本为与所述第一图像样本具有所述第一属性下相同的属性类别 标签、且目标对象的身份信息与所述第一图像样本不同的图像样本中,所述第一属性的特 征与所述第一图像样本距离最近的图像样本。 通过根据第一图像样本的第一属性的特征,与所述第一图像样本属于所述第一属 性下的相同属性类别、且目标对象的身份信息与所述第一图像样本相同的图像样本中、所 述第一属性的特征与所述第一图像样本距离最远的图像样本的第一属性的特征,与所述第 一图像样本属于所述第一属性下的相同属性类别、且目标对象的身份信息与所述第一图像 样本不同的图像样本中、所述第一属性的特征与所述第一图像样本距离最近的图像样本的 第一属性的特征,确定第二子损失函数的值,并利用第二子损失函数对所述神经网络进行 约束,由此训练得到的神经网络能够学习到更准确地区分相同属性类别的不同身份信息的 目标对象的能力。 在一种可能的实现方式中,所述第二子损失函数的值是根据第三距离与第四距离 之间的差值确定的,其中,所述第三距离为所述第一图像样本的第一属性的特征与所述第 四图像样本的第一属性的特征之间的距离,所述第四距离为所述第一图像样本的第一属性 的特征与所述第五图像样本的第一属性的特征之间的距离。 根据第三距离与第四距离之间的差值,确定第二子损失函数的值,由此利用相对 距离来对所述神经网络进行约束,能够使训练得到的神经网络所提取的相同属性类别、相 同身份信息的特征之间的距离小于相同属性类别、不同身份信息的特征之间的距离,由此 训练得到的神经网络能够学习到区分相同属性类别的不同身份信息的目标对象的能力。 在一种可能的实现方式中,所述第二子损失函数的值是根据所述第三距离与所述 第四距离之间的差值,以及预设的第二参数确定的。 通过根据第三距离与第四距离之间的差值,以及第二参数确定第二子损失函数的 值,由此训练得到的神经网络能够学习到更准确地区分相同属性类别的不同身份信息的目 标对象的能力。 在一种可能的实现方式中,所述第一损失函数包括正则项,所述正则项的值是根 据预设的第三参数与第二距离之间的差值确定的,其中,所述第二距离为第一图像样本的 7 CN 111582383 A 说 明 书 4/21 页 第一属性的特征与第三图像样本的第一属性的特征之间的距离,所述第一图像样本为所述 多个图像样本中的任一图像样本,所述第一属性为任一属性,所述第三图像样本与所述第 一图像样本具有所述第一属性下不同的属性类别标签,且所述第三图像样本与所述第一图 像样本中目标对象的身份信息不同。 在该实现方式中,根据第三参数与第二距离之间的差值,确定第一损失函数中的 正则项的值,由此利用绝对距离来对所述神经网络进行约束,使神经网络提取的不同属性 类别的特征之间的距离大于第三参数,从而使训练得到的神经网络所提取的相同属性类别 的特征之间的距离小于不同属性类别的特征之间的距离。 在一种可能的实现方式中,所述损失函数还包括第二损失函数,所述第二损失函 数的值是根据图像样本的属性类别标签以及所述神经网络得到的所述图像样本的属性类 别预测结果确定的。 在该实现方式中,通过结合第一损失函数和第二损失函数训练神经网络,由此能 够提高所述神经网络进行属性识别的准确性。 在一种可能的实现方式中,在所述神经网络训练过程的任意一次迭代中,所述神 经网络是根据加权后的所述第一损失函数的值以及所述第二损失函数的值训练的,其中, 所述第一损失函数的权重根据当前的迭代次数确定,所述第一损失函数的权重随着所述当 前的迭代次数的增加而增大。 在该实现方式中,根据训练阶段的不同,逐渐增大第一损失函数的权重,通过第一 损失函数的权重的动态增大,使特征空间逐渐转向多层次的状态,以使所述神经网络逐渐 学习到区分相同属性类别下的不同身份信息的目标对象的能力,从而进一步提高所述神经 网络进行属性识别的准确性。 在一种可能的实现方式中,所述神经网络包括骨干网络,以及与所述骨干网络连 接、用于识别指定属性的属性类别的至少一个分支网络。 在该实现方式中,通过骨干网络提取所有属性的共同特征,由此能够简化神经网 络的结构,减少神经网络的参数量;通过分支网络与属性一一对应,由此能够使分支网络针 对指定属性进行学习,从而能够使分支网络提取的指定属性的特征更准确,进而能够提高 神经网络的属性识别的准确性。 根据本公开的一方面,提供了一种属性识别装置,包括: 获取模块,用于获取待识别图像; 识别模块,用于将所述待识别图像输入神经网络,经由所述神经网络确定所述待 识别图像中的目标对象的属性类别预测结果,其中,所述神经网络是预先根据损失函数训 练得到的,所述损失函数包括第一损失函数,所述第一损失函数的值是根据多个图像样本 的属性的特征确定的,所述多个图像样本根据属性类别标签和图像样本中目标对象的身份 信息来选取。 在一种可能的实现方式中,所述多个图像样本包括第一图像样本、第二图像样本 和第三图像样本,所述第一损失函数包括第一子损失函数,所述第一子损失函数的值是根 据所述第一图像样本的第一属性的特征、所述第二图像样本的第一属性的特征和所述第三 图像样本的第一属性的特征确定的,其中,所述第一图像样本为所述多个图像样本中的任 一图像样本,所述第一属性为任一属性,所述第二图像样本与所述第一图像样本具有所述 8 CN 111582383 A 说 明 书 5/21 页 第一属性下相同的属性类别标签,且所述第二图像样本与所述第一图像样本中目标对象的 身份信息不同,所述第三图像样本与所述第一图像样本具有所述第一属性下不同的属性类 别标签,且所述第三图像样本与所述第一图像样本中目标对象的身份信息不同。 在一种可能的实现方式中, 所述第二图像样本为与所述第一图像样本具有所述第一属性下相同的属性类别 标签、且目标对象的身份信息与所述第一图像样本不同的图像样本中,所述第一属性的特 征与所述第一图像样本距离最远的图像样本; 和/或, 所述第三图像样本为与所述第一图像样本具有所述第一属性下不同的属性类别 标签、且目标对象的身份信息与所述第一图像样本不同的图像样本中,所述第一属性的特 征与所述第一图像样本距离最近的图像样本。 在一种可能的实现方式中,所述第一子损失函数的值是根据第一距离与第二距离 之间的差值确定的,其中,所述第一距离为所述第一图像样本的第一属性的特征与所述第 二图像样本的第一属性的特征之间的距离,所述第二距离为所述第一图像样本的第一属性 的特征与所述第三图像样本的第一属性的特征之间的距离。 在一种可能的实现方式中,所述第一子损失函数的值是根据所述第一距离与所述 第二距离之间的差值,以及预设的第一参数确定的。 在一种可能的实现方式中,所述多个图像样本包括第一图像样本、第四图像样本 和第五图像样本,所述第一损失函数包括第二子损失函数,所述第二子损失函数的值是根 据所述第一图像样本的第一属性的特征、所述第四图像样本的第一属性的特征和所述第五 图像样本的第一属性的特征确定的,其中,所述第一图像样本为所述多个图像样本中的任 一图像样本,所述第一属性为任一属性,所述第四图像样本与所述第一图像样本具有所述 第一属性下相同的属性类别标签,且所述第四图像样本与所述第一图像样本中目标对象的 身份信息相同,所述第五图像样本与所述第一图像样本具有所述第一属性下相同的属性类 别标签,且所述第五图像样本与所述第一图像样本中目标对象的身份信息不同。 在一种可能的实现方式中, 所述第四图像样本为与所述第一图像样本具有所述第一属性下相同的属性类别 标签、且目标对象的身份信息与所述第一图像样本相同的图像样本中,所述第一属性的特 征与所述第一图像样本距离最远的图像样本; 和/或, 所述第五图像样本为与所述第一图像样本具有所述第一属性下相同的属性类别 标签、且目标对象的身份信息与所述第一图像样本不同的图像样本中,所述第一属性的特 征与所述第一图像样本距离最近的图像样本。 在一种可能的实现方式中,所述第二子损失函数的值是根据第三距离与第四距离 之间的差值确定的,其中,所述第三距离为所述第一图像样本的第一属性的特征与所述第 四图像样本的第一属性的特征之间的距离,所述第四距离为所述第一图像样本的第一属性 的特征与所述第五图像样本的第一属性的特征之间的距离。 在一种可能的实现方式中,所述第二子损失函数的值是根据所述第三距离与所述 第四距离之间的差值,以及预设的第二参数确定的。 9 CN 111582383 A 说 明 书 6/21 页 在一种可能的实现方式中,所述第一损失函数包括正则项,所述正则项的值是根 据预设的第三参数与第二距离之间的差值确定的,其中,所述第二距离为第一图像样本的 第一属性的特征与第三图像样本的第一属性的特征之间的距离,所述第一图像样本为所述 多个图像样本中的任一图像样本,所述第一属性为任一属性,所述第三图像样本与所述第 一图像样本具有所述第一属性下不同的属性类别标签,且所述第三图像样本与所述第一图 像样本中目标对象的身份信息不同。 在一种可能的实现方式中,所述损失函数还包括第二损失函数,所述第二损失函 数的值是根据图像样本的属性类别标签以及所述神经网络得到的所述图像样本的属性类 别预测结果确定的。 在一种可能的实现方式中,在所述神经网络训练过程的任意一次迭代中,所述神 经网络是根据加权后的所述第一损失函数的值以及所述第二损失函数的值训练的,其中, 所述第一损失函数的权重根据当前的迭代次数确定,所述第一损失函数的权重随着所述当 前的迭代次数的增加而增大。 在一种可能的实现方式中,所述神经网络包括骨干网络,以及与所述骨干网络连 接、用于识别指定属性的属性类别的至少一个分支网络。 根据本公开的一方面,提供了一种电子设备,包括:一个或多个处理器;用于存储 可执行指令的存储器;其中,所述一个或多个处理器被配置为调用所述存储器存储的可执 行指令,以执行上述方法。 根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序 指令,所述计算机程序指令被处理器执行时实现上述方法。 在本公开实施例中,用于训练所述神经网络的第一损失函数的值,是根据属性类 别和目标对象的身份信息选取的多个图像样本的属性的特征来确定的,由此在所述神经网 络的训练中,利用属性信息和身份信息来构造多层次(属性层次和身份层次)的特征,将属 性信息和身份信息统一到特征空间,而非将属性和身份这两种不同的信息简单地糅合在一 起,从而能够使构造的特征空间更合理。本公开实施例训练得到的神经网络所提取的待识 别图像的特征,能够体现待识别图像中多层次(属性层次和身份层次)的信息,从而能够提 高属性识别的准确性。 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非 限制本公开。 根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得 清楚。 附图说明 此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公 开的实施例,并与说明书一起用于说明本公开的技术方案。 图1示出本公开实施例提供的属性识别方法的流程图。 图2示出本公开实施例中对不同图像样本进行划分的示意图。 图3示出了本公开实施例中的五元组的示意图。 图4示出本公开实施例中的神经网络的示意图。 10 CN 111582383 A 说 明 书 7/21 页 图5示出本公开实施例提供的属性识别装置的框图。 图6示出本公开实施例提供的一种电子设备800的框图。 图7示出本公开实施例提供的一种电子设备1900的框图。
下载此资料需消耗2积分,
分享到:
收藏