技术摘要:
本发明公开了一种基于多尺度行人轮廓分割融合的行人重识别方法。本发明首先进行数据预处理;其次提取图像的全局特征和行人的轮廓特征,并将这两个特征进行融合;然后采用标签平滑损失函数对行人重识别网络进行训练,使得网络参数最优;最后针对行人重识别数据集中包含 全部
背景技术:
行人重识别也称行人再识别(Re-ID),其实就是利用计算机视觉技术判断图像或 者视频序列中是否存在特定行人的技术,具体是是指从不同摄像机捕获的行人图像中识别 这个行人的身份。给定包含目标行人(查询)的图像,ReID系统尝试从大量行人图像(图库) 中搜索包括相同行人的图像,广泛被认为是一个图像检索的子问题;给定一个监控下的行 人图像,检索跨设备下的该行人图像。旨在弥补目前固定的摄像头的视觉局限,并可与行人 检测/行人跟踪技术相结合,可广泛应用于视频监控、安防等领域。ReID因其广泛的应用潜 力,例如视频监控和交叉相机跟踪而受到学术界和工业界的极大关注。 ReID这两年发展得很快,但是比起人脸技术而言,落地的应用非常少。其实并不是 ReID的模型不够好,不是数据集上准确度不够高,而是与人脸任务相比较,ReID的场景更加 复杂,而且有一些本质的问题没有解决。由于大量不受控制的变化源,例如姿势和视点的显 着变化,照明的复杂变化以及较差的图像质量,ReID仍然是一项非常具有挑战性的任务。 最简单最迫切的遮挡问题和不可见光以及行人服装等更换的问题可以使得几乎 使得现有所有的ReID模型变得效果极差,可以说是失效。
技术实现要素:
针对上述问题以及当前技术的不足,主要是针对行人重识别技术对于换衣行人识 别(换衣行人指行人更换衣服后的识别)的不足,提供一种多尺度行人轮廓分割融合的行人 重识别方法。 本发明解决技术问题所采取的技术方案为: 步骤(1)、数据预处理 获取足够数量的样本图像,并对样本图像进行归一化处理,得到数据集。 步骤(2)、提取图像的全局特征和行人的轮廓特征 将数据集输入至行人全局特征提取网络,得到图像的全局特征; 将数据集输入至多尺度行人轮廓分割网络,得到行人的轮廓特征; 所述的多尺度行人轮廓分割网络采用ImageNet上预训练得到的ResNet作为它的 主要特征提取网络,并且在此网络基础上,为多尺度的特征学习添加了一个新残差块,这个 新残差块使用空洞卷积来替代普通的卷积; 所述的新残差块的顶部采用可获取不同行人人体轮廓尺度信息的空洞空间金字 塔池化。 步骤(3)、将全局特征与轮廓特征输入行人重识别网络进行融合。 步骤(4)、采用标签平滑损失函数对行人重识别网络进行训练,使得网络参数最 4 CN 111582126 A 说 明 书 2/4 页 优,具体是: 根据InceptionResNetv2在ImageNet数据库上进行训练得到一个预训练网络,然 后将全局特征和轮廓特征融合产生的特征向量输入到标签平滑损失函数中,并利用反向传 播算法对行人重识别网络的参数进行训练,直至整个网络收敛。 步骤(5)、针对行人重识别数据集中包含的查询集和候选集,计算查询集中指定对 象和候选集中的每一个对象的欧式距离,接着对所计算得到的距离进行升序排序,获得行 人重识别的排序结果。 进一步说,步骤(1)中的预处理具体是:设定输入图像尺寸,如果样本图像大于该 尺寸,则进行随机裁剪得到;如果样本图像小于该尺寸,则进行等比例放大后再裁剪得到。 进一步说,所述的新残差块的空洞卷积通过深度卷积神经网络控制特征的像素, 调节卷积核的视觉域以获取多尺度的信息,每个空洞卷积使用不同的扩张率来捕捉多尺寸 的语境信息。 进一步说,所述的空洞空间金字塔池化使用不同的扩张率的空洞卷积来对任意尺 度的区域进行分类。 进一步说,所述的空洞空间金字塔池化包括两个部分:多尺度空洞卷积和图像级 特征; 所述的多尺度空洞卷积包括,1x1的普通卷积,3x3空洞率为6的空洞卷积,3x3空洞 率为12的空洞卷积,3x3空洞率为18的空洞卷积; 所述的图像级特征,对输入在[1,2]维上求均值,经过的普通卷积,再使用线性差 值转换到输入图像的大小,最后将四个卷积和图片特征连接起来,再经过一个卷积得到网 络的输出。 进一步说,步骤(3)采用按点逐位相加的方式进行全局特征与轮廓特征的融合。 进一步说,步骤(3)中当两个特征具有不同维度时,则通过线性变换转换成同维向 量。 本发明的有益效果: 1、去除了行人背景在ReID过程中的影响,并且通过行人人体轮廓对人物进行辨 识,这才是最接近人类进行行人识别的过程。 2、去除了行人服装上的特征,这针对现有行人重识别技术对于换衣行人识别的不 足比较有效,因为网络不依赖服装上面的服装特征,也学习了行人的人体的轮廓用来识别 行人。基于多尺度行人轮廓分割的行人重识别方法的两个分支即可学习到全局特征,也可 很好的学习到行人的人体轮廓特征,对于行人重识别系统来说,行人服装上无论更换与否, 都能比较好地进行重识别。 附图说明 图1为根据本发明的总体结构图; 图2为根据本发明的多尺度行人轮廓分割网络分支的网络结构图; 图3为根据本发明的双分支的重识别网络的结构图。 5 CN 111582126 A 说 明 书 3/4 页