技术摘要：
基于困难五元组的跨模态行人重识别方法，首先构建跨模态行人重识别模型，使用卷积神经网络提取图像特征，嵌入特征连接身份损失和排序损失，用单模态行人重识别数据集进行预训练；然后对训练批次图像进行选取，使用已有的单模态行人重识别网络进行行人特征提取，根据输  全部
背景技术：
行人重识别(Re-ID)是一种在视野不相交的多源监控摄像头中识别出此前出现过 的行人的技术。行人重识别属于图像检索领域，可以应用在追踪逃犯、寻找丢失儿童的智能 监控系统中。由于行人重识别重要的应用价值，行人重识别成为计算机视觉领域的研究热 点。典型的行人重识别只使用RGB相机，即在RGB相机中识别一个此前在RGB相机中出现过的 人，我们称之为RGB-RGB  Re-ID。 然而，在很多场景中RGB相机和红外相机都会被使用。RGB相机在黑暗环境中不能 拍摄到清晰的图像，通常红外相机替代RGB相机在黑暗环境中拍摄。因此，发展跨RGB模态和 红外模态的行人重识别(RGB-IR  Re-ID)的方法是有必要的。RGB-IR  Re-ID是在RGB相机中 识别一个此前在红外(IR)相机中出现过的人，或者在红外(IR)相机中识别一个此前在RGB 相机中出现过的人的技术。 RGB-IR  Re-ID的挑战主要体现在模态间和模态内的差异。首先，模态间的差异指 行人图像在不同模态间巨大的变化。由于RGB相机和红外相机成像原理的不同，RGB图像拥 有丰富的颜色和纹理信息，而红外图像是缺少颜色和一部分纹理信息的灰度图，因此RGB图 像和红外图像可以视为异质数据。其次，模态内的差异指一个人在相同模态内也有很大的 变化，相机视角、相机分辨率、光照和行人姿势的不同导致了模态内的差异。 面对上述挑战，现有RGB-IR  Re-ID方法的精度都不高。
技术实现要素：
本发明要克服现有技术的上述缺点，提出一种基于困难五元组的跨模态行人重识 别方法，旨在获得一个更具判别性的特征描述子。 本发明解决其技术问题所采用的技术方案是： 一种基于困难五元组的跨模态行人重识别方法，含有以下步骤： 步骤1.构建跨模态行人重识别模型：预训练行人重识别卷积神经网络，重构行人 重识别卷积神经网络； 步骤11：预训练行人重识别卷积神经网络； 训练MGN、BFE、Res-Mid、PCB、MLFN五种卷积神经网络；对于每种卷积神经网络，在 RGB-RGB行人重识别的Market-1501数据集上进行预训练；使用困难三元组损失函数和身份 损失函数来训练网络； 步骤12：重构行人重识别卷积神经网络： 改造现有的单模态行人重识别卷积神经网络，使其在跨模态行人重识别数据集 (SYSU-MM01数据集)上适用，使用在单模态行人重识别数据集上表现优异的卷积神经网络 5 CN 111597876 A 说　明　书 2/7 页 模型作为本发明中的特征提取模块； 典型的单模态行人重识别卷积神经网络中，图像经过CNN模块得到特征图，特征图 转成一维向量后添加一层全连接层(FC-1)，FC-1的输出表示该图像的特征向量；为了使该 特征向量具有表征性，使用排序损失(Ranking  loss)和身份损失(Identity  loss)进行约 束； 步骤2.选取困难五元组集和：选取训练批次图像，提取特征向量，选取困难五元组 集和； 步骤21：选取训练批次图像； 设计一种针对跨模态行人重识别的训练批次选择方案；具体地，每个训练批次 (Batch)中，在训练集中随机选择P个不同身份的行人，每个行人随机选择K张红外图片和K 张RGB图片，一个Batch共计2PK张图片； 步骤22：提取特征向量； 采用卷积神经网络做为特征提取模块，由于卷积神经网络在图像领域强大的特征 提取能力，能够从图像中提取具有表征性的特征向量；2PK张图片经过该模块，得到了2PK个 特征向量； 步骤23：选取困难五元组集和； 对步骤22中得到的2PK个特征向量进行困难采样，得到困难五元组集和 遍历每一张图片，为每一张图片采样一组困难五元组，i∈[1,2PK]；具 体地，将第i张图片作为锚点 在该训练批次中，选取 作为最难全局负样本，即与锚点 身份不同的同模态图像或跨模态图像，并且该图像与锚点的欧式距离最小；选取 作为最 难全局正样本，即与锚点身份相同的同模态图像或跨模态图像，并且该图像与锚点的欧式 距离最大；选取 作为最难跨模态负样本，即与锚点身份不同的跨模态图像，并且该图像 与锚点的欧式距离最小；选取 作为最难跨模态正样本，即与锚点身份相同的跨模态图 像，并且该图像与锚点的欧式距离最大；遍历2PK中的每一张图像，即将每一张图像作为锚 点进行困难五元组采样，将得到2PK个困难五元组 步骤3.训练跨模态行人重识别模型：困难五元组损失训练网络，身份损失训练网 络； 步骤31：困难五元组损失训练网络： 根据步骤23中得到的困难五元组集和 设计一种困 难五元组损失函数(hardpentaplet  loss)，该损失函数由两部分组成：困难全局三元组损 失函数和困难跨模态三元组损失函数； 将两张图片xi和xj的欧式距离记为d(xi ,xj)＝||f(xi)-f(xj)||2，其中f(xi)和f (xj)分别代表图片xi和xj的特征向量； 为了减小行人图像在欧式空间的类内距离，并增大类间距离；设计困难全局三元 组损失函数，记为： 6 CN 111597876 A 说　明　书 3/7 页 其中，[z] ＝max(z,0)， 表示锚点与最难正样本间的欧式距离(欧式 距离最大)， 表示锚点与最难负样本间的欧式距离(欧式距离最小)，α是一个超 参数，保证训练后的锚点与负样本间的距离大于与正样本间的距离，并保持α的冗余度； 在跨模态行人重识别中，模态间的变化往往大于模态内的变化，设计困难跨模态 三元组损失函数，记为： 其中， 表示锚点与最难跨模态正样本间的欧式距离(欧式距离最 大)， 表示锚点与最难跨模态负样本间的欧式距离(欧式距离最小)；当a≥K 时，A＝{1,2,...,K}，否则，A＝{K 1,K 2,...,2K}；其余符号与公式1含义一致；该损失函数 有助于减小模态间的变化； 困难五元组损失函数为困难全局三元组与困难跨模态三元组损失函数之和： Lhp＝Lhgt Lhct    (3) 经过困难五元组损失函数的训练后，锚点与正样本间的距离减小，与负样本间的 距离拉大；此外，该损失函数额外地关注模态间的变化，有助于减小不同模态相同身份行人 在欧式空间中的距离； 步骤32：身份损失训练网络： 使用身份损失(Identity  loss)来减小类内变化；将不同模态内的相同身份的行 人视作为同一类，并用softmax  loss表示： 其中，f为FC-2的输出向量，j∈[1,H]，fj表示FC-2输出向量中第j个元素；yi是输入 图像xi的标签， 指xi在输出向量中的得分。 优选地，步骤11所述的在RGB-RGB行人重识别的Market-1501数据集上进行预训 练，具体包括：在Market-1501数据集上训练180个epoch，batch  size设置为64，学习率设置 为0.0003，困难三元组损失的冗余度参数设置为0.9； 步骤12所述的使用排序损失(Ranking  loss)和身份损失(Identity  loss)进行约 束，具体包括：Ranking  loss采用度量学习的思想，来减少类内距离和类间距离，所述的 Ranking  loss是困难五元组损失(hardpentaplet  loss)；Identity  loss采用交叉熵损失， 将每个身份的行人作为一类，来减小类内距离，FC-2是全连接层，其神经元个数为训练集中 行人身份的个数，根据SYSU-MM01训练集中的行人身份数量，将FC-2的神经元个数设置为 395。 与现有技术相比，本发明技术方案的优点有： 7 CN 111597876 A 说　明　书 4/7 页 (1)本发明提供一种端对端的跨模态行人重识别训练框架，将单一模态行人重识 别迁移至跨模态行人重识别任务中，可扩展性、便利性高； (2)本发明利用困难五元组损失和身份损失训练卷积神经网络，收敛速度快、精度 高。 附图说明 图1是现有行人重识别网络结构示意图。 图2是本发明的HPILN框架示意图。 图3是本发明的困难五元组损失示意图。