技术摘要：
本申请公开了一种多目标跟踪方法、特征提取模型的训练方法和装置，涉及计算机视觉领域，可用于自动驾驶。方案为：获取多个训练图像对，训练图像对包括第一目标和第二目标，将该训练图像对调整到预设尺寸后输入到特征提取模型进行训练，得到该训练图像对中的每个目标的  全部
背景技术：
多目标跟踪是在连续的图像帧中对特定目标进行跟踪的技术，可以应用于智能监 控领域，实现对特定车辆的跟踪，还可以应用于医学图像处理等领域，辅助追踪病灶。 多目标跟踪过程中的一个关键环节是多目标的数据关联，即将相邻帧间的目标的 数据进行关联，数据关联采用的关联特征是否有效、鲁棒性好坏等直接影响跟踪结果的准 确性。现有技术中，可以使用检测模型卷积神经网络中间层的输出作为图像特征表达，即从 检测模型卷积神经网络中抽取中间层的输出作为图像特征，进而根据图像特征计算不同目 标之间的相似度，根据不同目标之间的相似度完成目标关联。 但是，上述的图像特征强依赖于检测模型，一旦检测模型有所改动，可能会造成图 像特征不可用。
技术实现要素：
本申请提供了一种多目标跟踪方法、特征提取模型的训练方法和装置，可以应用 在自动驾驶车辆上或者智能交通的路侧设备上。 根据第一方面，提供了一种特征提取模型的训练方法，包括： 获取多个训练图像对，所述训练图像对包括第一目标和第二目标，所述第一目标 和所述第二目标是根据同一相机连续拍摄得到图像中获取的，和/或，所述第一目标和所述 第二目标是根据视野上有重叠的两个不同相机在同一时刻拍摄得到的图像获取的； 将所述训练图像对调整到预设尺寸； 将所述训练图像对输入到特征提取模型进行训练，得到所述训练图像对中的每个 目标的特征以及所述训练图像对中的两个目标的相似度，所述特征提取模型为孪生神经网 络模型，所述特征提取模型包括两个子网，每个子网用于对所述训练图像对中的一个目标 进行特征提取； 根据所述多个训练图像对的中的两个目标的相似度以及所述多个训练图像对的 目标标注结果，计算每个训练图像对的损失值； 根据所述多个训练图像对的损失值，对所述特征提取模型的参数进行调整。 根据第二方面，提供了一种多目标跟踪方法，包括： 使用检测框从第一图像中截取第一目标，使用检测框从第二图像中截取第二目 标，得到待识别图像对，所述待识别图像对包括所述第一目标和所述第二目标； 当所述第一图像和所述第二图像由同一相机拍摄得到的情况下，将所述待识别图 像对调整到预设尺寸； 当所述第一图像和所述第二图像由不同相机拍摄得到的情况下，对所述待识别图 7 CN 111612820 A 说　明　书 2/16 页 像对进行单应变换处理或者截取处理，将处理后的所述待识别图像对调整到预设尺寸； 将预设尺寸的所述待识别图像对输入到第一方面训练得到的特征提取模型，得到 所述第一目标的特征和所述第二目标的特征； 计算所述第一目标的特征和所述第二目标的特征的相似度； 根据所述相似度确定所述第一目标和所述第二目标的跟踪数据。 根据第二方面，提供了一种特征提取模型的训练装置，包括： 获取模块，用于获取多个训练图像对，所述训练图像对包括第一目标和第二目标， 所述第一目标和所述第二目标是根据同一相机连续拍摄得到图像中获取的，和/或，所述第 一目标和所述第二目标是根据视野上有重叠的两个不同相机在同一时刻拍摄得到的图像 获取的； 尺寸调整模块，用于将所述训练图像对调整到预设尺寸； 训练模块，用于将所述训练图像对输入到特征提取模型进行训练，得到所述训练 图像对中的每个目标的特征以及所述训练图像对中的两个目标的相似度，所述特征提取模 型为孪生神经网络模型，所述特征提取模型包括两个子网，每个子网用于对所述训练图像 对中的一个目标进行特征提取； 计算模块，用于根据所述多个训练图像对的中的两个目标的相似度以及所述多个 训练图像对的目标标注结果，计算每个训练图像对的损失值； 参数调整模块，用于根据所述多个训练图像对的损失值，对所述特征提取模型的 参数进行调整。 根据第四方面，提供了一种多目标跟踪装置，包括： 截取模块，用于使用检测框从第一图像中截取第一目标，使用检测框从第二图像 中截取第二目标，得到待识别图像对，所述待识别图像对包括所述第一目标和所述第二目 标； 调整模块，用于当所述第一图像和所述第二图像由同一相机拍摄得到的情况下， 将所述待识别图像对调整到预设尺寸； 处理模块，用于当所述第一图像和所述第二图像由不同相机拍摄得到的情况下， 对所述待识别图像对进行单应变换处理或者截取处理，所述调整模块还用于将处理后的所 述待识别图像对调整到预设尺寸； 特征提取模块，用于将预设尺寸的所述待识别图像对输入到第三方面训练得到的 特征提取模型，得到所述第一目标的特征和所述第二目标的特征； 计算模块，用于计算所述第一目标的特征和所述第二目标的特征的相似度； 跟踪模块，用于根据所述相似度确定所述第一目标和所述第二目标的跟踪数据。 根据第五方面，提供了一种电子设备，包括： 至少一个处理器；以及 与所述至少一个处理器通信连接的存储器；其中， 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一 个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。 根据第六方面，提供了一种电子设备，包括： 至少一个处理器；以及 8 CN 111612820 A 说　明　书 3/16 页 与所述至少一个处理器通信连接的存储器；其中， 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一 个处理器执行，以使所述至少一个处理器能够执行第二方面所述的方法。 根据第七方面，提供了一种一种存储有计算机指令的非瞬时计算机可读存储介 质，所述计算机指令用于使所述计算机执行第一方面所述的方法。 根据第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所 述计算机指令用于使所述计算机执行第二方面所述的方法。 根据本申请的方案，训练得到的特征提取模型能够直接提取图像中的目标的特 征，不再依赖于检测模型，且提取得到的图像特征更加准确，可以应用于后续的多目标跟踪 过程中，提高了目标跟踪的准确性。 应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特 征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。 附图说明 附图用于更好地理解本方案，不构成对本申请的限定。其中： 图1为孪生神经网络模型的一种示意图； 图2为本申请实施例一提供的一种特征提取模型的训练方法的流程图； 图3为图像中目标截取的示意图； 图4为现有技术的分类效果以及本申请的分类效果的对比示意图； 图5为本申请实施例二提供的多目标跟踪方法的流程示意图； 图6为多目标跟踪方法的另一种示意图； 图7为多相机的多目标识别场景下图像存在截断示意图； 图8为本申请实施例三提供的特征提取模型的训练方法的流程图； 图9为本申请实施例四提供的多目标跟踪方法的流程图； 图10为本申请实施例五提供的特征提取模型的训练方法的流程图； 图11为本申请实施例六提供的多目标跟踪方法的流程图； 图12为本申请实施例七提供的特征提取模型的训练装置的结构示意图； 图13为本申请实施例八提供的多目标跟踪装置的结构示意图； 图14是用来实现本申请实施例的特征提取模型的训练方法的电子设备的框图。