
技术摘要:
本公开实施例提供一种多路图像处理方法、装置及电子设备,属于图像处理技术领域,其中方法包括:获取预设区域内的多路摄像头在同一时刻采集的初始单帧图像;将全部初始单帧图像拼接成一帧第一整体图像;对第一整体图像进行行人检测,以获得第一整体图像中的至少一个目 全部
背景技术:
现有技术中,为了有效识别在特定时间段内进入指定区域的人员信息,在该指定 区域安装“无感考勤设备”。所说的无感考勤设备是指通过摄像头获取普通图像信息,依据 对图像数据做神经网络计算得到画面中所有人员的关键部位坐标信息,然后根据前后帧图 像中的关键部位信息画面中人员的跟踪信息,在跟踪过程中实时分析人脸质量信息,筛选 符合要求的人脸图像用于提取人脸特征信息。根据进入指定区域人员的人脸特征,就可以 有效识别途径该区域的人员信息。 针对发现同一画面中出现多张人脸的情况,通过常规的逐个评估人脸质量,再对 有效人脸做特征提取的方法会严重制约整个系统性能,甚至导致有效人员信息的遗漏;在 实际使用中,单个摄像头图像传输给人脸识别系统处理时出现计算资源的富裕,逐个分析 方案造成计算资源的浪费和耗时严重的技术问题。 可见,现有多路人脸识别方案存在计算资源浪费、耗时严重的技术问题。
技术实现要素:
有鉴于此,本公开实施例提供一种多路图像处理方法、装置及电子设备,至少部分 解决现有技术中存在的问题。 第一方面,本公开实施例提供了一种多路图像处理方法,包括: 获取预设区域内的多路摄像头在同一时刻采集的初始单帧图像; 将全部所述初始单帧图像拼接成一帧第一整体图像; 对所述第一整体图像进行行人检测,以获得所述第一整体图像中的至少一个目标 对象的行人信息,其中,所述行人信息至少包括所述目标对象的人体区域和人头区域在所 述第一整体图像中的位置坐标信息; 根据所述目标对象的人体区域和人头区域在所述第一整体图像中的位置坐标信 息,确定所述目标对象对应的目标单帧图像,其中,所述目标单帧图像为全部初始单帧图像 中的任一个; 将所述目标对象及其行人信息映射回对应的目标单帧图像,以根据所述目标单帧 图像及其连续帧图像对所述目标对象进行跟踪处理。 根据本公开实施例的一种具体实现方式,所述将全部所述初始单帧图像拼接成一 帧第一整体图像的步骤,包括: 确定全部所述初始单帧图像的当前数量和每个所述初始单帧图像的原始尺寸; 根据预设拼接规则,以及全部所述初始单帧图像的当前数量和原始尺寸,确定拼 接方案; 5 CN 111597953 A 说 明 书 2/15 页 根据所确定的拼接方案,将全部所述初始单帧图像拼接成所述第一整体图像。 根据本公开实施例的一种具体实现方式,全部所述初始单帧图像的原始尺寸之间 的差值均在预设范围内; 所述根据预设拼接规则,以及全部所述初始单帧图像的当前数量和原始尺寸,确 定拼接方案的步骤,包括: 判断全部所述初始单帧图像的当前数量是否为完全平方数; 若所述初始单帧图像的当前数量为完全平方数,则确定拼接方案为,将所述当前 数量的平方根作为行列数,将全部初始单帧图像均匀拼接成方阵; 若所述初始单帧图像的当前数量不为完全平方数,则确定拼接方案为,当前数量 匹配最小填充数以构成目标完全平方数,并将所述目标完全平方数的平方根作为行列数, 将全部初始单帧图像均匀拼接成方阵。 根据本公开实施例的一种具体实现方式,所述根据所述目标对象在所述第一整体 图像中的位置坐标信息,确定所述目标对象对应的目标单帧图像的步骤之前,所述方法还 包括: 生成每个所述初始单帧图像与所述第一整体图像中对应的像素区域的拼接映射 关系; 所述根据所述目标对象在所述第一整体图像中的位置坐标信息,确定所述目标对 象对应的目标单帧图像的步骤,包括: 根据所述目标对象在所述第一整体图像中的位置坐标信息,确定目标像素区域; 根据所述拼接映射关系,确定所述目标像素区域对应的初始单帧图像; 将所述目标像素区域对应的初始单帧图像作为所述目标对象对应的目标单帧图 像。 根据本公开实施例的一种具体实现方式,所述将所述目标对象及其行人信息映射 回对应的目标单帧图像,以根据所述目标单帧图像及其连续帧图像对所述目标对象进行跟 踪处理的步骤,包括: 根据所述目标对象及其行人信息,在目标摄像头所采集的连续多帧图像中确定关 联帧图像,其中,所述目标摄像头为采集所述目标单帧图像的摄像头,关联帧图像为包含所 述目标对象对应像素特征的图像; 获得目标对象在每个关联帧图像中的人脸质量得分; 根据所述目标对象在全部关联帧图像中的人脸质量得分,对预设存储空间内所述 目标对象的人脸图像进行存储或者迭代更新。 根据本公开实施例的一种具体实现方式,所述获得目标对象在每个关联帧图像中 的人脸质量得分的步骤,包括: 确定所述关联帧图像包含的全部目标对象; 将全部所述目标对象的人脸像素区域拼接成第二整体图片; 将所述第二整体图像输入人脸质量识别模型,获得每个所述目标对象在所述关联 帧图像中的人脸质量得分。 根据本公开实施例的一种具体实现方式,所述将全部所述初始单帧图像拼接成一 帧第一整体图像的步骤,包括: 6 CN 111597953 A 说 明 书 3/15 页 将全部所述初始单帧图像缩放处理,以缩放处理后的初始单帧图像拼接成所述第 一整体图像; 所述将全部所述目标对象的人脸像素区域拼接成第二整体图片的步骤,包括: 筛选出人脸像素区域的尺寸满足预设范围的候选目标对象; 将全部候选目标对象对应的人脸像素区域做缩放调整和填充调整,以使得全部所 述候选目标对象对应的人脸像素区域的尺寸相同; 将尺寸相同的候选目标对象的人脸像素区域拼接成所述第二整体图像。 根据本公开实施例的一种具体实现方式,所述根据所述目标对象在全部关联帧图 像中的人脸质量得分,对预设存储空间内所述目标对象的人脸图像进行存储或者迭代更新 的步骤,包括: 判断预设存储空间内是否已经存储有所述目标对象的参考人脸图像; 若所述预设存储空间内未存储有所述目标对象的参考人脸图像,则将所述关联帧 图像作为所述目标对象的参考人脸图像存储到所述预设存储空间内; 若所述预设存储空间内已经存储有所述目标对象的参考人脸图像,则判断所述目 标对象的参考人脸图像的人脸质量得分是否小于所述关联帧图像中的人脸质量得分; 若所述目标对象的参考人脸图像的人脸质量得分小于所述关联帧图像中的人脸 质量得分,则将所述关联帧图像中所述目标对象的人脸图像作为所述目标对象的新的参考 人脸图像存储到所述预设存储空间内。 第二方面,本公开实施例提供了一种多路图像处理装置,包括: 获取模块,用于获取预设区域内的多路摄像头在同一时刻采集的初始单帧图像; 拼接模块,用于将全部所述初始单帧图像拼接成一帧第一整体图像; 检测模块,用于对所述第一整体图像进行行人检测,以获得所述第一整体图像中 的至少一个目标对象的行人信息,其中,所述行人信息至少包括所述目标对象的人体区域 和人头区域在所述第一整体图像中的位置坐标信息; 确定模块,用于根据所述目标对象的人体区域和人头区域在所述第一整体图像中 的位置坐标信息,确定所述目标对象对应的目标单帧图像,其中,所述目标单帧图像为全部 初始单帧图像中的任一个; 映射模块,用于将所述目标对象及其行人信息映射回对应的目标单帧图像,以根 据所述目标单帧图像及其连续帧图像对所述目标对象进行跟踪处理。 根据本公开实施例的一种具体实现方式,所述拼接模块用于: 确定全部所述初始单帧图像的当前数量和每个所述初始单帧图像的原始尺寸; 根据预设拼接规则,以及全部所述初始单帧图像的当前数量和原始尺寸,确定拼 接方案; 根据所确定的拼接方案,将全部所述初始单帧图像拼接成所述第一整体图像。 根据本公开实施例的一种具体实现方式,全部所述初始单帧图像的原始尺寸之间 的差值均在预设范围内; 所述拼接模块用于: 判断全部所述初始单帧图像的当前数量是否为完全平方数; 若所述初始单帧图像的当前数量为完全平方数,则确定拼接方案为,将所述当前 7 CN 111597953 A 说 明 书 4/15 页 数量的平方根作为行列数,将全部初始单帧图像均匀拼接成方阵; 若所述初始单帧图像的当前数量不为完全平方数,则确定拼接方案为,当前数量 匹配最小填充数以构成目标完全平方数,并将所述目标完全平方数的平方根作为行列数, 将全部初始单帧图像均匀拼接成方阵。 根据本公开实施例的一种具体实现方式,所述根据所述目标对象在所述第一整体 图像中的位置坐标信息,确定所述目标对象对应的目标单帧图像的步骤之前,所述方法还 包括: 生成每个所述初始单帧图像与所述第一整体图像中对应的像素区域的拼接映射 关系; 所述确定模块用于,包括: 根据所述目标对象在所述第一整体图像中的位置坐标信息,确定目标像素区域; 根据所述拼接映射关系,确定所述目标像素区域对应的初始单帧图像; 将所述目标像素区域对应的初始单帧图像作为所述目标对象对应的目标单帧图 像。 根据本公开实施例的一种具体实现方式,所述确定模块还用于: 根据所述目标对象及其行人信息,在目标摄像头所采集的连续多帧图像中确定关 联帧图像,其中,所述目标摄像头为采集所述目标单帧图像的摄像头,关联帧图像为包含所 述目标对象对应像素特征的图像; 所述装置还包括: 质量分析模块,用于获得目标对象在每个关联帧图像中的人脸质量得分; 迭代更新模块,用于根据所述目标对象在全部关联帧图像中的人脸质量得分,对 预设存储空间内所述目标对象的人脸图像进行存储或者迭代更新。 根据本公开实施例的一种具体实现方式,所述质量分析模块用于: 确定所述关联帧图像包含的全部目标对象; 将全部所述目标对象的人脸像素区域拼接成第二整体图片; 将所述第二整体图像输入人脸质量识别模型,获得每个所述目标对象在所述关联 帧图像中的人脸质量得分。 根据本公开实施例的一种具体实现方式,所述拼接模块用于: 将全部所述初始单帧图像缩放处理,以缩放处理后的初始单帧图像拼接成所述第 一整体图像; 筛选出人脸像素区域的尺寸满足预设范围的候选目标对象; 将全部候选目标对象对应的人脸像素区域做缩放调整和填充调整,以使得全部所 述候选目标对象对应的人脸像素区域的尺寸相同; 将尺寸相同的候选目标对象的人脸像素区域拼接成所述第二整体图像。 根据本公开实施例的一种具体实现方式,所述迭代更新模块用于: 判断预设存储空间内是否已经存储有所述目标对象的参考人脸图像; 若所述预设存储空间内未存储有所述目标对象的参考人脸图像,则将所述关联帧 图像作为所述目标对象的参考人脸图像存储到所述预设存储空间内; 若所述预设存储空间内已经存储有所述目标对象的参考人脸图像,则判断所述目 8 CN 111597953 A 说 明 书 5/15 页 标对象的参考人脸图像的人脸质量得分是否小于所述关联帧图像中的人脸质量得分; 若所述目标对象的参考人脸图像的人脸质量得分小于所述关联帧图像中的人脸 质量得分,则将所述关联帧图像中所述目标对象的人脸图像作为所述目标对象的新的参考 人脸图像存储到所述预设存储空间内。 第三方面,本公开实施例还提供了一种电子设备,该电子设备包括: 至少一个处理器;以及, 与该至少一个处理器通信连接的存储器;其中, 该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器 执行,以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的多路 图像处理方法。 第四方面,本公开实施例还提供了一种非暂态计算机可读存储介质,该非暂态计 算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述第一方面或第 一方面的任一实现方式中的多路图像处理方法。 第五方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括 存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序 指令被计算机执行时,使该计算机执行前述第一方面或第一方面的任一实现方式中的多路 图像处理方法。 本公开实施例中的多路图像处理方法及装置,包括:获取预设区域内的多路摄像 头在同一时刻采集的初始单帧图像;将全部所述初始单帧图像拼接成一帧第一整体图像; 对所述第一整体图像进行行人检测,以获得所述第一整体图像中的至少一个目标对象的行 人信息,其中,所述行人信息至少包括所述目标对象的人体区域和人头区域在所述第一整 体图像中的位置坐标信息;根据所述所述目标对象的人体区域和人头区域在所述第一整体 图像中的位置坐标信息,确定所述目标对象对应的目标单帧图像,其中,所述目标单帧图像 为全部初始单帧图像中的任一个;将所述目标对象及其行人信息映射回对应的目标单帧图 像,以根据所述目标单帧图像及其连续帧图像对所述目标对象进行跟踪处理。通过本公开 的方案,将多路摄像头采集的多个初始单帧图像拼接成一帧第一整体图像,可以同时完成 针对多个初始单帧图像中的目标对象进行识别和信息提取,这映射回原图像。这样,充分利 用了计算资源,避免了资源浪费,提高了计算效率和识别准确性,减少人脸识别耗时。 附图说明 为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附 图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域 普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。 图1为本公开实施例提供的一种多路图像处理方法的流程示意图; 图2a至图2c为本公开实施例提供的多路图像处理方法所涉及的第一整体图像的 示意图; 图3为本公开实施例提供的另一种多路图像处理方法的部分流程示意图; 图4a和图4b为本公开实施例提供的多路图像处理方法所涉及的第二整体图像的 示意图; 9 CN 111597953 A 说 明 书 6/15 页 图5为本公开实施例提供的一种多路图像处理装置的结构示意图; 图6为本公开实施例提供的电子设备的示意图。