logo好方法网

一种异步人脸流量检测方法、系统及设备


技术摘要:
本发明提出的一种异步人脸流量检测方法、系统及设备,将人脸检测跟踪和人脸分析分成两个并行线程,两个线程通过异步队列传递人脸数据,长时间的人脸特征提取和属性提取不会打断人脸的检测和跟踪,从而保证了人脸的检测跟踪连续性,并且人脸跟踪和检测过程中也会筛选出  全部
背景技术:
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着人 脸识别技术的发展,由于其具有数据准确、安全系数高、使用方便等诸多特点,人脸识别技 术被广泛地应用于各行各样当中,比如通过在安装有摄像头的广告屏设备上采集图像数 据,进行人脸分析识别,从而可以统计广告观看人次流量,而普通广告屏使用的是性能相对 比较差的移动端CPU,也就限制了人脸识别的性能,一般情况下很难达到实时,流畅的检测 分析效果。对于针对人脸的流量分析而言,实时、流畅的人脸检测和识别是必不可少的,如 果过于卡顿就会造成漏检或重复检测,造成统计不准确的问题。 目前,基于移动端直接在线实时进行人脸流通统计分析,一般采用的是串行化的 人脸检测和识别方案,但是人脸检测的环节串行化执行,很难跟上摄像头采集的帧率,造成 丢帧统计不准确的问题。 具体来说:一般情况下的人脸检测分析处理整个流程分为,摄像头数据采集、人脸 跟踪、人脸检测、人脸对齐及特征提取、人脸属性提取(年龄、性别……),其中所有人脸的处 理任务串行执行,但是这套流程存在下面两个问题: 一、数量问题:流量分析是个连续的分析过程,依赖前后帧的关联,如果卡顿的话, 就会造成人脸跟踪失败,要么流量计算重复,要么丢失掉了很多流量。由于检测和人脸分析 过程是串行执行,以及检测跟踪速度的不确定性,会极大的降低我们的跟踪成功率,也就无 法准确的计算广告屏的观看流量了。 二、质量问题:为了提高人脸处理速度,一般情况下只针对检测到的人脸的第一帧 的人脸图像,提取人脸特征和属性,但一般人脸在进入摄像头画面时,是移动状态进入,可 能比较模糊,相应提取的人脸特征和属性也就不准确。 除此之外还有基于服务端的人脸分析算法,可以将采集数据传到服务端利用高性 能的GPU计算能力,离线进行流量分析,但这种方式在硬件和带宽上成本过高。
技术实现要素:
针对以上问题,本发明的目的在于提供一种异步人脸流量检测方法、系统及设备, 将人脸检测跟踪和人脸分析分成两个并行线程,两个线程通过异步队列传递人脸数据,长 时间的人脸特征提取和属性提取不会打断人脸的检测和跟踪,从而保证了人脸的检测跟踪 连续性,并且人脸跟踪和检测过程中也会筛选出高质量的人脸,以供人脸分析线程提高人 脸特征和属性提取的准确性。 本发明为实现上述目的,通过以下技术方案实现:一种异步人脸流量检测方法,包 括: 4 CN 111738129 A 说 明 书 2/6 页 获取摄像头采集的待检测图像; 在人脸检测跟踪线程中,对每一帧待检测图像识别出人脸图像加入人脸跟踪队列 进行流量统计;计算出人脸跟踪队列中的人脸图像质量,并对每一帧的人脸质量进行筛选, 保留质量最高的人脸图像,然后在单个人脸图像流量统计结束后将质量最高的人脸图像异 步传递到人脸分析队列; 在人脸分析线程中,获取人脸分析队列中的人脸图像,对人脸图像进行特征提取 和属性提取,并将提取的人脸图像特征和属性加入人脸属性输出队列; 将人脸跟踪队列和人脸属性输出队列的数据合并后,输出人脸数据。 进一步,所述对每一帧待检测图像识别出人脸图像加入人脸跟踪队列进行流量统 计包括如下步骤: S201:将每一帧待检测图像转换为320x180分辨率的图像作为输入图像; S202:使用retinaface深度学习人脸检测算法对输入图像进行人脸检测,完成人 脸识别; S203:识别成功的人脸图像,及其对应的人脸框信息和人脸分类可信度信息加入 人脸跟踪队列。 进一步,所述计算出人脸跟踪队列中的人脸图像质量,并对每一帧的人脸质量进 行筛选,保留质量最高的人脸图像,然后在单个人脸图像流量统计结束后将质量最高的人 脸图像异步传递到人脸分析队列具体包括如下步骤: S301:遍历人脸跟踪队列; S302:通过开尔曼算法来预测人脸检测框的位置,并通过匈牙利算法来匹配人脸, 进行人脸跟踪; S303:人脸跟踪成功后,使用原始分辨率提取人脸截图; S304:进行人脸质量分析: S305:对比人脸质量,并保存质量最高的人脸截图; S306:检测当前的人脸截图是否超过预设的最大人脸质量确认帧数,若是,将保存 的质量最高的人脸截图传递到人脸分析队列,若否,转到步骤201。 进一步,所述在人脸分析线程中,获取人脸分析队列中的人脸图像,对人脸图像进 行特征提取和属性提取,并将提取的人脸图像特征和属性加入人脸属性输出队列具体包括 如下步骤: S401:检测人脸分析队列并获取人脸图像; S402:对人脸图像进行关键点信息的获取和矫正; S403:对人脸图像进行人脸对齐; S404:对人脸图像进行特征提取和属性提取; S405:将提取的人脸图像特征和属性加入人脸属性输出队列。 进一步,所述质量最高的人脸截图为1280×720分辨率的输入图像中提取的人脸 截图。 进一步,所述人脸质量的比对具体为:通过比对人脸质量参数来确定人脸质量最 高的人脸截图,所述人脸质量参数包括:人脸分类可信度,人脸位移量,人脸框信息。 进一步,所述输出的人脸数据,包括:人脸截图和人脸的实时位置信息。 5 CN 111738129 A 说 明 书 3/6 页 相应的,本发明还公开了一种异步人脸流量检测系统,包括: 图像获取单元,用于获取摄像头采集的待检测图像; 人脸检测跟踪单元,用于使用人脸检测跟踪线程,对每一帧待检测图像识别出人 脸图像加入人脸跟踪队列进行流量统计;计算出人脸跟踪队列中的人脸图像质量,并对每 一帧的人脸质量进行筛选,保留质量最高的人脸图像,然后在单个人脸图像流量统计结束 后将质量最高的人脸图像异步传递到人脸分析队列;人脸分析单元,用于使用人脸分析线 程,获取人脸分析队列中的人脸图像,对人脸图像进行特征提取和属性提取,并将提取的人 脸图像特征和属性加入人脸属性输出队列; 输出单元,用于将人脸跟踪队列和人脸属性输出队列的数据合并后,输出人脸数 据。 相应的,本发明还公开了一种异步人脸流量检测的设备,包括: 存储器,用于存储计算机程序; 处理器,用于执行所述计算机程序时实现如上文任一项所述的异步人脸流量检测 方法步骤。 对比现有技术,本发明有益效果在于: 1、本发明采用了retinaface深度学习人脸检测算法,代替常用的MTCNN的深度学 习算法,从而使人脸检测时间为常数时间,使人脸的检测时间更加稳定,检测时间不随人脸 数量增加。 2、本发明使用320x180代替常用的640x360分辨率作为retinaface算法的输入分 辨率,并移除人脸关键点输出。提高了人脸检测的精度和效率。 3、本发明在人脸跟踪时使用开尔曼算法来预测人脸检测框的位置,并使用匈牙利 算法来匹配人脸,得到更好的人脸跟踪的准确度和性能。 4、本发明在人脸检测和跟踪阶段,对每一帧的所有人脸,都进行质量判断,同一个 跟踪的人脸,只会将质量最高的人脸图像保存下来,以供后面的人脸特征和属性提取使用, 在人脸图像保存的时候,不再从检测过程中使用的320×180的分辨率图像中提取,而是从 原始视频图像,如1280×720分辨率中提取人脸,以保证人脸分析识别更加精准,并且提取 检测框之前扩大检测框范围,来为后面进行人脸对齐保留更多人脸信息。 5、本发明在人脸跟踪阶段,只需要筛选质量最高的人脸,人脸离开之后,单个流量 统计完毕,再通过异步队列,交给另外一个人脸分析线程专门去做人脸的特征和属性提取, 这样分析处理过程可以完全不用打扰人脸的跟踪和检测,保证流畅性,另外也可以使用最 高质量的人脸获取到最准确的解析结果。 6、本发明可用于广告屏的观看流量统计中的数量确认,有效的解决了人脸识别掉 帧、卡顿的问题。 由此可见,本发明与现有技术相比,具有突出的实质性特点和显著的进步,其实施 的有益效果也是显而易见的。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 6 CN 111738129 A 说 明 书 4/6 页 发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据 提供的附图获得其他的附图。 附图1是本发明的方法流程图。 附图2是本发明的系统结构图。
下载此资料需消耗2积分,
分享到:
收藏