
技术摘要:
本发明提供一种基于单目摄像头坐姿识别技术的坐姿监控系统,包括坐姿监控装置端和坐姿监控应用端;其中,所述坐姿监控装置端主要包括:用于提取视频图像的单目摄像头;对所述视频图像进行分析运算从而得到坐姿评估结果以及行为识别结果的人体坐姿估计与行为识别模块; 全部
背景技术:
随着生活节奏的不断加快,人们每天的大部分时间处于工作和学习之中。长时间 的维持不规范的坐姿,容易养成驼背、身体歪扭等不良习惯,严重的会引发颈椎病、腰椎间 盘突出和近视等疾病,对身体造成不可逆转的伤害,从而在极大程度上影响日常学习、工作 和生活。坐姿识别算法通常利用传感器对识别对象的半身姿态进行提取,并依据坐姿标准 程度的算法,帮助用户及时调整不正确的坐姿,保证人们的健康。 目前的坐姿识别算法基于的无接触传感器主要分为以下几种: 超声波传感器。利用超声波发射和返回的时间差来计算监控装置与使用者之间的 距离,用来监控使用者是否有低头、趴、侧歪过大等场景来提示使用者注意坐姿。但是超声 波对测量面有一定要求。测量面密度较低,超声波穿透物体,会有多个回波;测量面凹凸不 平,超声波被打散,同样会有多个回波;测量面倾斜,超声波没有正确反射;测量面过小,超 声波反射回的量不够。所以超声波的测量效果较差。 红外线传感器。利用红外发射和接收阻断或者发射与返回的时间差来计算监控装 置与使用者之间的空间关系,用来监控使用者是否有异常坐姿等场景来提示使用者注意坐 姿。但是红外定位原理也与反射系数、阻挡物体透光性等有较大关联,检测准确度较低,可 以应对的场景有限,对于使用者歪头、低头等动作难有检测能力。 双目视觉传感器。这种传感器制作工艺要求高,对环境光照非常敏感,对缺乏纹理 场景表现差,计算复杂度高,相机基线限制了测量范围,使用中存在死角。 此外,大部分的坐姿识别方法仅考虑相对静态的打字、书写、阅读行为,但是实际 应用场景中识别对象还可能存在舒展、摆头、喝水、接电话等动态行为。上述动态行为发生 时,很容易被识别成错误的坐姿。现有的坐姿识别方法也没有结合具体场景下桌面位置信 息,严重限制了坐姿识别精度的提升。
技术实现要素:
根据上述提出的现有坐姿监控系统坐姿识别误差较大且成本较高的技术问题,而 提供一种基于单目摄像头坐姿识别技术的坐姿监控系统。本发明本发明旨在提高坐姿识别 的准确性,以及所述方法在遮挡、光照突变等异常使用情况下的鲁棒性。同时,本发明可以 改善当识别对象存在动态行为时的识别精度,而不需要额外的外部检测结果。 本发明采用的技术手段如下: 一种基于单目摄像头坐姿识别技术的坐姿监控系统,其特征在于,包括坐姿监控 装置端和坐姿监控应用端;其中,所述坐姿监控装置端主要包括: 用于提取视频帧图像的单目摄像头; 4 CN 111601088 A 说 明 书 2/8 页 对所述视频图像进行分析运算从而得到坐姿评估结果以及行为识别结果的人体 坐姿估计与行为识别单元; 接收所述视频图像、姿态评估结果以及行为识别结果并与所述坐姿监控应用端通 信的主控单元; 以及通过响应坐姿评估结果进行坐姿提示的提示单元。 进一步地,所述提示单元包括声音提示模块和静音提示模块,所述声音提示模块 和静音提示模块均响应于所述主控单元的控制而启动或关闭。 进一步地,系统还包括统计与分析单元,所述统计与分析单元通过与所述主控单 元通信存储所述单目摄像头采集的视频数据以及提示单元发出的坐姿提示数据,并能够通 过可视化方法对上述数据进行统计和分析。 进一步地,系统还包括用于对监控环境进行实时监测的移动监测传感器,所述移 动监测传感器与所述主控单元连接;当所述移动监测传感器监测到所述坐姿监控装置端被 移动后,所述主控单元启动标准坐姿录入程序。 进一步地,所述人体姿态估计与行为识别单元主要包括: 视频序列提取模块,从单目摄像头获取当前视频帧并更新视频帧序列,所述视频 帧序列的容量固定; 视频图像处理模块,通过获取关键点的3维坐标进行人体姿态的估计和行为类型 的识别; 坐姿评价模块,同时接收人体姿态的估计结果和行为类型的识别结果,依据二者 进行坐姿评估,并根据评估结果给出相应提示。 进一步地,所述行为类型包括静态行为和动态行为; 进行坐姿评估之前,所述视频图像处理模块还要判断所述行为类型的识别结果是 否属于静态行为,如果是则通过坐姿评价模块根据人体姿态的估计结果进行坐姿评估,否 则所述视频图像处理模块再次获取关键点的3维坐标。 进一步地,所述视频图像处理模块包括: 低级特征提取子模块,将所述视频帧序列中各帧图像处理为低级特征图; 以及至少一级估计与识别工作组所述估计与识别工作组包括并行工作的三维姿 态估计部和行为识别部,其中: 第一级估计与识别工作组的三维姿态估计部以所述低级特征图作为输入特征,并 输出人体姿态估计结果, 行为识别部以本级人体姿态估计结果和低级特征图作为输入特征,并输出行为识 别结果; 其他估计与识别工作组的三维姿态估计部均以所述低级特征图作和上一级人体 姿态估计结果为输入特征,并输出人体姿态估计结果, 行为识别部以本级人体姿态估计结果和上一级行为识别结果作为输入特征,并输 出行为识别结果。 进一步地,系统还包括桌面检测模块,根据所述单目摄像头提取的图像信息识别 桌面位姿,以校正因为拍摄角度造成的坐姿识别误差。 较现有技术相比,本发明具有以下优点: 5 CN 111601088 A 说 明 书 3/8 页 1、本发明提供了一种坐姿监控的低成本方案,基于单目视频图像序列开发,利用 多任务端到端网络结构实现了人体姿态估计与行为识别,通过精确的姿态估计结果辅助行 为识别准确性。 2、本发明基于单目视频图像序列的坐姿识别技术以及设备端图像处理系统是的 与使用者间的空间关系限制宽松,可以适应更多场景下应用。 3、本发明能够依托坐姿统计与分析系统以及应用端连接的方式向使用者提供科 学、直观的坐姿统计数据。 4、本发明应用端自动连接设备可以使用户方便的查看坐姿数据、精确设置符合个 人习惯的监控相关设置。 5、本发明提供多种提示模式,能够设定系统在公共办公场景下提供静默提示方 式。 基于上述理由本发明可在办公设备、教学设备中广泛应用。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发 明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以 根据这些附图获得其他的附图。 图1为本发明系统结构示意图。 图2为本发明系统坐姿监控装置端结构示意图。 图3为本发明实施例中系统工作流程图。 图4为本发明实施例中人体姿态估计与行为识别模块结构示意图。 图5为实施例中坐姿状态下11个关键点分布示意图。 图6为实施例中低级特征提取子模块结构示意图。 图7为实施例中SACAM网络结构示意图。 图8为实施例中姿态估计热图解码流程图。 图9为实施例中行为识别部的视频序列的姿态估计结果输入示意图。 图10为实施例中SRLRTM网络结构示意图。