技术摘要：
本申请涉及人工智能技术领域，公开了一种手部动作识别方法、装置、电子设备及存储介质，提高针对手部危险动作识别的准确度。所述方法包括：从包含目标对象的视频帧中提取目标对象的手部位置；识别手部位置周围的局部图像中包含的手持物品的类别；确定目标对象的手部位  全部
背景技术：
日常生活中可能会发生一些危险行为，比如手持刀具或者棍棒、投掷危险物品，等 等，这些危险行为会给人民的生命财产带来一定的威胁。目前市场上还没有能自动检测危 险动作的相关技术和产品，无法在危险事件发生的第一时间就生成报警信息，以降低对人 民的生命和财产的威胁。
技术实现要素：
本申请实施例提供一种手部动作识别方法、装置、电子设备及存储介质，提高针对 手部危险动作识别的准确度。 一方面，本申请一实施例提供了一种手部动作识别方法，包括： 从包含目标对象的视频帧中提取所述目标对象的手部位置； 识别所述手部位置周围的局部图像中包含的手持物品的类别； 确定所述目标对象的手部位置姿态，所述手部位置姿态表征手部相对人体所处的 位置； 基于包含所述目标对象的多个视频帧，确定所述目标对象的手部运动状态； 基于所述手持物品的类别、所述手部位置姿态和所述手部运动状态，确定所述目 标对象的手部动作所属的危险动作类别。 可选地，所述基于包含所述目标对象的多个视频帧，确定所述目标对象的手部运 动状态，具体包括： 获取包含所述目标对象的多个视频帧； 从所述多个视频帧中分别提取所述目标对象的手部位置和人体中心位置； 基于所述目标对象在所述多个视频帧中的手部位置和人体中心位置，获得所述手 部位置相对于人体中心位置的移动速度。 可选地，所述基于所述手持物品的类别、所述手部位置姿态和所述手部运动状态， 确定所述目标对象的手部动作所属的危险动作类别，具体包括： 确定所述手持物品的类别和所述手部位置姿态所满足的目标判断条件，其中，每 个危险动作类别对应一个判断条件； 若移动速度大于速度阈值，则将所述目标判断条件对应的危险动作类别，确定为 所述目标对象的手部动作所属的危险动作类别。 可选地，所述方法还包括： 基于包含所述目标对象的多个视频帧，确定所述手持物品的运动状态； 所述基于所述手持物品的类别、所述手部位置姿态和所述手部运动状态，确定所 4 CN 111553326 A 说　明　书 2/14 页 述目标对象的手部动作所属的危险动作类别，具体包括： 基于所述手持物品的类别、所述手部位置姿态、所述手部运动状态和所述手持物 品的运动状态，确定所述目标对象的手部动作所属的危险动作类别。 可选地，所述确定所述目标对象的手部位置姿态，具体包括： 从所述视频帧中获取所述目标对象的多个人体关键点； 根据所述手部位置与所述多个人体关键点之间的位置关系，确定手部位置姿态。 可选地，所述确定所述目标对象的手部位置姿态之前，所述方法还包括： 从所述视频帧中获取所述目标对象的多个人体关键点； 基于所述多个人体关键点之间的位置关系，确定所述目标对象处于站立姿态。 可选地，所述基于所述多个人体关键点之间的位置关系，确定所述目标对象处于 站立姿态，具体包括： 若所述多个人体关键点之间的位置关系满足预设条件，则确定所述目标对象处于 站立姿态； 其中，所述预设条件包括： 头部位置和脚腕位置的连线与水平线的夹角大于预设角度；以及， 多个人体关键点在所述视频帧中所处位置由高到低的顺序依次为：头部位置、髋 部位置、膝盖位置和脚腕位置。 可选地，所述识别所述手部位置周围的局部图像中包含的手持物品的类别之前， 所述方法还包括： 对所述局部图像进行手部识别，确定所述局部图像中包含手部。 可选地，所述识别所述手部位置周围的局部图像中包含的手持物品的类别之前， 所述方法还包括： 对所述局部图像进行物品识别，确定所述局部图像中包含手持物品。 一方面，本申请一实施例提供了一种手部动作识别装置，包括： 关键点提取模块，用于从包含目标对象的视频帧中提取所述目标对象的手部位 置； 物品识别模块，用于识别所述手部位置周围的局部图像中包含的手持物品的类 别； 手部姿态识别模块，用于确定所述目标对象的手部位置姿态，所述手部位置姿态 表征手部相对人体所处的位置； 手部运动状态识别模块，用于基于包含所述目标对象的多个视频帧，确定所述目 标对象的手部运动状态； 动作分类模块，用于基于所述手持物品的类别、所述手部位置姿态和所述手部运 动状态，确定所述目标对象的手部动作所属的危险动作类别。 可选地，所述手部运动状态识别模块，具体用于： 获取包含所述目标对象的多个视频帧； 从所述多个视频帧中分别提取所述目标对象的手部位置和人体中心位置； 基于所述目标对象在所述多个视频帧中的手部位置和人体中心位置，获得所述手 部位置相对于人体中心位置的移动速度。 5 CN 111553326 A 说　明　书 3/14 页 可选地，所述动作分类模块，具体用于： 确定所述手持物品的类别和所述手部位置姿态所满足的目标判断条件，其中，每 个危险动作类别对应一个判断条件； 若移动速度大于速度阈值，则将所述目标判断条件对应的危险动作类别，确定为 所述目标对象的手部动作所属的危险动作类别。 可选地，所述装置还包括：物品运动状态识别模块，用于基于包含所述目标对象的 多个视频帧，确定所述手持物品的运动状态； 所述动作分类模块，具体用于基于所述手持物品的类别、所述手部位置姿态、所述 手部运动状态和所述手持物品的运动状态，确定所述目标对象的手部动作所属的危险动作 类别。 可选地，手部姿态识别模块，具体用于： 从所述视频帧中获取所述目标对象的多个人体关键点； 根据所述手部位置与所述多个人体关键点之间的位置关系，确定手部位置姿态。 可选地，所述装置还包括站立姿态识别模块，用于在执行所述手部姿态识别模块 之前，从所述视频帧中获取所述目标对象的多个人体关键点，基于所述多个人体关键点之 间的位置关系，判断所述目标对象是否处于站立姿态，若确定所述目标对象是否处于站立 姿态，则执行所述手部姿态识别模块。 可选地，所述站立姿态识别模块，具体用于： 若所述多个人体关键点之间的位置关系满足预设条件，则确定所述目标对象处于 站立姿态； 其中，所述预设条件包括： 头部位置和脚腕位置的连线与水平线的夹角大于预设角度；以及， 多个人体关键点在所述视频帧中所处位置由高到低的顺序依次为：头部位置、髋 部位置、膝盖位置和脚腕位置。 可选地，所述装置还包括手部识别模块，用于在执行所述物品识别模块之前，对所 述局部图像进行手部识别，判断所述局部图像中是否包含手部，若确定所述局部图像中包 含手部，则执行所述物品识别模块。 可选地，所述物品识别模块还用于：在识别所述手部位置周围的局部图像中包含 的手持物品的类别之前，对所述局部图像进行物品识别，确定所述局部图像中包含手持物 品。 一方面，本申请一实施例提供了一种电子设备，包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种 方法的步骤。 一方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程 序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。 本申请实施例提供手部动作识别方法、装置、电子设备及存储介质，首先，基于人 体关键点检测技术，从包含目标对象的视频帧中提取目标对象的手部位置；然后，从视频帧 中获取手部位置周围的局部图像，识别局部图像中包含的手持物品的类别，同时确定目标 对象的手部位置姿态，即手部相对人体所处的位置；基于包含目标对象的多个视频帧，确定 6 CN 111553326 A 说　明　书 4/14 页 目标对象的手部运动状态；最后，基于手持物品的类别、手部位置姿态和手部运动状态，确 定目标对象的手部动作所属的危险动作类别。相比于单个整张图像的识别方式，基于手部 位置周围的局部图像进行识别，可提高识别手持物品类别的准确度，此外，结合手持物品类 别、手部位置姿态以及基于多个视频帧确定出的手部运动状态，进行危险动作识别，可提高 危险动作识别的准确度，只有当手持物品类别属于危险物品且手部位置姿态处于某些状态 时，才认为目标对象正在执行危险动作，可排除守法公民的正常行为，降低误判率。 附图说明 为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使 用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 的附图。 图1为本申请实施例提供的手部动作识别方法的应用场景示意图； 图2为本申请一实施例提供的手部动作识别方法的流程示意图； 图3为本申请一实施例提供的确定目标对象的手部运动状态的流程示意图； 图4为本申请一实施例提供的确定手持物品的运动状态的流程示意图； 图5为本申请一实施例提供的手部动作识别装置的结构示意图； 图6为本申请一实施例提供的电子设备的结构示意图。