技术摘要：
本申请提供了一种面部动作单元识别方法、装置、电子设备及存储介质，该方法包括：获取终端上传的第一待识别人脸图像；采用预训练的卷积神经网络模型对第一待识别人脸图像进行人脸检测，得到第一待识别人脸图像中人脸关键点的位置信息；利用人脸关键点的位置信息对第一  全部
背景技术：
人脸表情识别、人脸情绪分析等是当前计算机视觉研究的热门领域，而这些研究 的结果在不同程度上都依赖于面部动作单元(Action  Units，AU)的识别准确率。所谓面部 动作单元是指识别眨眼、皱眉、嘟嘴等面部特定部位的肌肉动作是否出现，随着计算机信息 技术的发展，深度学习在面部动作单元的识别中有着广泛的应用，即通过构建网络模型进 行识别，但是，现有的面部动作单元识别模型大多支持的面部动作单元数量较少，且在人脸 细微表情变化的描述上较为粗略，另外，当图片中的人脸处在不同的旋转角度时，或者图片 中存在不影响脸部的干扰信息时，再或者图片的某些属性被改变时，都将使面部动作单元 识别模型的输出受到影响，从而导致识别的准确率较低。
技术实现要素：
针对以上问题，本申请实施例提出一种面部动作单元识别方法、装置、电子设备及 存储介质，有利于提高人脸图像中面部动作单元识别的准确率。 本申请实施例第一方面，提供了一种面部动作单元识别方法，该方法包括： 获取终端上传的第一待识别人脸图像； 采用预训练的卷积神经网络模型对所述第一待识别人脸图像进行人脸检测，得到 所述第一待识别人脸图像中人脸关键点的位置信息； 利用所述人脸关键点的位置信息对所述第一待识别人脸图像进行人脸矫正，得到 第二待识别人脸图像； 将所述第二待识别人脸图像输入预训练的面部动作单元识别模型，经过所述面部 动作单元识别模型的主体网络部分、注意力机制及全连接层的处理，得到所述第一待识别 人脸图像的面部动作单元识别结果，所述主体网络部分包括多个深度残差密集网络，每个 所述深度残差密集网络由深度残差网络和深度密集网络堆叠而成； 向所述终端输出所述第一待识别人脸图像的面部动作单元识别结果。 结合第一方面，在一种可能的实施方式中，所述利用所述人脸关键点的位置信息 对所述第一待识别人脸图像进行人脸矫正，得到第二待识别人脸图像，包括： 从数据库中获取预先存储的标准人脸图像中人脸关键点的位置信息； 根据所述第一待识别人脸图像中人脸关键点的位置信息与所述标准人脸图像中 人脸关键点的位置信息对所述第一待识别人脸图像进行人脸矫正，得到所述第二待识别人 脸图像。 结合第一方面，在一种可能的实施方式中，所述根据所述第一待识别人脸图像中 人脸关键点的位置信息与所述标准人脸图像中人脸关键点的位置信息对所述第一待识别 4 CN 111597884 A 说　明　书 2/14 页 人脸图像进行人脸矫正，得到所述第二待识别人脸图像，包括： 将所述第一待识别人脸图像中人脸关键点的位置信息与所述标准人脸图像中人 脸关键点的位置信息进行比对，得到相似变换矩阵H； 根据预设相似变换矩阵方程求解所述相似变换矩阵H； 将所述第一待识别人脸图像中每个像素点的位置信息与求解后得到的所述相似 变换矩阵H相乘，得到摆正的所述第二待识别人脸图像。 结合第一方面，在一种可能的实施方式中，所述将所述第二待识别人脸图像输入 预训练的面部动作单元识别模型，经过所述面部动作单元识别模型的主体网络部分、注意 力机制及全连接层的处理，得到所述第一待识别人脸图像的面部动作单元识别结果，包括： 将所述第二待识别人脸图像输入所述主体网络部分进行特征提取，得到高阶特征 图； 利用所述注意力机制对所述高阶特征图进行最大池化和平均池化操作，得到宽、 高与所述高阶特征图相同，深度为1的第一特征图和第二特征图； 根据所述第一特征图和所述第二特征图得到目标特征图，将所述目标特征图输入 所述全连接层进行二分类，得到所述第一待识别人脸图像的面部动作单元识别结果。 结合第一方面，在一种可能的实施方式中，所述根据所述第一特征图和所述第二 特征图得到目标特征图，包括： 在深度方向将所述第一特征图和所述第二特征图进行拼接，对拼接得到的特征图 进行1*1的卷积，得到第三特征图； 将所述第三特征图的宽、高与所述高阶特征图的宽、高对应相乘得到所述目标特 征图。 结合第一方面，在一种可能的实施方式中，所述将所述第二待识别人脸图像输入 所述主体网络部分进行特征提取，得到高阶特征图，包括： 将所述第二待识别人脸图像输入所述主体网络部分，经过多个所述深度残差密集 网络进行特征提取，得到所述高阶特征图；其中，每个所述深度残差密集网络从1*1的卷积 层开始进行卷积处理，后接3*3的卷积层，再接一个1*1的卷积层后分为两部分处理，一部分 接入所述深度残差网络，在所述深度残差网络中将两个隐藏层输出的特征在宽、高上进行 相加，深度保持不变，另一部分与所述深度密集网络的路径连接，在所述深度密集网络中将 两个隐藏层输出的特征在深度上进行拼接，宽、高保持不变。 本申请实施例第二方面提供了一种面部动作单元识别装置，该装置包括： 图像获取模块，用于获取终端上传的第一待识别人脸图像； 人脸检测模块，用于采用预训练的卷积神经网络模型对所述第一待识别人脸图像 进行人脸检测，得到所述第一待识别人脸图像中人脸关键点的位置信息； 人脸矫正模块，用于利用所述人脸关键点的位置信息对所述第一待识别人脸图像 进行人脸矫正，得到第二待识别人脸图像； 面部动作单元识别模块，用于将所述第二待识别人脸图像输入预训练的面部动作 单元识别模型，经过所述面部动作单元识别模型的主体网络部分、注意力机制及全连接层 的处理，得到所述第一待识别人脸图像的面部动作单元识别结果，所述主体网络部分包括 多个深度残差密集网络，每个所述深度残差密集网络由深度残差网络和深度密集网络堆叠 5 CN 111597884 A 说　明　书 3/14 页 而成； 识别结果输出模块，用于向所述终端输出所述第一待识别人脸图像的面部动作单 元识别结果。 本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设 备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质 存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤： 获取终端上传的第一待识别人脸图像； 采用预训练的卷积神经网络模型对所述第一待识别人脸图像进行人脸检测，得到 所述第一待识别人脸图像中人脸关键点的位置信息； 利用所述人脸关键点的位置信息对所述第一待识别人脸图像进行人脸矫正，得到 第二待识别人脸图像； 将所述第二待识别人脸图像输入预训练的面部动作单元识别模型，经过所述面部 动作单元识别模型的主体网络部分、注意力机制及全连接层的处理，得到所述第一待识别 人脸图像的面部动作单元识别结果，所述主体网络部分包括多个深度残差密集网络，每个 所述深度残差密集网络由深度残差网络和深度密集网络堆叠而成； 向所述终端输出所述第一待识别人脸图像的面部动作单元识别结果。 本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有 一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤： 获取终端上传的第一待识别人脸图像； 采用预训练的卷积神经网络模型对所述第一待识别人脸图像进行人脸检测，得到 所述第一待识别人脸图像中人脸关键点的位置信息； 利用所述人脸关键点的位置信息对所述第一待识别人脸图像进行人脸矫正，得到 第二待识别人脸图像； 将所述第二待识别人脸图像输入预训练的面部动作单元识别模型，经过所述面部 动作单元识别模型的主体网络部分、注意力机制及全连接层的处理，得到所述第一待识别 人脸图像的面部动作单元识别结果，所述主体网络部分包括多个深度残差密集网络，每个 所述深度残差密集网络由深度残差网络和深度密集网络堆叠而成； 向所述终端输出所述第一待识别人脸图像的面部动作单元识别结果。 本申请的上述方案至少包括以下有益效果：本申请实施例通过获取终端上传的第 一待识别人脸图像；采用预训练的卷积神经网络模型对所述第一待识别人脸图像进行人脸 检测，得到所述第一待识别人脸图像中人脸关键点的位置信息；利用所述人脸关键点的位 置信息对所述第一待识别人脸图像进行人脸矫正，得到第二待识别人脸图像；将所述第二 待识别人脸图像输入预训练的面部动作单元识别模型，经过所述面部动作单元识别模型的 主体网络部分、注意力机制及全连接层的处理，得到所述第一待识别人脸图像的面部动作 单元识别结果；向所述终端输出所述第一待识别人脸图像的面部动作单元识别结果。这样 在终端输入第一待识别人脸图像时，首先获取第一待识别人脸图像的人脸关键点的位置信 息，利用该位置信息对第一待识别人脸图像中的人脸进行矫正，以将其摆正，然后将人脸摆 正的第二待识别人脸图像输入由主体网络部分、注意力机制模块和全连接层构成的面部动 作单元识别模型进行识别，得到的面部动作单元识别结果相比现有技术更为准确。 6 CN 111597884 A 说　明　书 4/14 页 附图说明 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。 图1为本申请实施例提供的一种网络架构图； 图2a为申请实施例提供的一种获取人脸图像的示例图； 图2b为申请实施例提供的另一种获取人脸图像的示例图； 图3为本申请实施例提供的一种面部动作单元识别方法的流程示意图； 图4为本申请实施例提供的一种卷积神经网络模型的结构示意图； 图5为本申请实施例提供的一种面部动作单元识别模型的结构示意图； 图6为本申请实施例提供的一种深度残差密集网络的结构示意图； 图7为本申请实施例提供的另一种面部动作单元识别方法的流程示意图； 图8为本申请实施例提供的一种面部动作单元识别装置的结构示意图； 图9为本申请实施例提供的一种电子设备的结构示意图。