技术摘要：
本发明提供了一种基于深度学习的表情情绪识别的智能家居控制方法及装置，方法包括：S1：预设智能家居设备应用场景，其中，不同的应用场景关联不同的表情情绪，不同的应用场景输出不同的控制指令；S2：获取目标图像，检测目标人脸图像，对目标人脸图像进行人脸特征分析  全部
背景技术：
智能家居是是物联网的重要具体的一个实际应用。智能家居通过物联网技术将家 庭中的各种设备(如音视频设备、照明系统、窗帘控制、空调控制、网络家电等)连接到一起， 提供家电控制、照明控制、防盗报警、环境监测、暖通控制等多种功能和手段。目前，智能家 居发展可以分为四大阶段：第一代手机操控、第二代场景联动、第三代语音交互、第四代人 工智能。 随着智能家居技术、价格、市场的发展，智能家居以惊人的速度进入到普通家庭， 现阶段市面上流行的智能家居领域，大部分处于二，三代的阶段，通常的人机交互为通过手 机操作，即安装手机APP，通过软件指令控制家居中的智能设备，还有一部分会通过语音识 别来优化指令的控制。在实际使用中，智能家居的使用依然存在不够智能化的问题。 表情识别是计算机理解分析人类情感的一个重要方向，是实现人机交互的一个重 要途径。表情识别技术源于20世纪70年代心理学家Ekman和Friesen的研究，提出人类主要 有愤怒、快乐、悲伤、惊讶、厌恶和恐惧这六种基本情绪，每种情绪通过不同的表情来表达心 理活动。所以，可以通过表情识别来实现对情绪的分析和识别。表情识别在人机交互中有着 广泛的研究前景，包括人机交互、情绪分析、智能家居等。 目前在表情识别领域主要有利用人工设计特征，被用于表情识别提取图像的外观 特征，传统表情识别技术的特征提取方法主要有梯度方向直方图、局部二值模式、小波变 换、局部线性嵌入等。这些人工设计的方法在特定的样本中更有效，缺点是难以用于适应新 变化，受制于设计的算法，在识别新的人脸图像时，识别率会明显降低；设计算法费时费力； 特征提取与分类是分开的，不能融合在一个统一的模型中。
技术实现要素：
本申请提供一种基于深度学习的表情情绪识别的智能家居控制方法及装置，用于 解决现有技术中智能家居不够智能化的问题。 根据第一方面，一种实施例中提供一种基于深度学习的表情情绪识别的智能家居 控制方法，所述方法包括： S1：预设智能家居设备应用场景，其中，不同的应用场景关联不同的表情情绪，不 同的应用场景输出不同的控制指令； S2：获取目标图像，对所述目标图像进行预处理后，通过MTCNN模型提取所述目标 图像中的目标人脸图像，并通过InsightFace模型进行人脸特征分析，识别出人脸特征信息 及所对应的身份信息； S3：将所述目标人脸图像输入到预设的深度学习模型中，识别表情情绪； 4 CN 111597955 A 说　明　书 2/11 页 S4：根据识别出的身份信息和识别出的表情情绪，调用表情情绪所关联的应用场 景，再利用Zigbee协议，根据所关联的应用场景所对应的控制指令控制智能家居设备。 进一步优选地，所述步骤S2中，获取目标图像，对所述目标图像进行预处理的方法 包括：对获取的所述目标图像中的环境、光照进行归一化处理。 进一步优选地，所述步骤S2中，通过MTCNN模型提取所述目标图像中的目标人脸图 像的方法，进一步包括：利用P-Net、R-Net和O-Net三层网络结构级联，同时对所述目标图像 中的目标人脸区域进行检测，提取目标人脸图像，并检测人脸关键点，并利用人脸关键点进 行仿射变换，将目标人脸图像对齐矫正。 进一步优选地，所述步骤S2中，通过InsightFace模型进行人脸特征分析，识别出 人脸特征信息及所对应的身份信息的方法包括： 预设人脸数据库，所述人脸数据库中预设有人脸特征向量以及所对应的身份信 息； 获取目标人脸图像； 后将所述目标人脸图像输入到InsightFace模型中，识别出目标人脸特征信息； 将所述目标人脸特征信息遍历所述人脸数据库，当所述目标人脸特征信息与所述 人脸数据库中的人脸特征向量的相似度值满足预设条件时，将人脸特征向量所对应的身份 信息识别为所述目标人脸图像的身份信息。 进一步优选地，所述步骤3，将所述目标人脸图像输入到预设的深度学习模型中， 识别出所述目标人脸图像中的表情情绪之前还包括： 收集若干人脸特征图像及其对应的表情情绪图像，利用所述人脸特征图像和所述 表情情绪图像创建数据集，所述数据集包括训练集和验证集； 构建深度神经网络； 将所述训练集输入到深度神经网络中，进行数据训练学习，并利用所述验证集进 行验证，生成深度学习模型。 进一步优选地，利用所述人脸特征图像和所述表情情绪图像创建数据集之前还包 括：对收集的若干所述人脸特征图像进行包括翻转、旋转、切割变换在内的数据集增强处 理。 进一步优选地，深度神经网络采用VGG19卷积神经网络；所述VGG19卷积神经网络 包括：19个隐藏层、5个池化层以及1个分类层，其中，所述隐藏层包括：16个卷积层，3个全连 接层，1个dropout层，所述卷积层采用小卷积核。 进一步优选地，创建所述VGG19卷积神经网络的方法包括： 创建第一层卷积，包括两层卷积网络和一层maxpool层，增加非线性校正将得到的 特征图传入下层处理； 创建第二层卷积，包括两层卷积网络和一层maxpool层，增加非线性校正将得到的 特征图传入下层处理； 创建第三层卷积，包括四层卷积网络和一层maxpool层，增加非线性校正将得到的 特征图传入下层处理； 创建第四层卷积，包括四层卷积网络和一层maxpool层，增加非线性校正将得到的 特征图传入下层处理； 5 CN 111597955 A 说　明　书 3/11 页 创建第五层卷积，包括四层卷积网络和一层maxpool层，增加非线性校正将得到的 特征图传入下层处理； 创建全连接层，包括dropout层、三层全连接层和一层softmax层，通过dropout层 将传播中的某个神经元的激活值以一定的概率停止工作，后将得到的特征图传入下层处 理； 创建损失函数，损失函数采用交叉熵损失函数，其中，交叉熵损失函数计算公式如 下： 根据第二方面，一种实施例中提供一种基于深度学习的表情情绪识别的智能家居 控制装置，所述装置包括：关联设置模块、人脸识别模块、情绪识别模块、指令调用模块； 所述关联设置模块用于预设智能家居设备应用场景，其中，不同的应用场景关联 不同的表情情绪，不同的应用场景输出不同的控制指令； 所述人脸识别模块用于获取目标图像，对所述目标图像进行预处理后，通过MTCNN 模型提取所述目标图像中的目标人脸图像，并通过InsightFace模型进行人脸特征分析，识 别出人脸特征信息及所对应的身份信息； 所述情绪识别模块用于将所述目标人脸图像输入到预设的深度学习模型中，识别 表情情绪； 所述指令调用模块用于根据识别出的身份信息和识别出的表情情绪，调用表情情 绪所关联的应用场景，再利用Zigbee协议，根据所关联的应用场景所对应的控制指令控制 智能家居设备。 相比现有技术，本发明的有益效果在于： (1)本发明利用表情识别来分析表情情绪，将表情情绪结合应用到智能家居控制 应用中，实现更加智能化的智能家居控制应用。 (2)本发明利用对图像进行预处理，以便提高人脸以及表情情绪识别的准确率。 (3)本发明利用深度神经网络提高人脸以及人脸表情情绪识别的准确率和效率。 (4)本发明利用深度神经网络的中间过程中的人脸识别，复用处理能力的同时对 智能家居应用进行人脸身份识别，从而提高安全性。 附图说明 图1为本发明实施例中基于深度学习的表情情绪识别的智能家居控制方法的流程 图； 图2为本发明实施例中智能家居控制方法的流程图； 图3为本发明实施例中人脸识别方法的流程图； 图4为本发明实施例中身份信息识别方法的流程图； 图5为本发明实施例中表情识别方法的流程图； 图6为本发明实施例中VGG19深度神经网络的结构示意图； 图7为本发明实施例中的基于深度学习的表情情绪识别的智能家居控制装置的结 构框图。 6 CN 111597955 A 说　明　书 4/11 页