技术摘要：
本发明公开一种基于图像大数据提取学生面部信息实现教育心理学分析方法，通过深度学习算法，获取图像特征，进而实现数据的分析和识别，提高了读取学生面部表情的正确率，有助于教师读取学生表情，获取学生心理变化，以给予心理指导。本发明通过对图像进行预处理，得到 全部
背景技术：
情绪是心理学研究的重要研究对象之一，也是目前为止和大数据 结合最为紧密、 成果最为丰富的研究领域。人脸面部表情识别是通过 计算机对人脸面部由肌肉拉动所产 生的表情图像或视频做特征提取 工作，并按照人类目前理解经验和思想认识来实施表情 归类和表情识 别，从面部信息中提取分析人类情感。表情特征提取的正确性和有用 性是 表情可否正确识别的关键。在心理学教学中，学生面部表情直接 反应学生的心理状态，通 过读取学生在不同情况下的面部特征能够有 效地读懂学生的内心世界，以给予正确的心 理辅导。 传统心理学研究，在关于学生情绪波动方面，通过日周期水平上 的波动节律进行 研究，尤其是主要围绕积极情绪和消极情绪开展的研 究，通过大量的数据，在实验室进过 调查、研究发现，通过这种波动 的方式测试学生的情绪，尽管在各个环节都做的很到位的 情况下，仍 旧存在较大的偏差。因此，目前的学生面部表情以情绪的识别方法在 辅助教师 进行教育心理学分析方面，仍旧显得力不从心。
技术实现要素：
针对现有技术的不足，本发明公开了一种基于图像大数据提取学 生面部信息实 现教育心理学分析方法，通过深度学习算法，获取图像 特征，进而实现数据的分析和识别， 提高了读取学生面部表情的正确 率，有助于教师读取学生表情，获取学生心理变化，以给 予心理指导。 本发明采用以下技术方案： 一种基于图像大数据提取学生面部信息实现教育心理学分析方 法，其中该方法 包括以下步骤： (S1)构建学生图像数据库集合，获取学生面部图片信息； (S2)图像预处理；对数据库中人脸图片进行倾斜校正、大小归 一化、直方图均衡 和灰度归一化处理，清理模糊不清的图片，获取纯 净的图像数据信息，在进行灰度归一化 处理时，采用的方法至少包含 有灰度变换归一化、最大值法、平均值法或加权平均法将彩 色图像进 行灰度化； (S3)图像特征提取；将预处理后的图像数据输入卷积神经网络 CNN网络数据模型 进行深度特征提取；提取的方法包括局部图像特征 提取、全局图像特征提取和全局纹理图 像特征提取；其中所述卷积神 经网络CNN网络数据模型包括输入层、卷积层、子采样层、全 连接层 和输出层；所述输入层用于输入图片信息数据，所述卷积层由神经元 排列组成特 征平面，所述子采样层内的特征面与卷积层中的特征面数 量相同，并且设置成一一对应的 5 CN 111553299 A 说 明 书 2/8 页 关系，以降低特征维度，所述全连接 层设置为汇总所述卷积层和所述采样层的局部特征， 并将汇总后的数 据信息结果输出； (S4)图像数据信息融合；将提取的三种特征分别归一化，然后 进行级联融合；所 述图像级联融合方法为基于模糊神经网络的多数据 特征关联算法；所述多数据特征关联 算法模型结构包括输入层、模糊 化层、规则推理层和逆模糊层；其中： 所述输入层用于输入变量，所述模糊化层用于实现输入变量的模 糊化，所述模糊 化程度通过隶属度来确定，所述隶属度利用以下公式 来表示： 其中，aij和bij分别表示隶属度函数的中心和宽度；μ(xi)表示第i个 输入变量的第 j个模糊子集的隶属度； 所述规则推理层通过设置的不同节点表示模糊操作，一个节点表 示一条模糊规 则，节点介于2-300个； 所述输出层通过重心法进行去模糊化处理，输出信息用以下公式 表示： 其中m表示规则的数目，wi表示规则堆理层输出的第i条规则的 强度，ri表示第i条 规则的结论； (S5)对图像数据信息融合后的数据进行分类；将融合后的特征 输入训练好的强 分类器中进行训练和分类；其中所述强分类器为基于 随机森林算法模型的强分类器，所述 强分类器的训练过程为： 从图像预处理后的样本训练集合中随机采样固定个数的学生图 像样本，每采集 一个样本，放回一个样本，然后再重新采样，如果对 有N个样本训练集做T次的随机采样，则 由于采样的随机性，T次采 样的结果各不相同，每次结果输出频率最多的数据，则作为最终 的数 据模型，则将该点设置当前节点为叶子节点；在原始样本训练数据集 合中，假设输入 为样本集D＝{(x1,y1) ,(x2,y2) ,...,(xm,ym)}；第一次输出是 通过弱学习器算法进行输出， 即弱分类器，将弱分类器进行迭代T次 数，将这些弱分类器叠加，输出为最终的强分类器； (S6)输出表情数据信息；供教师判断，以识别学生面部信息反 应的心理状态。 作为本发明进一步的技术方案，所述步骤(S2)中的灰度变换归 一化的方法为：利 用灰度拉伸的方法将原图像中的灰度分布扩展到具 有整个灰度级的图像，其中所述灰度 变换归一化的公式为： 其中I(i,j)、N(i,j)分别表示原图像的灰度值、变换后图像的灰度 值，min和max 分别表示原图像的最小灰度值和最大灰度值。 作为本发明进一步的技术方案，所述步骤(S2)中的最大值法是 将彩色图像中的 三分量亮度的最大值作为灰度图的灰度值，所述三分 量包括R分量、G分量和B分量。 6 CN 111553299 A 说 明 书 3/8 页 作为本发明进一步的技术方案，所述步骤(S2)中的平均值法是 将不同时间、不同 光照下采集到的图像转换到同一灰度均值和方差的 标准图像，计算公式为 其中I(i,j)、M、V分别表示归一化前图像的灰度值、均值、方差， N(i,j)、M0、V0分别 表示归一化后图像的灰度值、均值、方差。 作为本发明进一步的技术方案，所述步骤(S2)中的加权平均法 是将包括R分量、G 分量和B分量的三个分量以不同的权值进行加权 平均，计算公式为：f(i,j)＝0.30R(i,j) 0.59G(i,j) 0.11B(i,j) (6)。 作为本发明进一步的技术方案，所述步骤(S3)中局部图像特征 提取方法为方向 梯度直方图法，所述方向梯度直方图法的方法为： (1)用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的 梯度分量； (2)用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向 的梯度分量； (3)以下公式计算该像素点的梯度大小和方向： Gx(x,y)＝H(x 1,y)-H(x-1,y)； (7) Gy(x,y)＝H(x,y 1)-H(x,y-1)； (8) 其中Gx(x,y)、Gy(x,y)和H(x,y)分别为输入图像中像素点(x,y)处的 水平方向梯 度、垂直方向梯度和像素值，像素点(x,y)处的梯度幅值和 梯度方向分别为： 作为本发明进一步的技术方案，所述步骤(S3)中全部图像特征 提取方法为CNN深 度特征提取方法。 作为本发明进一步的技术方案，所述步骤(S3)中全局纹理图像 特征提取方法为 完整局部二值模式CLBP特征提取方法。 作为本发明进一步的技术方案，所述步骤(S4)中模糊神经网络 的多数据特征关 联算法的计算过程为： (1)假设图像数据集合中每个图像目标为j，利用隶属度公式 构建新图像集合，满足这样的不等式： Dz(i,j)＜LDz(j)MIN (11) 其中： Dz(i,j)＝vi(k) '[St(k)]-1vi(k) (12) 7 CN 111553299 A 说 明 书 4/8 页 Dz(i,j)MIN＝min{Dz(1,j) ,...,Dz(i,j) ,Dz(n,j)} (13) 其中Dz(i ,j)MIN为图像评估测试时的有效测量集中的所有测量与 所述评估图像 目标在位置信息上最小偏差，所述最小偏差最小值为0， 因此第i个测量图像和第j个图像 目标在位置上的相对偏差为D'z(i,j)； 则有计算公式为：D'z(i,j)＝Dz(i,j)/Dz(j)MIN； 当Dz(j)MIN＝0时，相对偏差存在D′z(i,j)＝Dz(i,j)； (2)然后计算出图像目标j同所述目标的有效测量数据集中的 每一个测量数据i (i＝1,2,...,k)；k为所述目标有效测量集中测量的个数 的关联程度度量A(i,j)，其中0≤ A(i,j)≤1；这是经过目标关联模糊推 理模型计算得到的； (3)判决图片目标j同其有效测量集中具有最大关联程度度量 的测量关联。 作为本发明进一步的技术方案，所述步骤(S5)中所述随机随机 森林算法进行数 据降维的方法是通过构建决策树基础上进行集成的 运算。 积极有益效果： 本发明通过深度学习算法，获取图像特征，进而实现数据的分析 和识别，提高了 读取学生面部表情的正确率，有助于教师读取学生表 情，获取学生心理变化，以给予心理 指导。本发明通过对图像进行预 处理，得到纯净的数据信息；并通过对图像特征进行提取， 从局部信 息提取、全局信息提取到全局纹理图像特征提取实现了图像特征信息 的分析， 并将图像信息进行融合，对学生表情以及情态进行深度学习， 获取图像反映出的情绪变化 情况。本发明能够使心理学教师自身能够 主动地学习和了解学生表情以及情态的变化，帮 助教师准确全面地掌 握班级学生的整体情况，促进课堂教学质量的提高。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例中 所需要使用的附图作简单地介绍，显而易见地，下面描 述中的附图仅仅是本发明的一些实 施例，对于本领域普通技术人员来 讲，在不付出创造性劳动的前提下，还可以根据这些附 图获得其他的 附图。 图1为本发明总体架构示意图； 图2为本发明卷积神经网络CNN网络数据模型架构示意图； 图3为本发明多数据特征关联算法架构示意图； 图4为本发明强分类器的训练过程示意图； 图5为本发明一种实施例中表情数据库示意图； 图6为本发明面部表情特征提取CNN网络结构的示例图； 图7为本发明卷积层提取特征的原理示意图； 图8为本发明卷积层提取的特征的一种实施例的示意图。
本发明公开一种基于图像大数据提取学生面部信息实现教育心理学分析方法，通过深度学习算法，获取图像特征，进而实现数据的分析和识别，提高了读取学生面部表情的正确率，有助于教师读取学生表情，获取学生心理变化，以给予心理指导。本发明通过对图像进行预处理，得到 全部
背景技术：
情绪是心理学研究的重要研究对象之一，也是目前为止和大数据 结合最为紧密、 成果最为丰富的研究领域。人脸面部表情识别是通过 计算机对人脸面部由肌肉拉动所产 生的表情图像或视频做特征提取 工作，并按照人类目前理解经验和思想认识来实施表情 归类和表情识 别，从面部信息中提取分析人类情感。表情特征提取的正确性和有用 性是 表情可否正确识别的关键。在心理学教学中，学生面部表情直接 反应学生的心理状态，通 过读取学生在不同情况下的面部特征能够有 效地读懂学生的内心世界，以给予正确的心 理辅导。 传统心理学研究，在关于学生情绪波动方面，通过日周期水平上 的波动节律进行 研究，尤其是主要围绕积极情绪和消极情绪开展的研 究，通过大量的数据，在实验室进过 调查、研究发现，通过这种波动 的方式测试学生的情绪，尽管在各个环节都做的很到位的 情况下，仍 旧存在较大的偏差。因此，目前的学生面部表情以情绪的识别方法在 辅助教师 进行教育心理学分析方面，仍旧显得力不从心。
技术实现要素：
针对现有技术的不足，本发明公开了一种基于图像大数据提取学 生面部信息实 现教育心理学分析方法，通过深度学习算法，获取图像 特征，进而实现数据的分析和识别， 提高了读取学生面部表情的正确 率，有助于教师读取学生表情，获取学生心理变化，以给 予心理指导。 本发明采用以下技术方案： 一种基于图像大数据提取学生面部信息实现教育心理学分析方 法，其中该方法 包括以下步骤： (S1)构建学生图像数据库集合，获取学生面部图片信息； (S2)图像预处理；对数据库中人脸图片进行倾斜校正、大小归 一化、直方图均衡 和灰度归一化处理，清理模糊不清的图片，获取纯 净的图像数据信息，在进行灰度归一化 处理时，采用的方法至少包含 有灰度变换归一化、最大值法、平均值法或加权平均法将彩 色图像进 行灰度化； (S3)图像特征提取；将预处理后的图像数据输入卷积神经网络 CNN网络数据模型 进行深度特征提取；提取的方法包括局部图像特征 提取、全局图像特征提取和全局纹理图 像特征提取；其中所述卷积神 经网络CNN网络数据模型包括输入层、卷积层、子采样层、全 连接层 和输出层；所述输入层用于输入图片信息数据，所述卷积层由神经元 排列组成特 征平面，所述子采样层内的特征面与卷积层中的特征面数 量相同，并且设置成一一对应的 5 CN 111553299 A 说 明 书 2/8 页 关系，以降低特征维度，所述全连接 层设置为汇总所述卷积层和所述采样层的局部特征， 并将汇总后的数 据信息结果输出； (S4)图像数据信息融合；将提取的三种特征分别归一化，然后 进行级联融合；所 述图像级联融合方法为基于模糊神经网络的多数据 特征关联算法；所述多数据特征关联 算法模型结构包括输入层、模糊 化层、规则推理层和逆模糊层；其中： 所述输入层用于输入变量，所述模糊化层用于实现输入变量的模 糊化，所述模糊 化程度通过隶属度来确定，所述隶属度利用以下公式 来表示： 其中，aij和bij分别表示隶属度函数的中心和宽度；μ(xi)表示第i个 输入变量的第 j个模糊子集的隶属度； 所述规则推理层通过设置的不同节点表示模糊操作，一个节点表 示一条模糊规 则，节点介于2-300个； 所述输出层通过重心法进行去模糊化处理，输出信息用以下公式 表示： 其中m表示规则的数目，wi表示规则堆理层输出的第i条规则的 强度，ri表示第i条 规则的结论； (S5)对图像数据信息融合后的数据进行分类；将融合后的特征 输入训练好的强 分类器中进行训练和分类；其中所述强分类器为基于 随机森林算法模型的强分类器，所述 强分类器的训练过程为： 从图像预处理后的样本训练集合中随机采样固定个数的学生图 像样本，每采集 一个样本，放回一个样本，然后再重新采样，如果对 有N个样本训练集做T次的随机采样，则 由于采样的随机性，T次采 样的结果各不相同，每次结果输出频率最多的数据，则作为最终 的数 据模型，则将该点设置当前节点为叶子节点；在原始样本训练数据集 合中，假设输入 为样本集D＝{(x1,y1) ,(x2,y2) ,...,(xm,ym)}；第一次输出是 通过弱学习器算法进行输出， 即弱分类器，将弱分类器进行迭代T次 数，将这些弱分类器叠加，输出为最终的强分类器； (S6)输出表情数据信息；供教师判断，以识别学生面部信息反 应的心理状态。 作为本发明进一步的技术方案，所述步骤(S2)中的灰度变换归 一化的方法为：利 用灰度拉伸的方法将原图像中的灰度分布扩展到具 有整个灰度级的图像，其中所述灰度 变换归一化的公式为： 其中I(i,j)、N(i,j)分别表示原图像的灰度值、变换后图像的灰度 值，min和max 分别表示原图像的最小灰度值和最大灰度值。 作为本发明进一步的技术方案，所述步骤(S2)中的最大值法是 将彩色图像中的 三分量亮度的最大值作为灰度图的灰度值，所述三分 量包括R分量、G分量和B分量。 6 CN 111553299 A 说 明 书 3/8 页 作为本发明进一步的技术方案，所述步骤(S2)中的平均值法是 将不同时间、不同 光照下采集到的图像转换到同一灰度均值和方差的 标准图像，计算公式为 其中I(i,j)、M、V分别表示归一化前图像的灰度值、均值、方差， N(i,j)、M0、V0分别 表示归一化后图像的灰度值、均值、方差。 作为本发明进一步的技术方案，所述步骤(S2)中的加权平均法 是将包括R分量、G 分量和B分量的三个分量以不同的权值进行加权 平均，计算公式为：f(i,j)＝0.30R(i,j) 0.59G(i,j) 0.11B(i,j) (6)。 作为本发明进一步的技术方案，所述步骤(S3)中局部图像特征 提取方法为方向 梯度直方图法，所述方向梯度直方图法的方法为： (1)用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的 梯度分量； (2)用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向 的梯度分量； (3)以下公式计算该像素点的梯度大小和方向： Gx(x,y)＝H(x 1,y)-H(x-1,y)； (7) Gy(x,y)＝H(x,y 1)-H(x,y-1)； (8) 其中Gx(x,y)、Gy(x,y)和H(x,y)分别为输入图像中像素点(x,y)处的 水平方向梯 度、垂直方向梯度和像素值，像素点(x,y)处的梯度幅值和 梯度方向分别为： 作为本发明进一步的技术方案，所述步骤(S3)中全部图像特征 提取方法为CNN深 度特征提取方法。 作为本发明进一步的技术方案，所述步骤(S3)中全局纹理图像 特征提取方法为 完整局部二值模式CLBP特征提取方法。 作为本发明进一步的技术方案，所述步骤(S4)中模糊神经网络 的多数据特征关 联算法的计算过程为： (1)假设图像数据集合中每个图像目标为j，利用隶属度公式 构建新图像集合，满足这样的不等式： Dz(i,j)＜LDz(j)MIN (11) 其中： Dz(i,j)＝vi(k) '[St(k)]-1vi(k) (12) 7 CN 111553299 A 说 明 书 4/8 页 Dz(i,j)MIN＝min{Dz(1,j) ,...,Dz(i,j) ,Dz(n,j)} (13) 其中Dz(i ,j)MIN为图像评估测试时的有效测量集中的所有测量与 所述评估图像 目标在位置信息上最小偏差，所述最小偏差最小值为0， 因此第i个测量图像和第j个图像 目标在位置上的相对偏差为D'z(i,j)； 则有计算公式为：D'z(i,j)＝Dz(i,j)/Dz(j)MIN； 当Dz(j)MIN＝0时，相对偏差存在D′z(i,j)＝Dz(i,j)； (2)然后计算出图像目标j同所述目标的有效测量数据集中的 每一个测量数据i (i＝1,2,...,k)；k为所述目标有效测量集中测量的个数 的关联程度度量A(i,j)，其中0≤ A(i,j)≤1；这是经过目标关联模糊推 理模型计算得到的； (3)判决图片目标j同其有效测量集中具有最大关联程度度量 的测量关联。 作为本发明进一步的技术方案，所述步骤(S5)中所述随机随机 森林算法进行数 据降维的方法是通过构建决策树基础上进行集成的 运算。 积极有益效果： 本发明通过深度学习算法，获取图像特征，进而实现数据的分析 和识别，提高了 读取学生面部表情的正确率，有助于教师读取学生表 情，获取学生心理变化，以给予心理 指导。本发明通过对图像进行预 处理，得到纯净的数据信息；并通过对图像特征进行提取， 从局部信 息提取、全局信息提取到全局纹理图像特征提取实现了图像特征信息 的分析， 并将图像信息进行融合，对学生表情以及情态进行深度学习， 获取图像反映出的情绪变化 情况。本发明能够使心理学教师自身能够 主动地学习和了解学生表情以及情态的变化，帮 助教师准确全面地掌 握班级学生的整体情况，促进课堂教学质量的提高。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例中 所需要使用的附图作简单地介绍，显而易见地，下面描 述中的附图仅仅是本发明的一些实 施例，对于本领域普通技术人员来 讲，在不付出创造性劳动的前提下，还可以根据这些附 图获得其他的 附图。 图1为本发明总体架构示意图； 图2为本发明卷积神经网络CNN网络数据模型架构示意图； 图3为本发明多数据特征关联算法架构示意图； 图4为本发明强分类器的训练过程示意图； 图5为本发明一种实施例中表情数据库示意图； 图6为本发明面部表情特征提取CNN网络结构的示例图； 图7为本发明卷积层提取特征的原理示意图； 图8为本发明卷积层提取的特征的一种实施例的示意图。
