技术摘要：
一种微表情发生检测方法，1)刺激诱发微表情之前记录被测试者的常态脑电数据和常态面部视频数据；2)刺激诱发微表情，记录脑电数据和面部视频数据；3)标记时间戳数据，匹配脑电时间数据和面部视频时间数据；4)获得脑电时间数据发生反应的起点时刻Tsm、面部表情变化的起止 全部
背景技术：
微表情作为一种发生在1/25s～1/2s内短暂的面部表达，被认为是人们压抑时或 试图隐藏真实情绪时难以控制的自然情感表达，因此是测谎中的一个非常重要的线索，其 重要性和广泛的应用场景受到了越来越广泛的关注。 目前，对微表情的探测主要是通过表情识别的方法，这种方法在一定程度上能够 从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理 情绪，实现计算机对人脸表情的理解与识别，但该方法检测准确率不高，容易产生误判。随 着脑电技术的发展，其展现出的高时间动态分辨率和对大脑活动的高敏感性使得对微表情 发生的探测有了更加直接的手段，但仅通过脑电信号进行表情和情绪的检测却受限于检测 模态单一，准确率较低。 公告号为CN109344816A，公开了一件名为“一种基于脑电信号实时检测面部动作 的方法”，通过时间关联脑电信号和对应的面部动作图片，从而可以提取每一帧图片对应的 脑电信号，再通过提取脑电特征信息建立BP神经网络建立面部动作检测模型，达到通过脑 电信号对面部三类动作进行识别的目的。其不足在于：1、该专利并未公开通过时间关联脑 电信号和面部动作图片的具体方式，处理脑电信号和面部图片识别都具有一定的延迟性， 无法解决数据同步的问题；2、通过建立BP神经网络进行面部动作检测需要大量的计算和数 据处理，无法处理大量数据；3、该专利的本质还是通过脑电信号对面部图片识别，并非对脑 电信号和面部图片进行分别识别再联合判断，其准确性不足。
技术实现要素：
本发明的一个目的就是提供一种微表情发生检测方法，它通过时间戳关联脑电信 号和面部图像信息，分别对脑电信号和面部视频数据进行处理，再结合处理结果判定是否 发生了微表情，判定结果准确率高。 本发明的该目的是通过这样的技术方案实现的，包括有刺激诱发微表情之前步骤 和刺激诱发微表情之后步骤，刺激诱发微表情之前记录被测试者的常态脑电数据和常态面 部视频数据，刺激诱发微表情之后包括以下步骤： 1)刺激诱发微表情，记录脑电数据和面部视频数据； 2)为每一段脑电数据和每一帧面部视频数据均标记时间戳数据，匹配生成脑电时 间数据和面部视频时间数据； 3)处理脑电数据、脑电时间数据、面部视频数据和面部视频时间数据，获得通过脑 电数据和脑电时间数据判断的脑电微表情发生时刻Tsm，获得通过面部视频数据和面部视频 时间数据判断的面部表情变化的起止帧和顶帧； 5 CN 111611860 A 说 明 书 2/8 页 4)根据步骤3)处理后的脑电判定微表情发生时刻Tsm、面部表情变化的起止帧和顶 帧，判定微表情是否发生。 进一步，记录被测试者的常态脑电数据、常态面部视频数据，步骤1)中记录脑电数 据和面部视频数据的具体方法为： 通过使用Biosemi Active系统从128个电极记录以1024Hz采样率获取、记录常态 脑电数据和脑电数据；通过Biosemi Active系统的高速摄像机以每秒80帧的速度获取、记 录常态面部视频数据和面部视频数据。 进一步，步骤2)中所述为每一段脑电数据和每一帧面部视频数据均标记时间戳数 据的具体方法为： 利用Biosemi Active系统的时间同步模块，使时间同步模块中的时间戳数据同步 传送至Biosemi Active系统的脑电采集模块和高速摄像机采集模块，使得脑电采集模块获 取的每一段脑电数据和高速摄像机获取的每一帧面部视频数据均包含同步的时间戳数据， 即生成脑电时间数据和面部视频时间数据。 进一步，步骤3)中所述处理脑电数据和脑电时间数据的具体步骤如下： 3-1)以常态脑电数据作为基线数据，计算常态时左侧颞叶通道D23、右侧颞叶通道 A09、前额叶通道B26的常态Gamma波段的功率谱密度PSD常态值，功率谱密度表示单位频率 波携带的功率，PSD常态值计算公式为 X(k)表示长度为N的序列的傅里叶变 换，k表示频率； 3-2)针对脑电时间数据，设置滑动窗时长为W＝2s，以2*(1/fs)为滑动时间，fs为 脑电采样频率；计算2s滑动窗内左侧颞叶通道D23、右侧颞叶通道A09、前额叶通道B26在 Gamma频段的PSD滑动窗时长值，并与对应通道的常态PSD值进行比较；若左侧颞叶通道D23、 右侧颞叶通道A09、前额叶通道B26中任何一个通道PSD值高于常态PSD值，则假设脑电数据 发生变化，转向步骤3-3)；左侧颞叶通道D23、右侧颞叶通道A09、前额叶通道B26中任何一个 通道PSD值低于常态平均PSD值的情况不做处理，认定脑电数据未发生变化； 3-3)取假设脑电数据发生变化的滑动窗时长W＝2s内的数据，首先计算这2s内的 能量值E，能量公式为 其中x(n)为信号幅度，N为数据长度，即2s的数据，取 能量值均值为门限值G：G＝1/2E；将能量值E与门限值G相比，若E>G，且5ms以内给定采样点 En均能持续达到门限值(E1...En>G)，则初步认为Tn是反应起点时刻Ts；同时，设置对比门 限值PR，公式为 计算起点Ts之前n个采样点的对比值PRn，若|PNn- PNN-1|＝0则认为第一个采样点PRn对应的时刻为反应起点Ts；若反应起点Ts成功找到，则转 向步骤3-4)；若反应起点Ts未成功找到，则返回步骤3-2)； 3-4)在反应起点Ts时刻，分别取左侧颞叶通道D23、右侧颞叶通道A09、前额叶通道 B26的脑区通道起始时刻Ts，若时刻TsD23-TsB26>0或TsD23-TsA09>0，且必须满足 则记 录该时刻点，即微脑电表情发生时刻Tsm；若不满足条件，则返回步骤3-2)； 3-5)获得脑电数据下的脑电微表情发生时刻Tsm。 进一步，步骤3)中所述处理面部视频数据和面部视频时间数据的具体步骤为： 3-6)对人脸进行检测，从每一帧的原始图像中检测出人脸的具体位置； 6 CN 111611860 A 说 明 书 3/8 页 3-7)对人脸视频采集中的人脸进行人脸对齐和面部基准点定位；根据输入的人脸 图像，采用CLM局部约束模型自动定位出面部关键特点CLM局部约束模型； 3-8)提取基于形变的表情特征：利用CLM对面部特征点的标注，获取到面部基准点 坐标后，计算这些面部基准点之间的相关斜率信息，提取基于形变的表情特征；同时对三个 区域内的关键点进行追踪，提取相应位移信息，并提取表情图片的特定特征点之间的距离 信息，将距离与平静图片相减，得到距离的变化信息，提取出基于运动的表情特征； 3-9)根据面部特征数据提取结果，得到起止帧和顶帧；其中，通过比较特征点之间 的距离与平静图片的距离差k，设定阈值R，超过k>R的第一帧图像判定为起始帧；通过比对 起始帧后图像，将k值最大值的一帧图像判定为顶帧数，当k
