技术摘要：
本发明公开了基于CWT和MLMSFFCNN的脑电识别方法，将各导联运动想象脑电信号进行CWT，得到每导联的时频矩阵；然后，截取信号时频矩阵8‑30Hz频带的数据，沿频率轴等分为三个子矩阵；将三个子矩阵分别按列求和，得到三个子序列后，将每个子序列沿时间轴分为三个窗口；结  全部
背景技术：
随着深度学习技术的发展，利用深度学习技术对MI-EEG信号进行识别因其巨大的 发展潜力而受到关注。卷积神经网络的(Convolutional  Neural  Network，CNN)仿生感受野 机制能充分提取MI-EEG信号在局部空间上的变化，在处理具有多导联的MI-EEG信号方面具 有独特的优势。在现有基于CNN的方法中，网络的输入是各个导联信号经过时频变换后产生 的时频矩阵，或进一步按某个人为指定的顺序将不同导联产生的时频矩阵进行堆砌形成的 数据矩阵。该方法虽然对MI-EEG信号的时频信息进行了有效提取，但是特征矩阵生成方式 无法很好保留导联间的相对位置，不符合MI-EEG信号的空间分布特性；同时，这些方法使用 的CNN只包含一种尺度的卷积核，这使得网络不能对MI-EEG信号的特征矩阵进行多分辨率 计算，容易造成空域局部相关性信息的丢失；另外，传统序贯式CNN在输出分类结果时只考 虑最后一层卷积的计算结果，不能充分利用中间过程产生的卷积特征，缺乏对于全局空间 特征和抽象空间特征的综合推理能力。从而，限制了CNN对于MI-EEG的识别能力。 针对以上问题，本专利将基于CWT和MLMSFFCNN实现对MI-EEG信号时、频、空域特征 的提取和融合，从而提升MI-EEG信号识别准确率。
技术实现要素：
针对现有方法的不足，本发明要解决的技术问题为：提出了一种基于连续小波变 换与多级多尺度特征融合卷积神经网络的MI-EEG信号识别方法。 具体涉及： (1)使用连续小波变换计算各个导联EEG信号的时频矩阵，提取运动想象最相关的 8-30Hz频带的部分信息，并将其平均划分为3×3的9个子区域。计算各子区域内所有点小波 系数平方的均值作为该子区域的时频特征值，从而，每导EEG信息得到3×3的时频特征矩 阵，以使各导联EEG的时频信息得到有序的保留。 (2)将所有导联的3×3时频特征矩阵插值到二维采集系统相应导联坐标上，从而， 每次运动想像实验获得一个N×N维度的复合特征矩阵。不仅使各导联EEG的时频特征正确 体现在其导联的空间位置上，而且最终生成具有时域、频域和空域多维度信息的复合特征 矩阵。 (3)采用MLMSFFCNN进行多分辨率的特征融合与分类。首先，设计了多级卷积神经 4 CN 111582041 A 说　明　书 2/6 页 网络结构，将各级卷积网络输出的计算结果进行拼接，实现对全局特征与抽象特征的融合。 其次，在序贯式卷积神经网络的基础上设计具有多分支结构的各级卷积神经网络，采用三 组1×1、2×2和3×3的多尺度卷积核同时对复合特征矩阵进行特征提取，增加了模型在局 部空间上对复合特征矩阵的多分辨率分析能力。MLMSFFCNN有利于提升模型的分类性能。 综上，本发明的技术路线为：首先，对每导联原始MI-EEG信号进行CWT变化，提取8- 30Hz频带的特征矩阵。将该矩阵等分为3×3的子区域，计算每个子区域内小波系数平方的 平均值作为子区域特征，从而，每导联MI-EEG数据得到3×3特征值。进而，采用三次曲面插 值法将每个导联得到3×3特征矩阵插值到采集系统平面坐标中的相应导联位置上，得到一 个包含了时频特征与空间信息的64*64复合特征矩阵。最后，使用多级多尺度特征和合卷识 神经网络，实现复合特征矩阵多分辨率特征的提取及全局特征与抽象特征的有机融合，有 效提高MI-EEG的识别效果。 1基于连续小波变换的MI-EEG复合特征矩阵计算 1 .1假设 为第i次实验第m导联采集的运动想象期间的脑电信号，其 中，m∈{1，2，3，...，Nc}表示采集运动想象脑电任务的导联标签，Nc代表导联数；i∈{1，2， 3，…，Nm}，Nm表示采集实验次数；k∈{1，2，3，...，Ns}，Ns代表一次实验采样点数。则第i次采 集实验获得脑电数据为 1.2对 进行CWT，小波基函数选择cgau8。假设原始数据采样频率为fs， 小波变换频率轴变量记为j，小波物理频率设为Nf＝65，则可得变换后的时频矩阵为 1.3根据MI的激活特点，在矩阵 中截取8-30Hz的时频矩阵，即对应j ∈{3，4，…，14}的部分数据，记为 这里，j∈{1，2，…，12}。 1.4将Xej，k沿纵轴(频率)等分为三个子矩阵， 将每个子矩阵中一列的4个特征值求和，这样即得到三个子序列，记为 以 为例， 1 .5将每个子序列 按时间轴k等分为3个窗，得到三个窗口的子序列， 记为 1.6针对每个窗口的子序列，求取各点小波系数的模长后取平方，再将每个窗口的 子序列内的 个值求和后取平均，得到 以 为例， 5 CN 111582041 A 说　明　书 3/6 页 1 .7根据数据集中的导联分布平面图提取N c导联的平面坐标信息，记为 1 .8以Cn，m中的坐标为中心，将每一个坐标点都扩展为一个3×3的坐标矩阵，扩展 后的坐标系记为 1.9将 共9个特征值排列为一个3×3时频特征矩阵，依据C′v，m进行三 次曲面插值，使其按照导联位置排列在一个64×64的矩阵中，记为G∈R64×64。总体输入数据 为 2使用MLMSFFCNN对小波变换复合特征矩阵进行识别 2.1  MLMSFFCNN共包含五级卷积，每级卷积结构相同且包含3个卷积分支结构。在 每个卷积分支的末尾使用Sw＝2的降采样卷积层将CNN特征矩阵维度变为原来一半。最后将 三个卷积分支的输出进行加和，得到这一级卷积的输出，表示为 其中u为卷 积级数的序号，u＝{1，2，3，4，5}。Gu继续作为u 1级卷积的输入矩阵。将Gu展平为一个长向 量，连接一个长度为128的全连接层，其输出表示为V 1×128u∈R ，Vu为每个卷积层提取的用于 特征融合的向量。 每级卷积包含三个分支结构，每个分支包含若干卷积层，每个卷积层包含若干个 卷积核。各个分支用于特征提取的卷积尺寸不同。 卷积核的输入先经过线性函数运算后进行非线性输出，输入输出对应关系可用下 式表示： 其中，x为输入信号， 表示输入信号x与神经元连接的权重值，卷积核 尺度为Nw×Nw，Nw＝{1，2，3}，Sw＝{1，2}为卷积核在输入矩阵上的移动步长，b表示神经元的 内部状态的偏置值，y为神经元的输出。f(a)为非线性激活函数，使用线性整流函数 (Rectified  Linear  Unit，ReLU)进行计算，其计算式如下： f(a)＝RELU(a)＝max(0，a) 各级卷积以及卷积分支的配置如表1所示。 表1各级卷积结构参数 6 CN 111582041 A 说　明　书 4/6 页 2.2将五级卷积的全连接层Vu进行融合用于最终分类，得到一个融合全连接层V∈ R1×640用于最终分类，u＝{1，2，3，4，5}。之后连接一个长度为256的全连接层后V ∈R1×256f ，之 后连接到分类节点，分类节点数为数据集类别数量No。 2.3  CNN的输出值O ∈R1×1c ，c∈{1，2，...，No}经过归一化指数函数(Softmax函数) 的计算得到归一化的概率值，即Pc(x)，c∈{1，2，...，No}，计算式如下： 2.4测试过程采用十折交叉验证得到分类准确率。 与现有技术相比，本发明具有以下优点： (1)本发明通过对信号进行连续小波变换，提取时频特征矩阵，在时频转换过程中 具有自适应性，并且更适合处理MI-EEG这类包含突变的信号。从每一导联的连续小波变换 矩阵中提取9个特征点，对时频信息进行了保留。利用所有导联的特征插值为一个复合特征 矩阵，将时频特征放置在正确的导联位置上，克服了现有的时频提取方法在反应空域信息 上的不足，为后续神经网络对空间信息的提取奠定了基础。 (2)本方法中的MLMSFFCNN采用级联结构，每级卷积网络中包含多分支卷积结构， 实现了使用不同尺度的卷积核对特征进行多分辨率计算与特征提取，在每级卷积的末端进 行多分辨特征融合。这样，基于坐标位置的复合特征矩阵中不同分辨率的局部信息都能够 被CNN充分利用，从而有利于提升对于MI-EEG这类带有空间分布特性脑电信号的识别率。此 外，相对于序贯式CNN只能利用最末端的计算结果而言，MLMSFFCNN能够将各级卷积输出的 特征矩阵拼接为一个融合特征向量。这使得靠近输入端的全局特征和靠近输出端的高维特 征都能在融合后被用于分类。由于中间的卷积计算结果能够被充分利用，MLMSFFCNN在空域 信息的利用以及模型的解码能力上都有很大提升，能够更好地适用于MI-EEG这种具有空间 分布特性信号的识别。 本发明适合具有空间分布特性的脑电识别分类任务，会为BCI领域的研究提供广 阔前景。 7 CN 111582041 A 说　明　书 5/6 页 附图说明 图1为复合特征矩阵生成流程图。 图2复合特征矩阵生成流程图。 图3复合特征矩阵生成流程图。