技术摘要：
本申请提供了一种利用脑电信号重建视觉图像的方法及装置，包括：利用人工神经网络的自学习能力，建立脑电信号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系；其中，所述特征图像特征包括像素点值，和像素点位置；获取受试者的当前脑电信号的当前特征向  全部
背景技术：
科学界一直尝试突破对大脑工作机制理解和探测技术的极限。例如，用  于残疾人 的机器直接驱动控制的脑-机接口研究是一个相对成功的研究领  域，它可以对用户的生活 产生直接影响。而认知神经科学的研究一直试图确  定人类视觉皮层和大脑的哪些部分负 责视觉认知过程，但还未有定论，但人  们已经确定，大脑活动记录包含有关视觉对象类别 的信息。这种考虑使人怀  疑是否可以识别这种大脑的活动模式，以便提取关于观察到的场 景内容的有  用信息。然后，将这种信息与条件生成模型结合使用，使其重建意境逼真的 图 像。 事实上，人类的视觉皮层占整个皮层面积的30％左右，这使得它远远大  于其他感 觉皮层，这意味着视觉信息在大脑中的呈现显然是所有感觉过程中  最复杂的。在2012年的 《美国科学公共图书馆生物卷》中，B.N.Pasley等  人描述了一种基于人类听觉皮层数据重 建(部分)语音刺激的方法，由皮层  表面电极阵列获得听觉数据。该方法与脑电信号的获取 相比，受噪声影响更  小，并且需要的生成模型更简单。然而，这样的做法用于视觉信号提取 是禁  止的，因为它需要进行开颅手术。 重建人类视觉的过程不同于其感觉，因为它需要理解通过现有设备记录  的脑信 号是否记录视觉的内容和如何传达视觉内容的。有一些研究试图解决  这个问题，例如，通 过不同的视觉刺激识别所见类别。2015年，B.Kaneshiro  等人在《美国科学公共图书馆- ONE》中提出训练一个分类器，根据脑电信  号生成的地形图来识别目标类别。然而，由于所 采用的线性分类器不能很好  地反映脑电信号的时空动态特性，因此获得的准确率较低(12 类以上29％)。  2014年A.X.Stewart等人《神经科学方法杂志》中也有类似的工作，但这次  原始脑电数据首先通过独立分量分析进行处理，然后输入一个支持向量机分  类器，该分类 器的任务是只区分两个类别。虽然这些工作无疑是有趣的，但  它们仍存在一些局限性(相 对简单的分类模型，较少的对象类)，不允许在 更深层次上研究脑电信号的时空动力学。
技术实现要素：
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解  决所述 问题的一种利用脑电信号重建视觉图像的方法及装置，包括： 一种利用脑电信号重建视觉图像的方法，包括： 利用人工神经网络的自学习能力，建立脑电信号的特征向量与根据脑电  信号生 成的图像的图像特征之间的对应关系；其中，所述特征图像特征包括  像素点值，和像素点 位置； 获取受试者的当前脑电信号的当前特征向量； 5 CN 111568412 A 说　明　书 2/17 页 通过所述对应关系，确定与所述当前特征向量对应的当前图像特征；具  体地，确 定与所述当前特征向量对应的当前图像特征，包括：将所述对应关  系中与所述当前特征向 量相同的特征向量所对应的图像特征，确定为所述当 前图像特征。 进一步地， 所述特征向量，包括：时间特征，和波形特征，和/或由按设定规律自所  述时间特 征，以及所述波形特征中提取的特征组成的一维或以上的综合特 征；其中， 所述时间特征，包括：单位时间步时长； 和， 所述波形特征，包括：采集点数量，以及各采集点在单位时间步内的采 集电压值； 和/或， 所述对应关系，包括：函数关系；所述特征向量为所述函数关系的输入  参数，所述 图像特征为所述函数关系的输出参数； 确定与所述当前特征向量对应的当前图像特征，还包括： 当所述对应关系包括函数关系时，将所述当前特征向量输入所述函数关  系中，确 定所述函数关系的输出参数为当前图像特征。 进一步地，建立脑电信号的特征向量与根据脑电信号生成的图像的图像  特征之 间的对应关系的步骤，包括： 利用循环人工神经网络的学习特性，获取所述时间特征，和所述波形特  征与所述 特征向量之间的特征关系； 获取用于建立所述对应关系的时间特征，和波形特征； 通过所述特征关系，确定与所述用于建立所述对应关系的时间特征，和  波形特征 对应的特征向量。 进一步地，所述建立脑电信号的特征向量与根据脑电信号生成的图像的 图像特 征之间的对应关系的步骤，包括： 获取用于建立所述特征向量与所述图像特征之间的对应关系的样本数  据； 分析所述特征向量的特性及其规律，根据所述特性及其规律，确定所述  人工神经 网络的网络结构及其网络参数； 使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，  确定所述 特征向量与所述图像特征的所述对应关系。 进一步地，所述获取用于建立所述特征向量与所述图像特征之间的对应  关系的 样本数据的步骤，包括： 收集不同受试者的所述特征向量和所述图像特征； 对所述特征向量进行分析、并结合预存的专家经验信息，选取与所述图  像特征相 关的数据作为所述特征向量； 将所述图像特征、以及选取的所述特征向量构成的数据对，作为样本数  据。 进一步地， 对所述网络结构和所述网络参数进行训练，包括： 选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的  所述特 征向量输入到所述网络结构，通过所述网络结构的损失函数，激活函  数和所述网络参数进 6 CN 111568412 A 说　明　书 3/17 页 行训练，得到实际训练结果； 确定所述实际训练结果与所述训练样本中的相应图像特征之间的实际  训练误差 是否满足预设训练误差； 当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和  所述网 络参数的所述训练完成； 和/或， 对所述网络结构和所述网络参数进行测试，包括： 选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中  的所述 特征向量输入到所述训练完成的所述网络结构中，以所述损失函数，  激活函数和所述训练 完成的所述网络参数进行测试，得到实际测试结果； 确定所述实际测试结果与所述测试样本中的相应图像特征之间的实际  测试误差 是否满足设定测试误差； 当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和  所述网 络参数的所述测试完成。 进一步地， 对所述网络结构和所述网络参数进行训练，还包括： 当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的  误差损 失函数更新所述网络参数； 通过所述网络结构的所述损失函数，激活函数和更新后的所述网络参数  进行重 新训练，直至所述重新训练后的实际训练误差满足所述设定训练误  差； 和/或， 对所述网络结构和所述网络参数进行测试，还包括： 当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所  述网络 参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设  定测试误差。 一种利用脑电信号重建视觉图像的装置，包括： 建立模块，用于利用人工神经网络的自学习能力，建立脑电信号的特征 向量与根 据脑电信号生成的图像的图像特征之间的对应关系；其中，所述特  征图像特征包括像素点 值，和像素点位置； 获取模块，用于获取受试者的当前脑电信号的当前特征向量； 确定模块，用于通过所述对应关系，确定与所述当前特征向量对应的当  前图像特 征；具体地，确定与所述当前特征向量对应的当前图像特征，包括：  将所述对应关系中与所 述当前特征向量相同的特征向量所对应的图像特征，  确定为所述当前图像特征。 一种设备，包括处理器、存储器及存储在所述存储器上并能够在所述处  理器上运 行的计算机程序，所述计算机程序被所述处理器执行时实现如上所  述的利用脑电信号重 建视觉图像的方法的步骤。 一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程  序，所述计 算机程序被处理器执行时实现如上所述的利用脑电信号重建视觉 图像的方法的步骤。 本申请具有以下优点： 在本申请的实施例中，通过利用人工神经网络的自学习能力，建立脑电  信号的特 7 CN 111568412 A 说　明　书 4/17 页 征向量与根据脑电信号生成的图像的图像特征之间的对应关系；其 中，所述特征图像特征 包括像素点值，和像素点位置；获取受试者的当前脑 电信号的当前特征向量；通过所述对 应关系，确定与所述当前特征向量对应 的当前图像特征；具体地，确定与所述当前特征向 量对应的当前图像特征，  包括：将所述对应关系中与所述当前特征向量相同的特征向量所 对应的图像  特征，确定为所述当前图像特征。克服了脑电信号中混杂的噪声和伪影的影  响，成功利用其重建图像；利用了脑电信号的时空特征，将脑电信号中的有  效信息提取用 于图像重建，而不只是简单的分类。 附图说明 为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要  使用的 附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的  一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动性的前提  下，还可以根据这些附图获得其他 的附图。 图1是本申请一实施例提供的一种利用脑电信号重建视觉图像的方法的  步骤流 程图； 图2是本申请一实施例提供的一种利用脑电信号重建视觉图像的方法的  流程示 意图； 图3是本申请一实施例提供的一种利用脑电信号重建视觉图像的方法的  循环人 工神经网络结构示意图； 图4是本申请一实施例提供的一种利用脑电信号重建视觉图像的方法的  脑电信 号的特征向量提取框架结构示意图； 图5-a是本申请一具体实现提供的一种利用脑电信号重建视觉图像的方  法的利 用脑电信号的特征向量重建图像的示意图； 图5-b是本申请一具体实现提供的一种利用脑电信号重建视觉图像的方  法的重 建图像的初始得分和分类结果示意图； 图6是本申请一实施例提供的一种利用脑电信号重建视觉图像的装置的  结构框 图； 图7是本发明一实施例的一种计算机设备的结构示意图。