logo好方法网

一种基于RSVP范式的脑-机结合目标检测方法及系统


技术摘要:
本发明涉及一种基于RSVP范式的脑‑机结合目标检测方法及系统,对无人机航拍图进行切割,得到刺激图片,并向被试者连续呈现刺激图片序列,获取被试者的脑电信号,结合FTRL在线算法和HDCA离线算法,提出了一种新型的目标在线识别算法,对被试者的脑电信号进行实时评分,  全部
背景技术:
现有的无人机目标检测、搜救系统主要有两种:有信标的目标定位和基于图像的 目标定位。某些人员在执行任务过程中佩戴专门研制的单兵信标机,与无人机进行数据传 输。相比之下,基于图像的目标定位,应用面更广。而现有的基于图像的目标定位技术所采 用的机器视觉相关算法,其目标检测往往需要大量的训练数据,还需要大量调参,才能增强 系统对目标的识别能力,且只能检测指定的目标,若加入新的识别目标,还需要重新训练模 型。 图像的视觉属性对大脑感知影响的研究已成为学者们近年来感兴趣的研究方向。 研究者利用图像快速呈现(Rapid  Series  Visual  Presentation,RSVP)的方法探索视觉属 性对于大脑认知机制、行为学特性、神经信息加工的影响,并利用大脑对目标图像的神经响 应特性差异,将其应用到了目标检测、人脸识别、字符拼写、医学图像分类等领域。现有的目 标图像的筛选方法中,人工方法可以充分利用人脑的认知能力和视觉信息处理能力,目标 图像识别准确率高,但其识别效率低。计算机人工智能方法具有庞大的信息存储能力和高 速的处理速度,但其判别准确性低,目前只能识别某些低级特征信息大的信息。 目前,还没有一种人-机融合的基于RSVP范式的用于无人机航拍图像中进行目标 检测的系统及方法。
技术实现要素:
本发明的目的是提供一种基于RSVP范式的脑-机结合目标检测方法及系统,将基 于RSVP范式的脑-机接口运用在实际目标检测场景中,充分利用人脑的强大功能,给目标检 测技术带来新的思路和方法。根据非目标图片和目标图片激发的脑电波可分性,结合无人 机所拍摄图片之间的相关性,实现了在无人机的航拍图中确定目标准确位置的功能。 为实现上述目的,本发明提供了如下方案: 一种基于RSVP范式的脑-机结合目标检测方法,包括: 接收无人机回传的航拍图; 采用图片切割算法对所述航拍图进行切割,得到刺激图片,并存储; 按存储顺序选取a张所述刺激图片,形成刺激图片序列;其中,a为常数; 向被试者连续呈现所述刺激图片序列,获取被试者的脑电信号; 利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进 行评分,得到识别结果;所述识别结果为目标图片和非目标图片; 根据所述识别结果,选取所述刺激图片序列中的部分所述刺激图片所对应的所述 脑电信号作为在线更新的脑电信号; 6 CN 111597990 A 说 明 书 2/11 页 利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在 线更新,得到更新后的HDCA算法模型,并将所述更新后的HDCA算法模型作为下一循环中的 所述训练好的HDCA算法模型; 利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进 行评分,得到所述刺激图片序列的评分结果;所述评分结果中评分值越高表明所对应的所 述刺激图片包含目标的概率越大; 对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激图片,形成刺激图片 序列”,直至所述刺激图片的数量为0,选取所有所述评分结果中评分值大于预设的第一阈 值的所述刺激图片,并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度,确 定待识别的目标。 一种基于RSVP范式的脑-机结合目标检测系统,包括: 航拍图接收单元,用于接收无人机回传的航拍图; 刺激图片生成单元,用于采用图片切割算法对所述航拍图进行切割,得到刺激图 片,并存储; 刺激图片序列生成单元,用于按存储顺序选取a张所述刺激图片,形成刺激图片序 列;其中,a为常数; 脑电信号采集单元,用于向被试者连续呈现所述刺激图片序列,获取被试者的脑 电信号; 脑电信号识别单元,用于利用训练好的HDCA算法模型分别对每张所述刺激图片所 对应的所述脑电信号进行评分,得到识别结果;所述识别结果为目标图片和非目标图片; 脑电信号选择单元,用于根据所述识别结果,选取所述刺激图片序列中的部分所 述刺激图片所对应的所述脑电信号作为在线更新的脑电信号; 算法模型更新单元,用于利用所述在线更新的脑电信号和FTRL算法对所述训练好 的HDCA算法模型进行在线更新,得到更新后的HDCA算法模型,并将所述更新后的HDCA算法 模型作为下一循环中的所述训练好的HDCA算法模型; 评分单元,用于利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所 述脑电信号进行评分,得到所述刺激图片序列的评分结果;所述评分结果中评分值越高表 明所对应的所述刺激图片包含目标的概率越大; 目标识别单元,用于对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激 图片,形成刺激图片序列”,直至所述刺激图片的数量为0,选取所有所述评分结果中评分值 大于预设的第一阈值的所述刺激图片,并确定所述评分值大于预设的第一阈值的所述刺激 图片的经纬度,确定待识别的目标。 根据本发明提供的具体实施例,本发明公开了以下技术效果: (1)本发明提供的基于RSVP范式的脑-机结合目标检测方法及系统,与现有的基于 图像的目标定位技术所采用的机器视觉相关算法相比,由于只需要被试者记住目标图片的 内容,在多次呈现刺激图片后,分析其对应的脑电信号,以确定目标位置,因此训练简单。检 测目标每次都可以随意选取,即可以对任意指定目标进行识别,从而大大增加可检测目标 的种类。本发明采用异步脑机接口技术,具有实时性好、分辨准确率高、体积小、便携性好、 便于操作等优势。 7 CN 111597990 A 说 明 书 3/11 页 (2)本发明提供的基于RSVP范式的脑-机结合目标检测方法及系统,在脑电信号离 线分类算法HDCA的基础上,考虑到随着实验的进行,被试者对目标的熟悉程度提高,脑电信 号的潜伏期可能发生改变,进而提出一种在线算法FTRL,将FTRL运用到HDCA算法的逻辑回 归部分,采用在线学习的方式在线训练模型,实时更新模型参数,对每次接收的刺激图片实 时评分,从而提高了算法的识别精度,减少了训练的时间,增强了系统的鲁棒性。相比以往 在线脑电信号识别算法而言,由于以往在线算法的执行过程为每间隔一定的时间,将已识 别信号进行标注,加入训练集,重新训练模型,即模型每隔一段时间更新一次,因此模型更 新速度慢,并且每次需要重新训练,效率比较低。而本发明提出的在线算法在每次接收到一 个在线更新的脑电信号时,均会进行模型更新,因此模型参数更新快,模型能够随着信号的 改变做及时调整,识别准确率高。 (3)本发明提供的基于RSVP范式的脑-机结合目标检测方法及系统,相对于传统的 RSVP范式而言,由于传统的RSVP范式只是将图片随机呈现,而本发明在设计RSVP图片的呈 现顺序时,利用无人机巡航过程中航拍图的相关性,根据上次的评分结果对当前刺激图片 序列进行排序和重选,能够降低重复图片的数目,提高识别速度,还能避免视觉瞬脱导致的 漏判。 (4)本发明提供的基于RSVP范式的脑-机结合目标检测方法及系统,由于在RSVP范 式中,非目标图片数量会大大超过目标图片,样本不平衡现象严重,会在很大程度上影响模 型效果,故本发明在线更新的脑电信号采用采样的方法产生,对非目标图片对应的脑电信 号进行降采样,对目标图片对应的脑电信号进行过充采样,以解决样本不平衡问题,从而可 以大大提高目标检测的精确度。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所 需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施 例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获 得其他的附图。 图1为本发明实施例1提供的基于RSVP范式的脑-机结合目标检测方法的方法流程 图。 图2为本发明实施例1提供的航拍图切割示意图。 图3为本发明实施例1提供的算法性能评价ROC曲线。 图4为本发明实施例1提供的算法性能评价AUC曲线。 图5为本发明实施例1提供的控制流程图。 附图说明: 1-子图一、2-子图二、3-子图三、4-子图四、5-子图五。
下载此资料需消耗2积分,
分享到:
收藏