技术摘要：
本发明公开了一种脑控机械臂助餐系统及方法，该系统包括用于产生并显示刺激源的视觉刺激子系统、脑电采集子系统、双目摄像头定位子系统和机械臂控制子系统，所述脑电采集子系统采集并处理用户受到视觉刺激后产生的脑电信号，将处理后的信号作为源数据发送至机械臂控制  全部
背景技术：
一些老年人以及残疾人存在着运动障碍，可能无法做一些简单动作，如：打开或关 闭简单的电器设备开关，拿取水杯饮水，拿取勺子吃饭。在这种情况下，如何设计出能够有 效辅助有运动障碍的人进行简单的日常活动，提升生活质量的硬件设备，就成了现在研究 人机交互技术的一个突破点。 由于这类用户往往拥有正常运作的大脑，因此具有处理脑电信号实现人机交互的 基础。目前对于脑电信号的处理技术仍处于实验室阶段,大多数的脑控技术仅仅局限于控 制小车或机器人的方向、速度，却较少地适用于机械臂的控制。由此可见，将脑-机接口BCI (Brain  Computer  Interface)应用于实际还面临着如下问题： 1、精度低。对于信号的接收不够精确，且有较低的信噪比。 2、传输速度慢。最多每分钟25个字节，这相当于要花费几分钟才能输入并执行一 句简单的命令。 3、处理平台与设备无法满足轻量化的设计需求。现在的BCI系统设计方式多是使 用计算机作为视觉刺激器和数字信号处理平台，而脑电信号处理和预处理则使用专业脑电 设备(如Neural  Scan等)，这种设计方式具有明显的缺点，即系统体积和功耗太大，不适合 实际应用。 4、实验周期长。伴随着脑电信号的响应降低，且长时间盯着闪烁屏，用户会感到疲 劳。
技术实现要素：
发明目的：本发明的目的是提供一种精度高、可实时执行的轻量化脑控机械臂辅 助用餐的系统。本发明的另一目的在于提供基于该系统的脑控机械臂助餐方法。 技术方案：本发明所述脑控机械臂助餐系统，其特征在于，该系统包括： 视觉刺激子系统，包括显示屏，用于产生对应机械臂自由度的刺激源； 脑电采集子系统，用于采集用户受到所述刺激源刺激后产生的SSVEP信号，经信号 处理后作为机械臂控制的源数据； 双目摄像头定位子系统，包括安装在机械臂前端的双目摄像头，用于自动拍摄RGB 图像，并通过聚类算法和D-H(Denavit-Hartenberg)法计算目标物体点相对于机械臂的坐 标信息； 机械臂控制子系统，包括机械臂，所述机械臂前端安装有双目摄像头和餐具，用于 接收所述源数据并进行实时滤波，对所需波段信号进行采样，通过基于小波变换的典型相 关分析法，甄别视觉诱发刺激频率，根据所述刺激频率确定用户脑控选择的刺激源，控制机 械臂到目标物体点的大致位置；获取双目摄像头定位子系统生成的目标物体点相对于机械 4 CN 111571587 A 说　明　书 2/6 页 臂的坐标信息，控制机械臂到达目标物体的精确位置，自动使用餐具获取餐盘中的食物。 进一步地，所述刺激源的频段为6.7-30Hz。由于30Hz及以下是人体可接受的刺激 频率，考虑到刺激源个数，且为避免计入谐波，设定该频段。 进一步地，所述刺激源的翻转频率的间隔大于0.5Hz。 优选地，所述视觉刺激子系统采用牛顿环收缩-扩张运动刺激范式。采用该刺激范 式可以使用户不易疲劳，避免大脑响应信号的时间降低，更适用于长期使用。用户每进行一 次操作需持续注视对应的刺激源4-5秒。 进一步地，所述脑电采集子系统包含多通道干电极采集器，用于实时记录用户大 脑后枕叶O1、O2、Oz三个点的SSVEP信号。 进一步地，所述脑电采集子系统还包含蓝牙模块，用于将生成的源数据传输给所 述机械臂控制子系统。 进一步地，所述双目摄像头定位子系统包括： 调参单元，用于对双目摄像头进行外参校正，使得左右视图的成像原点坐标一致， 在水平上严格对齐； 双目摄像头，设置在机械臂前端，用于在每次机械臂移动时，拍摄进入视角的目标 物体RGB图像，并进行图像极线校正，将校正后的RGB图像信号传给图像处理单元； 图像处理单元，用于获取极线校正后的RGB图像信号，通过SGBM算法将RGB图像转 化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均值De， 当De小于深度阈值时，表示进入精确定位阶段； 语音提示单元，用于在所述图像处理单元判断De小于深度阈值时，发出提示音； 计算单元，用于在进入精确定位阶段后，生成以所述深度图中目标物体各点的深 度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所述像 素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对于极 坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息，解算 机械臂关节到达目标点位时每个舵机的转动角度。 进一步地，所述机械臂控制子系统包括： 预处理单元，用于对获取的所述源数据进行预处理，所述预处理包括滤波、去噪； 信号提取单元，用于对预处理单元预处理后的源数据进行多层小波分解，根据信 号的特性与分析要求，匹配最佳的对应频带和信号频谱，重构出SSVEP处于刺激源的频段的 信号，将其与参考信号做典型相关分析法，得到用户选择的刺激源，获取所选刺激源对应的 机械臂自由度序号和脑控方向； 控制单元，用于获取所述机械臂自由度序号和脑控方向，控制对应自由度序号的 舵机向所述脑控方向移动直至目标物体点的大致位置；获取双目摄像头定位子系统生成的 目标物体的球体模型相对于机械臂底座的坐标信息、每个舵机的转动角度，根据所述聚点 模型计算目标物体的中心点坐标，根据所述目标物体的中心点坐标是否处于镜头中心来驱 动舵机微调，直至目标物体的中心点落在镜头的中心，且所述包络线充满镜头，表示精确定 位完成，机械臂自动使用餐具获取餐盘中的食物。 本发明所述的脑控机械臂助餐方法包括步骤： (1)视觉刺激子系统按照机械臂自由度序号产生不同频率的刺激源，由显示屏进 5 CN 111571587 A 说　明　书 3/6 页 行显示； (2)脑电信号采集用户受到所述刺激源刺激后产生的SSVEP信号，经过信号放大、 A/D转换后作为源数据传输给机械臂控制子系统； (3)机械臂控制子系统对所述源数据依次进行滤波、去噪、多层小波分解，重构出 处于刺激源频段的信号，将其与参考信号做典型相关分析法，得到用户选择的刺激源，控制 机械臂到目标物体点的大致位置； (4)双目摄像头定位子系统自动拍摄RGB图像，并通过聚类算法和D-H法计算目标 物体点相对于机械臂的坐标信息，将坐标信息发送给机械臂控制子系统； (5)机械臂控制子系统根据收到的坐标信息控制机械臂到达目标物体的精确位 置，自动使用餐具获取餐盘中的食物。 进一步地，所述步骤(4)包括： (41)所述双目摄像头定位子系统的调参单元对双目摄像头进行外参校正，使得左 右视图的成像原点坐标一致，在水平上严格对齐； (42)所述双目摄像头在每次机械臂移动时，拍摄进入视角的目标物体RGB图像，并 进行图像极线校正，将校正后的RGB图像信号传给所述双目摄像头定位子系统的图像处理 单元； (43)所述双目摄像头定位子系统的图像处理单元通过SGBM算法将校正后的RGB图 像转化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均 值De，当De小于深度阈值时，语音提示单元发出提示音，表示进入精确定位阶段； (44)所述双目摄像头定位子系统的计算单元生成以所述深度图中目标物体各点 的深度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所 述像素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对 于极坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息， 解算机械臂关节到达目标点位时每个舵机的转动角度，将所述坐标信息和转动角度发送给 机械臂控制子系统。 有益效果：与现有技术相比，本发明具有以下优点：1、轻量化的系统设计，使脑控 助餐系统走出实验室环境成为可能；2、采用牛顿环的收缩和扩张运动作为刺激范式，解决 了用户长时间观察闪烁刺激屏所产生的眼疲劳问题；3、在脑电信号分析的基础上，利用双 目摄像头子系统解决了机械臂“最后一公里”的精准操纵问题。 附图说明 图1为本发明的系统架构图； 图2为脑电采集电极位置示意图； 图3为视觉刺激子系统显示屏界面图； 图4为双目精准定位流程图。