技术摘要：
本发明为一种基于多感知系统的电容式触觉手柄的控制方法，所述触觉手柄上包裹有电容阵列柔性压力传感器、触觉手柄沿手柄长度方向一端安装拉压传感器，在触觉手柄内部安装惯性测量装置IMU；该方法的具体步骤是：获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受  全部
背景技术：
近年来，人机协作成为了机器人领域中最热门的研究方向之一，而在人机协作中 尽可能全方位感知与提取操作者意图则是实现人机交互的基础与前提。人可通过视觉、听 觉、触/力觉感知周围环境信息，目前，在机器听觉与视觉方面的发展已经较为成熟，但对操 作者抓握所依靠的触/力信息获取研究的很少，常见的抓握意图检测主要通过六维力传感 器，但是价格昂贵，操作不方便，检测到的相关抓握信息也有所欠缺，传统的触觉数据手套 结构复杂，制作困难，穿戴繁琐，成本较高。而如何更好地处理识别到的抓握图像的信息和 提高识别效率也是意图检测的重点。因此，迫切需要一种制作方便，价格低廉，高精度的装 置来感知人手的抓握姿态与运动趋势，并对获取的抓握信息进行合理处理，使得获取的信 息更加完善，进而充分展现操作者的抓握意图。
技术实现要素：
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于多感知系统的 电容式触觉手柄的控制方法。该方法适用于在接触式人机协作中对人手抓握信息的采集， 可实时估计人手姿态，准确判断操作者意图。 本发明解决所述技术问题采用的技术方案是： 一种基于多感知系统的电容式触觉手柄的控制方法，所述触觉手柄上包裹有电容 阵列柔性压力传感器、触觉手柄沿手柄长度方向一端安装拉压传感器，在触觉手柄内部安 装惯性测量装置IMU；该方法的具体步骤是： 第一步、信息采集与处理 1-1获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受力变化，同时获 取惯性测量装置IMU测量到的手柄来自三个方向的线性加速度和旋转角速率； 1-2抓握图像预处理 获取人手抓握触觉手柄时的抓握图像，对抓握图像进行处理：采用背景差分方式， 对采集到的抓握数据进行去噪处理，将去噪后的数据进行高通滤波后得到人手紧抓握灰度 图像，再进行二值化操作，获取预处理后的抓握图像； 1-3建立映射关系 标准抓握状态下获得的预处理后抓握图像为标准抓握图像，将标准抓握图像人手 抓握状态进行区域分割，分为三部分区域，四指区域、拇指大鱼际区域、小鱼际区域，明确抓 握时三部分区域的受力分布； 将真实人手分为九个区域，分别为拇指(1)、大鱼际(2)、小鱼际(3)、掌心(4)、前掌 (5)、食指(6)、中指(7)、无名指(8)、小指(9)； 4 CN 111610865 A 说　明　书 2/10 页 将标准抓握图像与真实人手之间构建映射关系，四指区域对应食指(6)、中指(7)、 无名指(8)、小指(9)，拇指大鱼际区域对应拇指(1)、大鱼际(2)，小鱼际区域对应小鱼际 (3)，三部分区域围成的部分对应掌心，实现抓握图像的区域分割； 第二步、构建卷积神经网络模型 将获得的标准抓握图像分成五类，即扭转、反向扭转、掌心前推、拇指横推和四指 侧拉，将其输入到卷积神经网络模型CNN中，CNN的输入层后接一个卷积层，在卷积操作之前 先用“0”对输入图像进行边界填充处理，将其进行灰度扩展，使扩展后图像能经过第一个卷 积层C1处理之后，图像又变为初始输入层的大小，使得原图像每个像素都进行了卷积；之后 在隐含层内处理后通过输出层输出； 通过离线训练的方式五类手握意图进行模式识别，得到训练好的卷积神经网络模 型； 第三步、多感知信息融合 实时获取操作者当前的抓握图像经过第一步中的预处理及特征点提取后得到标 准抓握图像，将该标准抓握图像输入到第二步训练好的卷积神经网络模型中，确定手握意 图；根据CNN训练得到的手握意图，再研究连续一段时间与之相关的标准抓握图像三个区域 的受力变化情况，明确操作者速度意图信息； 同时获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受力变化，获取 惯性测量装置IMU测量到的手柄来自三个方向的线性加速度和旋转角速率，确定手柄的当 前姿态、速度和位移，进而确定操作者的意图。 选取人手抓握时手掌部分不遮挡手柄缝隙位置的状态为标准抓握状态，当在非标 准抓握状态下时，需要在第一步中对抓握图像进行特征点提取： 考虑到人手抓握方向和角度的不确定性，所采集到的抓握图像中手掌各部分区域 相对位置分布并不固定，采用Harris角点检测算法来选取并定位任意预处理后的抓握图像 的分割后不同区域特征点，进行像素点的平移，最终实现任意抓握图像向标准抓握图像的 转换。 特征点提取的具体过程是：采用Harris角点提取算法，针对分割后的标准抓握图 像的不同区域，在提取到的角点中根据强度梯度关系筛选出5个强度最强的角点，经过对不 同人手抓握图像观察以及抓握状态评估，确定出特征点梯度响应最强点所在的区域，将该 区域的特征点的坐标信息与该操作者标准抓握状态下的特征点坐标对应变换，进行像素点 平移操作；其中确定位于人手模型中大鱼际末端靠近手腕的区域的一个角点的区域受力均 匀，压力分布状态相对稳定，特征点梯度响应最强。 上述卷积神经网络模型训练时设置批训练中的样本批尺寸(batchsize)为100，一 个训练周期为10，学习率为0.6，迭代次数为110。 与现有技术相比，本发明制作的触觉手柄结构简单，操作方便，传感器精度高，并 且装有拉压力传感器、惯性测量装置IMU，可以更加全面的感知操作者意图；本发明采用了 一种基于卷积神经网络的识别人手不同抓握状态的方法，且准确率较高。 综合分析现有的针对人手实体的姿势进行识别的技术，目前统一的手势库还较 少，识别出来的图像是三维彩色，识别速度缓慢，图像处理起来比较复杂，识别过程中对周 围环境要求比较高，如光线过暗或过亮都会影响识别准确率。本发明是对采集到的二维灰 5 CN 111610865 A 说　明　书 3/10 页 度图像进行处理，识别速度明显提高，受外界干扰也比较小，噪声小，操作起来方便。 现有的抓握动态识别仅能分析抓握和无抓握状态，本发明可适用于多种状态，如 扭转、反向扭转、掌心前推、拇指横推和四指侧拉等。 现有的神经网络仅限于手部外部轮廓或者手部实体的识别，本发明提供了一种多 分类的卷积神经网络，可以识别出手掌各区域的受力分布，有效地感知操作者意图。 本发明具有一定的特殊性，不同领域的识别方法不能拿来使用，人手大小形状不 同，即使是在相同状态下也有差异，而且抓握的特征不容易被定义和提取。 附图说明 图1是本发明一种实施例的多感知触觉手柄整体结构示意图。 图2是本发明一种实施例的整体结构图。 图3是本发明一种实施例的传感器标定实验结构示意图。 图4a是本发明一种实施例的触觉传感器单个电容性能曲线图。 图4b是本发明一种实施例的触觉传感电容单元一致性曲线图。 图5是紧抓握状态区域分割图。 图6本发明一种实施例的标准抓握状态转换。 图7是本发明一种实施例的卷积神经网络各层参数图。 图8是本发明一种实施例的卷积神经网络模型训练流程图。 图中：1、拉压力传感器；2、电容阵列柔性压力传感器；3、惯性测量装置IMU；4、信号 采集装置；5、无线传输装置；6、上位机；7、触觉手柄与机器连接装置；8、外部封装屏蔽层；9、 上电极层；10、介电层；11、下电极层；12、缓冲层；13、手柄主体。