技术摘要：
本发明公开了一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法。该采摘机器人包括无人机、采摘机构和多目视觉装置；所述采摘机构包括伸缩杆、采摘机械手；所述采摘机构和多目视觉装置安装在无人机上；无人机通过线缆或无线方式与工控机、电脑相连通，进行数据传输  全部
背景技术：
我国是水果生产和种植大国，果实采摘是重要环节。目前果实采摘主要是人工采 摘，但是人工采摘的成本高、效率低，采摘过程常需要通过梯子等工具，具有一定的危险性。 市场上也有一些采摘机器人，但很多果树种植在山区，而大多数的采摘机器人为陆地行走 方式，难以适用于崎岖不平的山区果树采摘。 目前采摘机器人存在机体小、负载小、效率低、环境适应性差等问题，对采摘机器 人的设计往往注重采摘方面的结构，而对于其是否能够适应采摘环境、功率能否达标等问 题的关注相对较少；而且，在采摘精度方面，环境对于采摘精度的影响是不容小觑的，但是 现有技术中较少针对此影响开展研究。
技术实现要素：
本发明的目的在于克服现有技术中存在的缺点，提供一种四自由度的多目视觉旋 飞式采摘机器人及其采摘方法，该采摘机器人具有四自由度、多目视觉和仿生机械手，超轻 量级(总重约4KG左右)，采摘效率、采摘精度和环境适应能力高。 本发明的目的通过下述技术方案实现： 一种四自由度的多目视觉旋飞式采摘机器人，包括无人机1、采摘机构2和多目视 觉装置4；所述采摘机构2和多目视觉装置4安装在无人机1上；无人机1通过线缆或无线方式 与工控机3、电脑5相连通，进行数据传输与系统控制。 所述采摘机构2包括伸缩杆21、采摘机械手22。 所述伸缩杆21至少有三节，包括首节杆211、中节杆212和末节杆213，其中中节杆 为一节以上，首节杆、中节杆和末节杆为阶梯式相互嵌套；首节杆的前端安装在无人机的机 体内，末节杆的末端安装有采摘机械手。除末节杆不可伸缩外，其他杆均可伸缩。末节杆213 上设置有防护罩214、节环215、弹簧216、滑动导件217和套杆218；所述防护罩为圆底圆锥 体，小端装在末节杆的前端(即靠近中节杆一侧的方向)，大端罩住外露线路部分，且大端呈 向内凹状，以防止树枝等障碍物破坏线路；所述节环215为空心圆柱体，材料为电磁体，焊接 固定在末节杆的前端；所述滑动导件215c为宽空心圆柱体，材料为铁，可在末节杆上滑动； 节环215与滑动导件217之间装有弹簧216；套杆218通过螺钉连接固定在末节杆的末端，用 于限制滑动导件217的导程，套杆末端圆球体内装有压力传感器。 所述无人机的机体内装有伺服电机与丝杠传动机构，用于控制伸缩杆实现自动伸 缩。所述伸缩杆的内部设有控制电路。所述末节杆与中节杆的连接处装有伺服电机，用于控 制末节杆的旋转，以进行果实摘取和收获。 所述采摘机械手22包括三个手指，分别为上指、左指和右指；每个手指均包括首指 5 CN 111587665 A 说　明　书 2/8 页 节221、中指节222、末指节223，相邻指节之间铰接。所述首指节呈长方体，首指节的前端通 过焊接固定在套杆末端圆球体内；首指节的末端与中指节的前端铰接，在铰接处左右两边 装有扭转弹簧224固定架，所述固定架由两板一杆组成，杆穿过扭转弹簧。 所述中指节为自感知可伸缩式关节，呈多节式长方体，中指节的节数为两节以上， 前节(靠近首指节的方向)比后节大，可根据需求来选取具体的节数；中指节的内部装有伺 服电机和丝杠传动机构，可实现伸缩；中指节与滑动导件217之间连接有长杆225，长杆的前 端装扣在滑动导件的后端上，长杆穿过首指节末端一侧设置的平键状孔，长杆的后端通过 拉伸弹簧226与中指节的前端一节内侧相连，长杆的内部设有控制电路，用于控制采摘机械 手内部的伺服电机实现采摘动作；中指节的末端一节为半圆键状；中指节的内表面存在粗 糙纹理。拉伸弹簧的弹簧系数大于扭转弹簧的弹簧系数，保证拉伸弹簧处于拉伸状态时，扭 转弹簧能够处于完全压迫状态。 所述末指节223的整体侧面呈镰刀状(镰刀呈120°～145°夹角)，末指节材料为橡 胶，内侧曲面具有柔性，存在仿生不规则的粗糙弧形细纹理；末指节的前端(靠近中指节的 方向)较厚，外表面平整，侧边呈弧形；末指节的末端较薄，外表面呈弧形，侧边平整，尖端较 细(约为10°)，存在弹性。末指节的结构设计具有很好的导向性和柔韧性，既能疏导树枝等 物体，又能防止果实变形，其镰刀状的结构很容易包裹果实，其内侧的粗糙弧形细纹理可以 增加摩擦力，防止果实掉落。末指节与中指节的铰接处装有伺服电机，用于控制末指节的翻 转。 所述左指的中指节的末端一节内装有距离传感器，用于果实采摘的检测。 所述无人机1为圆柱六工位型，每个工位均有支撑架11，支撑架为上下对称结构， 每个支撑架呈十字交叉状，支撑架中间装有支撑杆，支撑杆的一端与旋转电机相连，六旋翼 12安装在支撑杆上，旋转电机安装在无人机体内；六工位的每个工位之间相隔60°，各个工 位之间互不干扰，可分别调整转速，实现无人机多种位姿，在复杂采摘环境中进行灵活避 障。无人机1可以通过在其机体下方安装数据线缆13与工控机、电脑进行数据传输和系统控 制，也可以通过设置无线设备(如蓝牙)与工控机、电脑进行数据传输和系统控制。无人机1 的机体下方装有呈三角布置的支撑板14，用于在降落时起支撑作用。 所述无人机的六旋翼包括两个前旋翼、两个中旋翼、两个后旋翼，左右旋翼的旋转 方向设计原则为左右相反、对角相同、中间旋翼相反。 本发明的采摘机器人在空间上具有四自由度，其中两个自由度通过无人机实现： ①中旋翼保持匀转速，当前旋翼与后旋翼的转速上形成差异后，实现无人机俯仰运动；②前 旋翼和后旋翼保持匀转速，当中旋翼的左右在转速上形成差异后，实现无人机摇摆运动。另 外两个自由度通过采摘机构实现：①伸缩杆的伸缩，驱动方式为无人机体内的伺服电机和 丝杠传动机构；②伸缩杆的旋转，驱动方式为伸缩杆的中节杆与末节杆连接处内部的伺服 电机。 所述多目视觉装置4包括三个摄像头，分别是中间的监控相机41(用于远程监控)、 左右两边的定位相机42(用于远程立体定位)，共同用于飞行过程中的图像采集、以及无人 机与采摘点位置的测算。 所述采摘机器人安装有多个压力传感器和距离传感器，用于实时反馈采摘机器人 与环境的交互信息，包括：(1)所述无人机的上方安装有距离传感器，用于实时检测采摘机 6 CN 111587665 A 说　明　书 3/8 页 器人上方的障碍物，当无人机上方出现无法穿过的障碍，距离传感器发出后退信号，无人机 进行后退，重新进行果实定位；(2)所述无人机的左右两边对称安装有距离传感器，用于实 时检测采摘机器人左右两侧的障碍物，当无人机左右两侧出现过近的障碍物时，距离传感 器发送偏移信号，无人机朝反方向偏移一定距离(该距离一般较小，用于无人机的位置微 调)；(3)所述套杆末端圆球体内装有压力传感器，左指的中指节的末端一节内装有距离传 感器，这两个传感器共同作用，实现采摘抓取的完成，采摘机器人根据多目视觉装置定位果 实后，采摘机械手慢慢逼近果实，等果实触碰套杆上的压力传感器且压力达到阈值后，才进 行采摘抓取的动作，在完成该动作后，左指上的距离传感器进行检测(检测距离在阈值范围 内，若检测距离过大，则说明果实过小，所测距离为左指与右指之间的横向距离；若检测距 离过小，则说明果实过大，果实与左指横向距离很近)，并根据检测结果来调节中指节的长 度，再次进行采摘抓取动作，如此反复，直到最终距离传感器所测距离在阈值内。 所述多目视觉装置与多个传感器共同组成检测系统，用于进行果实识别、环境检 测、采摘条件判断、采摘动作调整等作用。 所述工控机与电脑实现数字化控制，通过多条数据线缆(或无线蓝牙装置)控制多 台采摘机器人进行工作，提高采摘效率。 所述采摘机构的动作包括采摘抓取、采摘伸展、采摘收获，具体如下： (1)采摘抓取：在进行采摘抓取前要先达到采摘条件，即根据检测系统判断是否可 以采摘，如果不行，则需要调节中指节长度；如果可以，则导线通电，节环得电，节环对滑动 导件产生电磁力，滑动导件前端压缩弹簧靠近节环，滑动导件后端的长杆跟随滑动导件移 动，长杆的后端与拉伸弹簧的一端相连，拉伸弹簧的另一端与中指节的前节相连，拉伸弹簧 拉动中指节，中指节内翻，压迫扭转弹簧，再控制末指节内翻，完成采摘抓取动作； (2)采摘伸展：导线断电，节环失电，节环失去电磁力，滑动导件在压缩弹簧的反作 用力下，其前端远离节环，长杆失去拉力，拉伸弹簧失去拉伸状态，扭转弹簧发挥作用，使中 指节归位，同时滑动导件被套杆限制滑动，控制末指节外翻归位，完成采摘伸展工作； (3)采摘收获：①在采摘抓取前，需要将机械手的三指置于合适的位置，即上指在 下方，三指呈倒三角形，通过末节杆与中节杆连接处的伺服电机进行控制；②当完成采摘抓 取后，控制伺服电机使末节杆能够左右反复旋转，使得果实果梗分离，待果梗分离后，同样 需要调整伺服电机，使三指呈正三角形，再进行采摘伸展动作，使得果实顺利入筐。 一种四自由度的多目视觉旋飞式采摘机器人的采摘方法，包括下述步骤： (1)位置初始化：首先采用基于视觉的自动识别果实方法，识别出果实，以自身原 始位置(采摘机械手的中心位置)O为参考，O设为无人机在地面的初始位置，通过定位相机 测定来获取收获位置Z，通过双目测距技术计算得到果实的三维空间坐标A1，即相对于O位 置的三维空间坐标；然后通过坐标转换规则将果实的坐标转化为无人机水平、竖直、前后方 向的移动距离(X，Y，Z)，由于所获得的距离为目标距离，所以需要加上阈值用于无人机的缓 动距离δ，即最后的移动距离为 (2)靠近目标点：根据所获得的竖直方向相对于无人机初始位置的距离 无人 机先上升，到达指定距离后，根据所获得的水平方向的距离 以及前后方向的距离 7 CN 111587665 A 说　明　书 4/8 页 无人机依次进行运动，直至到达指定位置； (3)实时检测：无人机起飞时，实时获取监控相机与目标位置的距离，在获取目标 果实位置后，返回果实位置T1，将T1投影在定位相机坐标系平面上得到投影位置T′1；计算 T′1与T1实际距离|T′1T1|，当距离|T′1T1|小于所设安全距离σ(σ的取值范围为安全距离，为 10cm～15cm)时，无人机自动悬停，避免速度过快砸到果实，接着无人机再次缓慢靠近果实， 直到压力传感器检测到距离小于所设阈值p时(根据不同果实来设定阈值ρ)，则无人机悬 停，此时左指的距离传感器开始工作，根据检测的距离τ进行下述判断： ①兰 (t为左指和右指的中指节之间的距离)时，说明果实过小，中指节 过长，判断为中指节需要缩短； ②兰 时(根据不同果实来设定α值)，说明果实过大，中指节过短，判断 为中指节需要伸长； ③兰 时，说明果实被包围在采摘机械手内，且果实末端只有一小部 分被检测到，这符合果实的正常采摘情况，判断为中指节无需运动； (4)根据不同的检测判断，传回检测系统，进而控制中指节的伸长、收缩和不变化； 等距离判断完毕后，节环通电，弹簧被压缩，滑动导杆带动长杆，长杆带动中指节，采摘机械 手三指瞬间收拢，通过控制中指节与末指节铰接处的伺服电机使得末指节内翻，实现采摘 抓取动作；此时打开控制伸缩杆旋转的伺服电机进行正反转，模拟人手旋转摘取果实，完成 采摘抓取，待果梗分离后，无人机向后移动，到达收获位置Z； (5)等无人机到达收获位置时，进行采摘伸展动作：节环断电，弹簧作用滑动导件， 采摘机械手三指瞬间张开，同时控制伺服电机使末指节瞬时张开，果实落入框中，完成一次 果实的采摘。 步骤(1)中，所述基于视觉的自动识别果实方法，包括下述步骤： (1)通过定位相机获取果实的彩色图像； (2)将彩色图像进行二值化，转为灰度图，即将彩色图像的每个像素点R、G、B值分 别乘以不同权值得到此像素点的灰度值： 权值：X＝(R-G)    (1) 式中：R--色度；G--纯度；X--灰度化后图像的灰度值即权重 (3)通过邻域平均滤波去除图像噪声； (4)通过阈值分割法进行图像分割，选择恰当阈值来区分图像的背景和目标，得到 二值化图像： 式中：f(x，y)--图像处理前的(x，y)像素点处的灰度值；       g(x，y)--图像处理后的(x，y)像素点处的灰度值；       γ--图像的分割阈值 通过试验样本，选用固定阈值分割法，进行图像分割； 8 CN 111587665 A 说　明　书 5/8 页 (5)通过Sobel梯度算法使得图像边缘轮廓突出显示，通过梯度算子差分法使得图 像纹理突出； (6)若(4)中灰度值没有高于选取的固定阈值，说明此区域无果实，重新选定区域 进行果实搜索。 本发明与现有技术相比具有如下优点和效果： (1)本发明实现了无人机与采摘机构的一体化设计，为四自由度的采摘机器人，可 实现多方位的采摘，扩大采摘范围，提高采摘效率；增加了采摘的灵活性； (2)本发明设计的无人机为圆柱形旋翼内置式六工位型无人机，可以适用于复杂 的采摘环境，避障能力强； (3)本发明设计的采摘机械手可以根据果实大小来动态改变三指的中指节的自由 伸缩，提高机械手对果实的包容能力，适用性强；采摘机械手的中指节和末指节均有一定的 粗糙度，类似人手皮肤，采用自适应材料减少对果实损伤； (4)本发明采用多目视觉装置与多个传感器组成检测系统，能够很好的实现果实 识别、环境检测以及采摘条件的判断，为自动化果实采摘提供保障。 附图说明 图1为采摘机器人的结构示意图。 图2为采摘机构的结构示意图。 图3为采摘机械手的首指节与中指节连接处的局部放大示意图。 图4为无人机的剖视图1。 图5为无人机的剖视图2。 图6为正常采摘示意图。 图7为不同距离和角度情况的采摘示意图。 图8为适应不同果实大小的采摘示意图。 图9为果实夹持的采摘示意图。 图10为采摘状态示意图。 图11为收获状态示意图。 图中， 1、无人机；11、支撑架；12、六旋翼；13、数据线；14、支撑板； 2、采摘机构；21、伸缩杆；211、首节杆；212、中间杆；213、末节杆；214、防护罩；215、 节环；216、弹簧；217、滑动导件；218、套杆； 22、采摘机械手；221、首指节；222、中指节；223、末指节；224、扭转弹簧；225、长杆； 226、拉伸弹簧； 3、工控机；4、多目视觉装置；41、监控相机；42、定位相机；5、电脑。