logo好方法网

物体检测装置、控制装置以及物体检测用计算机程序


技术摘要:
本发明提供一种物体检测装置、控制装置以及物体检测用计算机程序,即使在物体相对于对成为检测对象的该物体进行拍摄的拍摄部的相对位置关系发生变化时,也能够检测该物体。物体检测装置具有:鲁棒检测部(41),其在生成示出了对象物体(10)的图像的拍摄部(4)与对象物体(1  全部
背景技术:
在具有臂部等可动部,使用伺服电动机来驱动该可动部的机器人或机床这样的自 动机械中,为了根据可动部与成为自动机械的作业对象的物体之间的相对位置关系来控制 自动机械,提出了以下技术:利用由照相机取得的表示了成为作业对象的物体的图像。作为 该技术之一,提出了利用图形匹配从图像中检测物体的技术(例如,参照日本特开2018- 158439号公报)。此外,作为另一个这样的技术,提出了如下技术:向通过神经网络等机器学 习方法实现的识别器输入表示了成为作业对象的物体的图像,由此取得用于使自动机械进 行预定动作的控制信息(例如,参照日本专利第6376296号公报、日本特开2009-83095号公 报、日本特开2018-126799号公报以及日本特开2018-205929号公报)。 如同将成为作业对象的物体通过皮带输送机等进行输送的情况,有时该物体进行 移动。在这样的情况下,随着照相机与该物体的位置关系的变化,图像上所表示的该物体的 位置、姿势以及大小发生变化。因此,用于图形匹配的物体的特征,例如,从特定的方向观察 时的物体的表面或轮廓的一部分被隐藏,在图形匹配中有时难以准确地检测物体的位置以 及姿势。结果,在自动机械的控制装置根据从以时间序列取得的一连串的图像中检测物体 的检测结果来追踪该物体的期间,有时无法追踪该物体,无法使可动部向能够对该物体实 施作业的位置移动。并且,由于图像上所表示的成为作业对象的物体的位置、姿势以及大小 发生变化,因此当图像上的物体所在的区域未知时,为了检测物体,有时需要对整个图像进 行图形匹配,直到检测出物体所需要的时间花费过多。在这样的情况下,难以使可动部追随 物体的位置变化。 另一方面,在使用基于机器学习方法的识别器对图像上表示的成为作业对象的物 体的位置以及姿势进行检测时,不论该物体相对于照相机的位置以及姿势如何,自动机械 的控制装置都能够从图像中检测出该物体。但是,在该情况下,物体的位置以及姿势的检测 精度未必足够,有时控制装置根据由识别器检测出的物体的位置,无法使可动部准确地移 动至可动部能够对该物体实施作业的位置。
技术实现要素:
在一个侧面,其目的在于提供一种物体检测装置,即使在该物体相对于用于对成 为检测对象的物体进行拍摄的拍摄部的相对位置关系发生变化时,也能够检测出该物体。 根据一个实施方式,提供物体检测装置。该物体检测装置具有:存储部(33),其存 储模板,该模板表示从预定的方向观察对象物体(10)时的对象物体(10)的外观的特征;鲁 棒检测部(41),其在拍摄对象物体(10)而生成示出了对象物体(10)的图像的拍摄部(4)与 4 CN 111604942 A 说 明 书 2/13 页 对象物体(10)不满足预定的位置关系时,向通过从图像中检测对象物体(10)的方式预先学 习的识别器输入图像,由此来检测图像上的对象物体(10)的位置;以及精密检测部(42),其 在拍摄部(4)与对象物体(10)满足预定的位置关系时,通过将图像与模板进行对照来检测 图像上的对象物体(10)的位置。 根据其他实施方式,提供具有至少一个可动部(movable  member)(12~16)的自动 机械(2)的控制装置。该控制装置具有:存储部(33),其存储模板,该模板表示从预定的方向 观察成为自动机械(2)的作业对象的对象物体(10)时的对象物体(10)的外观的特征;鲁棒 检测部(41),其在被安装在可动部(12~16)的用于拍摄对象物体(10)来生成示出了对象物 体(10)的图像的拍摄部(4)与对象物体(10)不满足预定的位置关系时,向通过从图像中检 测对象物体的方式预先学习的识别器输入图像(10),由此检测图像上的对象物体(10)的位 置,并根据图像上的对象物体(10)的位置来检测实际空间中的对象物体(10)的位置;精密 检测部(42),其在拍摄部(4)与对象物体(10)满足预定的位置关系时,通过将图像与模板进 行对照来检测图像上的对象物体(10)的位置,并根据图像上的对象物体(10)的位置来检测 实际空间中的对象物体(10)的位置,或者根据由位置信息取得部取得的位置信息来检测实 际空间中的对象物体(10)的位置,上述位置信息取得部取得表示与对象物体(10)的相对位 置的位置信息;接近控制部(44),其在拍摄部(4)与对象物体(10)不满足预定的位置关系 时,根据由鲁棒检测部(41)检测出的实际空间中的对象物体(10)的位置,来控制可动部(12 ~16)使得拍摄部(4)与对象物体(10)满足预定的位置关系;以及作业控制部(45),其在拍 摄部(4)与对象物体(10)满足预定的位置关系时,根据由精密检测部(42)检测出的实际空 间中的对象物体(10)的位置,控制可动部(12~16)使得可动部(12~16)向自动机械(2)能 够对对象物体(10)实施预定的作业的位置移动。 此外,根据其他实施方式,提供物体检测用计算机程序。该物体检测用计算机程序 包含用于使计算机执行如下处理的命令:在拍摄对象物体(10)来生成示出了对象物体(10) 的图像的拍摄部(4)与对象物体(10)不满足预定的位置关系时,向通过从图像中检测对象 物体(10)的方式预先学习的识别器输入图像,由此检测图像上的对象物体(10)的位置,在 拍摄部(4)与对象物体(10)满足预定的位置关系时,将表示从预定的方向观察对象物体 (10)时的对象物体(10)的外观的特征的模板与图像进行对照,由此检测图像上的对象物体 (10)的位置。 根据一个侧面,即使在成为检测对象的物体相对于拍摄该物体的拍摄部的相对位 置关系发生变化时,也能够检测该物体。 附图说明 图1是一个实施方式的机器人系统的概略结构图。 图2是控制装置的概略结构图。 图3是与包含物体检测处理的可动部控制处理相关的控制装置具有的处理器的功 能框图。 图4对包含物体检测处理的可动部控制处理的概要进行说明。 图5是包含物体检测处理的可动部控制处理的动作流程图。 图6是变形例的机器人系统的概略结构图。 5 CN 111604942 A 说 明 书 3/13 页 图7是物体检测装置的概略结构图。
分享到:
收藏