技术摘要：
本发明涉及一种基于图像三维重建技术的无人机导航地图构建系统，包括无人机、数据采集组件和三维导航地图构建系统；三维导航地图构建系统包括图像集输入系统、特征点提取系统、稀疏三维点云重建系统、稠密三维点云重建系统、点云模型优化系统和三维导航地图重建系统；  全部
背景技术：
视觉是人类感知周围环境的最重要方式。使计算机像人类一样具有感知三维环境 的能力是计算机视觉领域中非常流行的研究方向。随着信息技术的飞速发展，虚拟现实，电 影特效，智能驾驶，机器人导航，地理地图，历史文化，医学等许多领域都需要三维模型。例 如，自动驾驶中的高精度地图是自动驾驶的先决条件，在早期阶段，大规模收集城市道路相 关数据用于通过三维重建高精度地图；移动机器人使用三维占据地图进行导航，例如避障 和路线规划；在地理，测量领域，对特定地理区域利用三维重建技术构建三维地形；在历史 文化领域，使用三维重建技术对历史文物和古建筑进行建模。未来，随着人工智能，机器人 技术等领域的飞速发展，社会各个领域对三维重建的需求将会迅速增加。 人们通过人眼特殊的生物结构来感知和获取三维事物，而计算机获取三维事物是 一个难题。获取三维模型的传统方法是基于几何造型和激光扫描，但它们都具有非常明显 的缺点。几何造型需要直接接触测量对象的几何形状以构建对象的三维模型，并且需要专 用的软件工具和专业的人员，这既繁重又费时。激光扫描是当今的三维扫描仪，尽管扫描重 建后的精度很高，但是该设备的价格相对昂贵并且难以携带。 近年来，基于图像信息构建三维模型的方法已成为热门研究。基于图像序列的三 维重建方法首先提取并匹配图像的特征点，然后使用运动恢复结构(motion  from  structure，SFM)法进行特征点的深度恢复以获取稀疏的三维点云，然后使用多视图立体视 觉(multi-view  stereo，MVS)技术获得场景的密集点云，最后进行点云杂点清理和表面重 建等步骤以得到一个完整的三维模型。与几何造型和激光扫描相比，图像采集更加方便，采 集设备更便宜，只需要普通的相机或手机拍照，就大大降低了三维重建的难度和成本，并且 基于图像的三维重建效果非常好，重建的准确性甚至可以靠近激光扫描。一般的三维重建 流程包含了特征点提取，稀疏点云重建，稠密点云重建等等多个不同的步骤。其中稀疏点云 重建步骤现有算法中往往是对所有图像都进行两两匹配，在很多情况下，有些图像间没有 共同部分因此不需要进行匹配，故而在此步骤中耗费了大量地时间。 特征点提取，常用算法有SIFT算法，SIFT算法主要包括两个步骤，一是从图像中提 取特征点，二是对特征点特征向量。其特征对亮度具有良好的不变性，并且对视角变化，仿 射变换，噪声等也具有良好的稳定性。还有SURF算法，是在SIFT算法的基础上进行了改进， 加快了特征点检测的速度。以及ORB算法，其采取了非常快的特征点检测方法和占用内存非 常少的特征向量，因此算法速度相比SURF更快。稀疏三维点云重建领域中SFM是当前的主流 方法。SFM的早期方法主要是增量式方法，其中，最著名的是Bundler系统，其次VisualSFM三 维重建软件也是基于增量式系统，输入图像集就可以获得对象或场景的三维模型。非增量 方法也称为全局SFM，主要包括openMVG三维重建系统。增量式方法的时间效率非常高，但存 5 CN 111599001 A 说　明　书 2/9 页 在误差积累的缺点。非增量式方法考虑了所有图像之间的关系，因此能消除误差的积累。在 稠密三维重建领域，MVS方法最为流行。MVS通常基于SFM，使用SFM输出的稀疏点云和相机位 置来重建稠密点云。MVS算法主要分为以下几类：第一类基于体素，从体素表面重建模型。第 二类通过迭代曲面来最小化成本函数来获得模型。第三类基于一致性约束条件从一系列深 度图中提取模型。第四种是基于图像特征点的方法，也是当前最主流的方法。在这一领域也 有openMVS等开源库。 无人机(unmanned  aerial  vehicle，UAV)指无人驾驶飞行器，相关技术目前正在 高速发展，吸引了许多科学研究人员的注意，目前民用多旋翼无人机主要用于航空摄影，其 次是农业植保，无人快递和许多其他领域。多旋翼无人机是具有三个或更多旋翼轴的特殊 无人机，它由每个轴上的电动机驱动以驱动转子，从而产生升力。通过改变四旋翼无人机中 不同旋翼之间的相对关系，从而实现各种飞行。它们主要适用于需要垂直起飞，着陆和悬停 的低空和低速飞行任务。在引入小型多旋翼无人机之前，传统的图像数据采集方法包括人 工采集和卫星采集以及大型飞机采集，但是传统方法具有各种缺点和局限性。当面对较小 的场景或物体时，人工可以轻松地收集图像，但是当面对较大或复杂的场景时，人工通常难 以企及。卫星在二维地图中收集地理和地形数据方面具有优势，但在天气的影响下，比如在 有云和雾的情况下，采集的图像将丢失细节，并且卫星的拍摄角度不足，构建场景的三维模 型需要更清晰的图像和更多的角度。具有高清摄像头的大型飞机比起卫星更加灵活，但是 飞行成本更高，需要在机场起飞和降落并申请航线，并且飞行速度非常快。无人机航拍采集 图像数据具有位置不受限制，视野宽广，拍摄稳定等诸多优点，并且起降方便，无人机成本 也不高，因此在三维重建领域带来了更便捷，更高效的图像数据获取方式。 在许多领域和场景中，都需要应用无人机的自主飞行功能，比如农业植保，空中电 网检测，隧道电缆检测，无人机运输和任务搜索及救援等，而无人机为了良好的完成这些任 务，需要导航信息的帮助。在正常情况下，无人机可以使用GPS信息，但是在缺少GPS信号或 GPS信号不佳的情况下，还需要其他形式的导航信息。导航需要对无人机飞行的场景进行建 模。经典的三维空间地图模型包括栅格地图，几何地图，拓扑地图和点云地图。但这些经典 地图模型在实际的导航中并不太适用，因此提出了基于八叉树的三维空间地图，其结合了 栅格地图和点云地图，可以有效地表示空间场景信息，其存储空间经过压缩以减少了内存 消耗。在实际导航中，通过查询每个栅格的值来知道它是否可以通过，并且针对不同的环境 要求，可以调整分辨率。一般来讲，获取较高精度的能用于导航的三维空间地图的比较困 难，因此需要寻找一个方便的方法获取场景的三维导航地图。场景的三维导航地图可以为 无人机导航任务例如路径规划或避障等提供重要辅助信息，而目前还没有这样的方法来获 取场景的三维导航地图，故而需要攻克。
技术实现要素：
针对现有技术存在的上述问题，本发明的要解决的第一个技术问题是：如何方便 的获取无人机的场景三维导航地图，其具体包括一种基于图像三维重建技术的无人机导航 地图构建系统，包括无人机、数据采集组件和三维导航地图构建系统；所述数据采集组件设 置在无人机上，数据采集组件为摄像头；所述摄像头用于采集场景的图像集；所述的三维导 航地图构建系统包括图像集输入系统、特征点提取系统、稀疏三维点云重建系统、稠密三维 6 CN 111599001 A 说　明　书 3/9 页 点云重建系统、点云模型优化系统和三维导航地图重建系统；所述的图像集输入系统是将 场景图像集输入到三维导航地图构建系统中，所述的特征点提取系统是对所有图像进行特 征点检测的过程，所述的稀疏三维点云重建系统是重建出场景的稀疏点云模型的过程，所 述的稠密三维点云重建系统是重建出场景的稠密点云模型的过程，所述的点云模型优化系 统是对模型去掉杂点和表面重建的优化过程，所述的三维导航地图重建系统是通过重建出 场景的三维导航地图的过程，最后将得到的三维导航地图应用到无人机上作为无人机的导 航以提供冬辅助信息。 本发明还公开了一种基于图像三维重建技术的无人机导航地图构建方法，其具体 包括以下步骤： S1、用于对数据采集组件采集的场景图像集进行三维导航地图构建； S2、对采集到的场景图像集输入到三维导航地图构建系统中去，在三维导航地图 构建系统中依次进行特征点提取、稀疏三维点云重建、稠密三维点云重建、点云模型优化和 三维导航地图重建后，最后得到场景的三维导航地图，以作为提供无人机的导航辅助信息。 作为优选，步骤S1中对数据采集组件采集的场景图像集进行三维导航地图构建的 具体方法是：使用无人机搭载数据采集组件，对目标场景进行航拍，并从不同位置和角度收 集场景的图像数据集；步骤S2的具体方法如下： S2-1：图像集输入：对于采集到的场景图像数据集，一起输入到三维导航地图构建 系统中去，在三维导航地图构建系统中打开图像数据集所在的文件夹，然后选中所有图像， 加载进去； S2-2：特征点提取：对所有的图像，都一一进行图像特征点的提取，对于每一个特 征点，检测其位置并计算其特征向量，并把每张图像的特征点信息保存成文件，供后续步骤 使用； S2-3：稀疏三维点云重建：对步骤S2-2得到的特征点信息，进行图像间的特征匹 配，在此先计算每张图像的相机位置，然后按照相机位置来选择式地图像间匹配，图像间特 征点匹配后再消除其中的误匹配，然后利用双视图中的对极几何约束来计算基本矩阵和本 质矩阵，再对本质矩阵做奇异值分解得到图像的旋转和平移的信息，然后再利用三角测量 技术恢复特征点的三维坐标，再使用捆绑优化对所有的特征点及图像旋转平移进行整体优 化，最后得到场景的稀疏三维点云模型； S2-4：稠密三维点云重建：对步骤S2-3得到稀疏点云，在此基础上进行稠密重建， 扩展稀疏点云到图像的所有像素点，多张视图图像中的相同部分会存在极线几何约束，在 对极几何约束的前提上，在对应图像中的极线上进行逐像素搜索并判断，寻找到对应点，寻 找到所有图像中的对应点，然后进行扩展重建出稠密的三维点云； S2-5：点云模型优化：对步骤S2-4得到的稠密点云，进行点云模型优化，首先删除 掉模型中的杂点，其次对其进行表面重建，完善模型； S2-6：三维导航地图重建：对步骤S2-5得到的优化后模型的基础上构建三维导航 地图，输入点云模型，然后将整个空间当成根节点，不断地往下划分空间直到要求的分辨 率，对于有点存在的叶子空间，定义其值为1，表示此处被占据，对于没有点存在的叶子空 间，定义其值为0，表示此处为空，最后得到三维导航地图。 上述技术特征的作用是：从不同位置和角度收集场景的图像数据集，然后在特征 7 CN 111599001 A 说　明　书 4/9 页 点提取过程中对所有的图像，都一一进行图像特征点的提取，对于每一个特征点，检测其位 置并计算其特征向量，并把每张图像的特征点信息保存成文件，另外将得到的特征点信息， 进行图像间的特征匹配，在此先计算每张图像的相机位置，然后按照相机位置来选择式地 图像间匹配，图像间特征点匹配后再消除其中的误匹配，然后利用双视图中的对极几何约 束来计算基本矩阵和本质矩阵，再对本质矩阵做奇异值分解得到图像的旋转和平移的信 息，再利用三角测量技术恢复特征点的三维坐标，再使用捆绑优化对所有的特征点及图像 旋转平移进行整体优化，最后得到一个被优化后的场景的稀疏三维点云模型、并通过点云 模型进行优化，最后得到清晰的三维导航地图，以实现让最终构建的导航地图的准确率更 高，且精度更高。 作为优选，所述步骤S2-3中选择式图像间匹配的方法如下：先选第一幅图像初始 化为(0，0，0)，然后从基准图像开始对后续的图像计算出相机位置，在重建图像间匹配过程 中，对于每一幅图像，把跟最近距离的图像之间的距离作为单位半径R，再设置一个比例系 数K，只匹配与该图像距离小于KR的其他图像，，选择式图像间匹配流程见附图3，该技术特 征的作用是：使得图像匹配过程中匹配效果更好，更接近实际，最终确保准确率高； 作为优选，上述的计算图像对应相机位置的步骤如下： i)将所有图像都做特征点提取，并选第一幅图像当作基准图像，初始化为(0，0， 0)； ii)从基准图像开始，对后面的图像和当前的图像做特征点匹配，根据双视图中对 极几何约束计算相机的位置参数，也就是旋转矩阵和平移向量；给定矩阵F，表示两个图像 相机关系的基础矩阵，如果给两个匹配点x1和x2，那么这两个匹配点存在如下公式(1)的关 系； 其中：T表示向量的转置，矩阵F的自由度为7，所以采用八点法计算出矩阵F； 然后计算给定矩阵E，表示两个图像相机关系的本质矩阵，本质矩阵可以通过如下 公式(2)求出； F＝k′-TEk-1   (2)； 其中K和K′分别为两个相机的内参数矩阵，本质矩阵E由旋转矩阵R和平移向量t组 成，如下公式(3)所示，可以对E进行奇异值分解，求出R和t； E＝t^R   (3)； iii)把后续图像当做当前图像，再重复步骤ii，直到求出所有的图像相机位置。 上述方法通过采集所有图像都做特征点采集使得最终采集的图像真实性更高，且 进一步保证最终图像的准确度。 作为优选，在对于每一幅图像，再跟其他图像进行匹配时，找到距离此图像的相机 位置最近的一副图像，并将他们之间的距离设为单位半径R的图像间匹配时，给定比例系数 K，只匹配那些相机位置满足公式(4)的其他图像： Hij＜KR   (4)； 其中Hij表示第i幅图像与第j幅图像的相机位置距离。 上方方法能够减少很多不必要图像间的匹配，最终提高匹配程度，最终能减少很 8 CN 111599001 A 说　明　书 5/9 页 多不必要图像间的匹配，降低时间消耗。 作为优选，步骤S2-6中的三维导航地图是以八叉树数据结构为基础的，八叉树是 指一个有八个子节点的树形数据结构，把空间经过左右、上下、前后三次划分刚好划分为八 块子空间，对原始三维点云模型空间进行八叉树划分，对没有点云的空间不进行划分，对叶 子节点全存在点云节点进行剪枝，最后得到以八叉树为存储结构的三维导航地图，并且实 现分辨率可调，最终实现三维点云模型构建为三维导航地图的过程。上方方法能够从不同 空间和角度获取图像信息，以提高对图像构建的精度。 作为优选，将三维点云模型构建为三维导航地图的步骤如下： a)加载三维点云模型，确定三维导航地图的分辨率，创建八叉树对象，将点云插入 到树中； b)将点云空间初始化为根节点，根据分辨率确定递归深度； c)对当前空间节点划分为八个子空间节点，如当前空间没有点云，则不进行划分； d)判断是否继续划分，如否，则继续上一步骤c，如是，则停止划分，并对所有叶子 节点都存在点云的节点进行剪枝，得到最终的三维导航地图。上述方法进一步展现了如何 利用三维点云模型构建为三维导航地图的过程，且整个过程方法简单，操作方便。 相对于现有技术，本发明至少具有如下优点： 1、本发明基于图像三维重建技术的无人机导航地图构建方法，能够对目标场景进 行航拍收集图像集，能良好地重建出场景的三维导航地图，为无人机的导航提供重要的辅 助信息。 2、使用无人机航拍的方式采集图像，能够收集到稳定的连续的场景图像数据集。 3、使用选择式图像间匹配策略，可以有效地降低三维导航地图构建系统中不必要 的图像间匹配的时间消耗，整体重建速度更快。 4、对场景收集图像数据集，然后进行三维点云重建，最后在三维点云基础上构建 场景的三维导航地图，此方法非常方便，并且得到的地图精度比较高。 附图说明 图1为一种基于图像三维重建技术的无人机导航地图构建系统的连接示意图。 图2为无人机示意图。 图3为三维导航地图构建系统的流程图。 图4为选择式图像间匹配过程图。 图5为八叉树空间划分示意图。 图6为三维点云模型构建为三维导航地图流程图。 图7为重建出的场景三维导航地图效果图。 图中，1-无人机，2-数据采集组件；3-三维导航地图构建系统；4-图像集输入系统； 5-特征点提取系统；6-稀疏三维点云重建系统；7-稠密三维点云重建系统；8-点云模型优化 系统；9-三维导航地图重建系统。