技术摘要：
一种多目摄像机的图像配准算法，首先使用单应变换对摄像机之间的运动进行建模并使用一个参数化的单应变换模型表示，然后通过不同视角间图像存在的重叠区域估计出摄像机之间运动参数。在此过程中，针对不同视角之间重叠区域可能存在的情况，采用结合SURF特征点配准和基  全部
背景技术：
视觉信息作为人类信息资源中重要的一员在信息社会中扮演着不可缺少的重要 角色。当今社会，数码摄像机，摄影等技术已经走进人们的生活成为每个家庭的必须品。视 频和图像等多媒体信息也在科技、军事、医疗等诸多领域扮演着重要的角色。视频的采集大 多是采用单个设备进行，所能够捕获的视场相对较小，远不及人眼视场，已经很难满足大视 场、高分辨率视频应用场景的需求。因此，图像拼接技术应运而生。 图像拼接的基本过程大致可以分为图像预处理(主要包括图像的镜头暗角校正， 畸变校正等)，图像配准和图像融合三部分。其中图像配准是用于找到系统中不同图像间的 像素位置对应关系的部分，对最终拼接图像的视觉一致性起着至关重要的作用。 目前，国内外已提出不同的图像配准方法，这些方法主要针对不同背景下的问题， 但是暂时还没有一种通用的图像配准技术可以完美地适用于所有的场景。常图像配准技术 主要包括：基于像素的直接图像配准法和基于特征点的图像配准算法。基于像素的直接图 像配准算法是直接使用一对图像中的像素点对参数化的运动模型进行拟合的一种方式。而 基于特征点的图像配准算法则是仅使用匹配的特征点对估计参数模型的一种算法。 对于基于像素的直接图像配准法，首先需要在图像间定义一个衡量相似性的损失 函数。均方误差函数常用于表示两个项之间的相似程度，通过最小化均方误差可以得到在 均方意义上的最优参数估计。假设给定一个模板图像函数I0(x)，意图找到离散的像素位置 {xi＝(xi，yi)}在源图像函数I1(x)中的位置，假设使用单应变换描述图像间的运动，参数向 量为p。则我们可以通过由参数p确定的单应变换矩阵，I0(x)中的一个像素位置映射到I1(x′ (x；p))的另一个位置。可以定义如式(3-1)的最小均方误差函数： 除了通过均方误差的方式来度量误差之外，还可以通过另一种准则来度量两张图 像之间的相似程度，即使用最大化相关的方式。可以定义如下的相关函数： 基于特征点的图像配准算法，首先将待配准的图像提取特征点，然后在不同图像 之间使用特征描述子对特征点匹配，找到在给定距离定义下距离最近的特征点匹配对。之 后，仅在这些特征点匹配对上，估计出预先定义好的参数化运动模型。通常情况下，使用基 于特征点的方法进行配准的鲁棒性好于直接像素点亮度配准的方法。目前已经成为图像配 准领域的主流技术，并在图像配准领域及其他计算机视觉的领域下取得了广泛的应用。基 于特征点的图像配准中主要涉及以下三个方面：(1)图像中特征点的检测(2)特征点匹配的 方法(3)根据匹配点对估计出参数化的运动模型 在国内外也已经有了不少基于特征点的图像配准算法的研究成果，M  Brown于 4 CN 111553939 A 说　明　书 2/9 页 2003年提出一种基于尺度不变特征转换(SIFT)特征检测的图像配准方法。为了改善SIFT方 法特征提取和描述效率低下的缺陷，Bay等人于2006年提出SURF特征提取方法。2011年的计 算机视觉学术研讨会(IEEE  international  conference  on  computer  vision)上，Roblee 提出ORB图像配准方法，该算法的思想是在图像金字塔上先利用改进FAST算法进行角点特 征检测，然后再使用改进的BRIEF方法进行特征描述，从而提高了图像拼接的速度。目前， ORB算法是国际上拼接速度较快的算法，但是由于ORB算法不具有尺度不变性，所以其应用 范围相比SURF和SIFT算法受限更多。 基于特征点的配准方案具有很强的鲁棒性，甚至可以用于从不同的视图中识别已 知的目标。此外，因为在特征点的搜索中引入了尺度空间操作，并且使用主方向(或具有旋 转不变性的特征描述子)，所以它们可以匹配在尺度、方向上不同的图像。如果特征很好地 分布在图像上，并且描述符设计合理，具有可重复性，那么通常可以找到足够的对应点来完 成图像的拼接。但基于特征的方法在纹理太粗的区域容易造成混淆，这些特征通常会不均 匀地分布在图像上，且经常容易在图像特征点之间产生错误匹配，因此无法匹配应该对齐 的图像对。在这种情况之下，直接像素配准的方法由于度量了图像中每个像素的贡献，更好 地利用了图像配准中的所有可用信息，进而可以适用于在该背景下的图像配准问题。
技术实现要素：
为了解决在多目摄像机系统的图像配准任务中，由于涉及大视场宽视角的图像配 准将存在(1)图像重叠区域纹理过少的情况，在该种情况下使用传统的基于特征点的图像 配准算法由于没有足够的特征点匹配对或存在过多错误匹配对而无法完成图像配准的任 务。限制了基于特征点图像配准算法在多摄像机系统中图像配准的应用。(2)在涉及多张图 像配准时，可以将图像每两张进行配准然后将所有图像映射到同一坐标系统中，但这将导 致配准误差的累积，最终导致拼合图像的视觉不一致性的问题，本发明对现有的图像配准 算法进行了改进，本发明提供一种多目摄像机的图像配准算法，在该方法中，先通过SURF算 法提取每一张图像的SURF特征点并进行特征点描述，对每一组可能的图像对进行特征点的 匹配并进行估计单应矩阵参数估计。为每一个估计的参数计算一个置信系数，对低置信系 数的图像对再以高置信系数图像对的单应变换矩阵为估计初值进行改进最小均方误差配 准。最后将单应变换矩阵的参数作为光束平差法的参数，进行光束平差法整体参数优化。得 到最终的参数化运动模型，为达此目的，本发明提供一种多目摄像机的图像配准算法，其特 征在于，包含以下步骤： 步骤1：对所有输入的图像进行SURF特征点提取，并生成SURF特征描述； 步骤2：摄像机的个数为5，依序输入的图像编号0,…i,i 1,…,4，对所有的图像对 {i,(i 1)％N}中的两张图像的特征点使用快速最近邻的方式进行匹配； 步骤3：使用RANSAC算法估计出每个图像对间的单应变换矩阵H，并判定在使用该 单应变换矩阵前提下，匹配点对中内点即符合该单应变换矩阵的匹配对和外点即不符合该 单应变换的匹配对，并根据内外点的数量计算该单应变换矩阵的置信系数f，并比较f与阈 值conf_thresh间的关系： 5 CN 111553939 A 说　明　书 3/9 页 步骤4：置信系数对大于阈值的图像对，直接使用单应变换矩阵H作为其参数化的 运动模型； 步骤5：对小于阈值的图像，使用进行改进的基于像素的配准方法进行图像配准； 步骤6：构造所有图像对间的对应点集合，对于置信系数不为0的图像对，直接取所 有的内点对作为匹配点对，最终得到匹配点对(x,x')，通过将原图像的重叠区域划分为若 干个16*16的块，选取每个块的中心点作为匹配点x，然后通过已经求取的参数p将x映射到y (x；p)找到目标图像中的对应点，然后在一定范围内进行最佳亮度匹配点搜索，在一个选定 的半径为4像素的以映射点x′为圆心的圆域内搜索得到对应的匹配点对(x,y)； 步骤7：使用最小均方误差准则同时对齐所有的图像以正确地将所有的失配误差 分散到各个图像中； 所使用的误差准则为最小均方误差准则具体的形式为： 步骤8：为了减少在焦距上所可能产生的偏移，需要在残差的每一个项上乘上一个 然后，使用Levenberg-Marquats算法最小化这一三维空间对应的能量准则，以求得 优化后的解，最后完成对应的图像配准。 作为本发明进一步改进，所述步骤5和步骤7，其中对每组图像对进行改进最小均 方误差配准的方法为： 原图像中的重叠区域所有像素点构成向量为： is＝[Is(x1)  Is(x2)  …  Is(xK)]T 在单应变换矩阵参数为p时目标图像中对应的像素点构成的向量为： it(p)＝[It(y T1(p))  It(y2(p))  …  It(yK(p))] 然后对这两个向量进行亮度零均值化，得到 和 使用的误差准则为： 使用迭代更新的方式局部最小化该误差准则以获得所需要的配准参数P，假定准 确的值为 其中Δp是一个扰动向量，映射函数为 则对参量p使用一阶泰勒 展开的形式为： 迭代更新的准则为： 6 CN 111553939 A 说　明　书 4/9 页 迭代终止判断选择使用迭代次数和收敛性判断，当迭代次数达到预先设定的值或 扰动的向量范数小于一定阈值时终止： ||Δp||≤τ。 有益效果：本发明在给出了一种在多目摄像机系统中进行图像配准方法，首先尝 试通过SURF特征点匹配算法直接求取各摄像机的参数化运动模型。SURF算法在图像特征点 分布均匀的情况下容易得到一个性能良好的解，但若重叠区域不存在足量特征点则无法使 用该方法求得精度足够的解。我们充分利用了基于直接像素配准方法不需要利用特征点而 是度量了图像中每个像素的贡献的特点，解决了重叠区域特征点不足无法使用特征点配准 方法的问题。在获取了每组图像对间单应变换矩阵之后，由于失配误差的累积将产生视觉 的不一致性。我们采用了基于光束的Bundle  Adjustment方法，选用最小均方误差将所有的 图像位置参数共同进行配准。得到了全局配准后每目摄像机对应的参数化运动模型，并由 此得到了具有良好视觉一致性的大视场宽视角图像。 附图说明 图1为本发明多目摄像机系统图像配准方案的流程图； 图2为一个给定五输入实施例的输入图像； 图3为图2中(b)的两张图像经过ORB特征提取后的特征分布/匹配情况； 图4为图2中(b)的两张图像经过SURF特征提取后的特征分布/匹配情况； 图5为图2中(b)的两张图像经过SIFT特征提取后的特征分布/匹配情况； 图6,7,8分别为图2中(b)的两张图像通过ORB，SURF，SIFT特征点配准算法计算得 到单应变换矩阵并经由多频带图像融合得到的拼接后图像； 图9为使用本发明提出的方法对同样两张图像进行配准并经由多频带图像融合得 到的拼接后图像； 图10为直接使用图像对配准不经过Bundle  Adjustment方法得到的最终拼接图 像； 图11为使用本发明所提出的方法进行图像配准所得到的最终拼接图像。