技术摘要：
本发明公开了一种基于参考帧优选和前后景分离的视频稳像运动估计方法，用于解决运动矢量估计不准确影响稳像处理后的效果问题。首先以相邻帧优先为原则进行参考帧选取优化，而后通过网格聚类和密度聚类算法融合的方式对视频帧中的特征点进行聚类和初步的筛选。然后利用  全部
背景技术：
随着拍摄设备的日益广泛以及拍摄平台的多样化，生活中已经随处可见各种摄影 摄像设备。这些设备采集的视频不可避免的会存在一些抖动，不利于人工观测也不利于后 续视频图像处理。视频稳像的主要目的是对视频中的由于外部因素干扰或自身移动性带来 的抖动、模糊等进行矫正和消除，改善视频质量和观赏感受。稳像技术可用于科研测绘、执 法记录仪、手机相机等领域，其灵活性高、成本低、易维护等优势使得视频稳像技术具有乐 观的商业价值和广泛的应用前景。 视频稳像技术包含运动估计、运动滤波和运动补偿三部分，运动估计作为核心部 分需要从有前景等因素干扰下估算出摄像载体的全局运动矢量。近年来研究人员已经提出 了不少运动估计算法，主要分为基于特征和基于强度这两大类的方法。基于特征的算法的 精度依赖于视频的质量，诸如噪声、模糊等视频质量不佳的条件可能导致运动矢量估计失 败。基于强度的方法不依赖于点或边等特征，通常通过以块为单位或全区域考虑整个图像 的灰度来估计全局运动。基于特征的方法通常比基于强度的方法更精确，但也更容易产生 局部效应。因此，需要一种能准确去除前景影响、能准确计算出全局运动矢量的运动估计算 法，以获得较好的视频稳像修复效果。
技术实现要素：
本发明的目的是为了解决现有的技术方案中存在的参考帧选择随意、无法有效去 除前景点影响导致运动估计环节计算出的全局运动矢量不准确等问题，提出了一种基于参 考帧优选和前后景特征点分离的运动估计方法，该方法包括： (1)在相邻参考帧选取基础上，结合清晰度、相似度以及特征点匹配有效对数自适 应选取合适的参考帧； (2)对视频帧网格状划分，以网格为单元利用密度聚类算法对当前帧的特征点进 行聚类并剔除部分噪声点； (3)通过随机抽样一致性算法计算出当前帧和参考帧对应的最优单应矩阵，去除 部分误匹配； (4)将计算出的最优单应矩阵带入透视投影变换计算对应特征点之间的距离，并 依据距离准则进行最终筛选和剔除； (5)最终留下的特征点对用于计算全局运动矢量。 较佳地，所述的步骤(1)具体为： (1-1)计算出相邻帧pt-1的清晰度值Ft-1； (1-2)将计算出的清晰度值Ft-1与清晰度阈值C进行比较，若清晰度值Ft-1大于阈值 5 CN 111598918 A 说　明　书 2/5 页 C则更新当前相邻帧pt-1为参考帧并跳出步骤结束流程，否则继续进行步骤(1-3)； (1-3)计算当前帧pt与参考帧pi背景特征点对有效匹配对数值Lt及有效匹配点数 与当前帧所有特征点数的比值τ； (1-4)若有效对数值Lt大于匹配阈值Q且比值τ大于相似度阈值S则维持当前参考 帧pi为参考帧不变并结束流程，否则进行步骤(1-5)； (1-5)强制更新参考帧为当前相邻帧pt-1。 较佳地，所述步骤(2)具体为： 将视频图像帧用网格划分形成网状结构。通过自适应步长滑动窗口检测并聚类， 获得特征点分布区域。算法中涉及到的划分后的网格单元dj被表示为di＝d(Sti,Hni)。其中 St表示该网格对于区域簇的属于状态，Hn表示该网格的特征点包含状态。而自适应步长滑 动窗口是以3×3网格单元作为滑动窗口，以L为长度的自适应步长滑动。最后簇表示的是包 含了当前聚集的特征点群区域。密度聚类算法具体使用的是DBSCAN(Density-Based  Spatial  Clustering  of  Applications  with  Noise)，具有不需要预设簇数量、能发现不 同大小任意形状的簇群、能识别噪声点以及算法速度快等特点。所述结合网格的DBSCAN密 度聚类算法步骤具体如下： (2-1)输入视频图像帧，网格化分割成互不相交的网格单元，可表示为D＝{di|i＝ 1,2,...,n}，网格单元表示为di＝d(Sti,Hni)； (2-2)遍历所有的网格单元，若单个单元中包含特征点，则将该单元对应d(Hni)的 值置为true，否则置为false。d(Hni)的值只可设置一次，设置后不可更改； (2-3)将滑动窗口b从左往右，从上往下扫描。若滑动窗口b内包含特征点的网格， 即d(Hni)为true的网格数量超过阈值T，则判定当前窗口b中包含特征点的网格单元都属于 簇，并将那些网格单元的对应属性d(Sti)置为true，其余空白网格单元对应d(Sti)置为 false。若滑动窗口b内包含特征点的网格数量小于阈值T，则当前窗口b中的网格单元的d (Sti)属性都置为false，同时将下一次的滑动步长设置为3个网格单元； (2-4)扫描过程按照步骤(2-3)中的规则进行，直至所有网格单元的属性都被赋值 true或者false。所有d(Sti)的值为true的网格单元中包含的特征点即为聚类出的结果。 较佳地，所述步骤(3)具体为： 将不少于4组的特征点对带入随机抽样一致性数学模型中，并通过代价函数是否 极小循环判别，直至得到代价函数极小值时对应的最优参数单应矩阵。 较佳地，所述步骤(4)具体为： (4-1)将随机抽样一致性算法计算得出的最优单应矩阵应用于透视投影变换，得 到透视投影变换模型下的距离计算模型。 (4-2)对初步提纯后的特征点对集合计算每一对特征点对之间的距离。 (4-3)依据对应背景特征点对之间距离为0，而前景特征点对的距离非0为判断条 件，筛选出准确的背景特征点对。 较佳地，所述步骤(5)具体为： 通过筛选后的特征点对即为不包含前景特征点干扰的背景特征点对，带入对应运 动变换模型中即可计算出全局运动矢量。得到的全局运动矢量即为本发明方案流程的最终 数值结果。 6 CN 111598918 A 说　明　书 3/5 页 本发明的有益效果： (1)本发明所述方法步骤1中，提出根据清晰度、相似度以及特征点匹配有效对数 结合的自适应参考帧选取方式，解决单一参考帧选取模式中参考帧质量不佳的问题。 (2)本发明所述方法步骤2中，通过网格划分改进DBSCAN密度聚类方式，进一步提 高算法计算速度并减少算法后续计算量。 (3)本发明所述方法步骤4中，提出一种基于RANSAC的前后景特征点分离方法，融 合透视投影变换与距离准则，解决无法完全去除前景影响的问题。 附图说明 图1是本发明所述一种基于参考帧优选和前后景特征点分离的运动估计方法流程 示意图。 图2是本发明参考帧自适应更新流程示意图。 图3是本发明聚类与前后景分离流程示意图。