技术摘要：
本发明属于计算机视觉技术领域，提供了一种基于时间域的雨线分解和空间结构引导的视频去雨方法。我们从位置和强度两个方面处理每帧的雨条纹，定义了一种可学习的分解方式来学习雨分布，位置引导图作用于与强度有关的单帧去雨块上，以准确地去除雨条纹。其次，我们构建  全部
背景技术：
在日常生活当中，人们经常会受到恶劣天气的影响，比如大雾天气、大雪天气、暴 雨天气，这些恶劣天气不仅影响着人们的正常出行，还会对拍摄的图像或者视频造成干扰 降质。 在室外计算机视觉应用中，降雨算是比较常见的恶劣天气条件，同时也是一个具 有挑战性的问题，会在小部分区域造成严重的强度和光线波动，人们的视线的可见度和摄 像设备的清晰程度都会受到很大影响，这些设备拍摄到的照片和录像会出现图像降质、噪 声增多遮挡重要背景信息、应用信息较少等情况，在不同的领域中都会遇到这样的问题，图 像噪声多、细节信息缺实在很多时候会影响使用者的使用和视觉系统本身的性能降低。因 此，在实际的视频分析场景中，消除视频序列中的雨线至关重要。由于有雨视频序列是在室 外拍摄的，周围环绕着各种移动物体，因此很难将雨水条纹与复杂的背景纹理完全区分开。 因此，由于降雨的稀疏性和不对称性以及相关的定义降雨条纹的复杂程度，在计算机视觉 研究中越来越重视去雨问题，因为目前的方法仍然存在些许问题，例如存在细节模糊平滑， 以及不理想的去雨效果。 现在已经有人提出了很多种方法来提升在有雨条件下拍摄照片和视频的能见度， 这些方法总体来说可以被分成两类：基于视频的去雨方法和基于单幅图像的去雨方法。 基于图像的去雨方法是大多数研究人员研究的热点，比较新提出的一种方法是将 输入图像分成低频部分(结构层)和高频部分(细节层)两部分进行去雨的方式。高频部分包 括了雨迹和物体的边缘信息。这个方法尝试使用利用HOG特征的基于字典学习的稀疏表示 方法将雨迹从高频部分分离出来。将图像的低频部分和分离后的高频部分的相结合的方式 获得输出去雨的图像。尽管分解的想法很简洁，但是其设计的网络结构十分复杂，而且效果 也不是十分理想。这种方式产生的结果都会由于高频部分的缺失使背景变得模糊。这个问 题在采用相似想法的方法中都有体现。还有部分方法假设椭圆形，垂直方向的痕迹为雨滴 并使用非线性的均值滤波方式来去除雨迹。这种方式对于部分雨迹的例子是有效果的，但 是并不是所有雨滴的角度，比例和密度都是一样的，所以他对一些特定的雨迹识别效果非 常差。目前，在处理单幅图像去雨的问题上深度学习算法成为了主流，深度卷积神经网络对 特征的强大表达能力为刻画雨的特征提供了很好的基础。在使用卷积神经网络处理去雨的 方法中，一种用于单幅图像去雨的网络体系结构，利用深度残差网络(ResNet)作为主干的 去雨网络并结合图像处理领域的方法将输入和输出映射到更加稀疏的黑色背景中，这样更 容易训练网络，解决了网络难以训练的问题。 有的方法考虑了到之前针对去雨的算法没有考虑在内的雨的密度信息，并结合密 集连接网络设计了带有区别雨线密度信息的多流密集连接网络。有的方法提出了一种新的 4 CN 111553851 A 说　明　书 2/4 页 有雨图像的建模和新颖的单幅图像去雨网络算法，能够很好的处理大雨和雨中带有雾气的 情况。但是这些算法有的对雨线特征刻画的不完整导致去雨不干净，有些算法的结果导致 图像过度平滑，图像背景恢复的不够完好。 还有一部分是基于视频的去雨方法，与单幅图像去雨方法相比，视频去雨依赖的 更多的是时间信息，通过利用相邻几帧的时间信息来补充当前帧的缺失信息。早期的去雨 方法都是一些视频片段的雨迹检测和去除的方法。这些检测方法都基于两个假设条件：第 一，由于雨线是动态的，他们在一小段连续帧间的像素值变化非常大。第二，由于画面中的 其他物体也有可能是动态变化的，可以通过使用验证条状像素值变化是否和背景的像素值 变化呈线性相关的方法将动态变换的物体和雨线进行区分。第二条限制条件可以减少将视 频帧中的其他动态变化物体误当作雨线进行处理的情况。从视频帧中检测到雨线之后，可 以通过对视频帧前后连续帧中的相应位置像素值中取平均值来替代原来检测出为雨线的 点的像素值的方式来去除视频帧中的雨线。 随着时间推移，基于传统物理和数学建模的视频去雨方法显现出很多明显问题， 例如先验设计复杂，耗费时间长，去雨效果不理想等等。现在基于深度学习神经网络的视频 去雨方法逐渐崭露头角，利用大量数据训练联合深度网络模型，形成可学习的网络结构，可 以很好地解决视频中大雨小雨的问题。但是还是存在由于雨定位不准确，导致去雨效果不 好，周边背景细节没有较为完整的保留的问题。
技术实现要素：
我们提出了一种基于时间域的雨线分解和空间结构引导的多帧去雨网络，以更有 效地完成视频去雨。具体来说，我们从位置和强度两个方面处理每帧的雨条纹，定义了一种 可学习的分解方式来学习雨分布，位置引导图作用于与强度有关的单帧去雨块上，以准确 地去除雨条纹。然后，我们构建带有边缘引导图的多帧融合模块，以融合时间空间信息，同 时恢复背景并保留更多细节。 本发明的技术方案： 一种基于时间域的雨线分解和空间结构引导的视频去雨方法，步骤如下： 步骤一、单帧增强模块(SFE-Module)的构建 在视频去雨的单帧增强模块(SFE-Module)中，雨的模型表示如下： Ot＝Bt Mt·Rt  t＝1,2,…,N   (1) 其中，Ot为要对其进行去雨恢复的有雨视频帧，Bt为去雨后的清晰的背景视频帧， Rt为雨条纹，Mt代表雨条纹位置特征，称为位置特征图；t和N分别表示当前时间步长和带有 视频帧的总数；构建的单帧增强模块将雨条纹分解成雨位置和雨强度特征，更能精准描述 雨的特性。 对于雨条纹的强度特征，建立单帧去雨子模块(SD-Block)以估计雨条纹的强度， 作为先行步骤；单帧去雨子模块是编码器-解码器(Encoder-Decoder)的结构，类似于U-Net 架构。为了准确地预测雨条纹强度，使用六个密集块来代替卷积层，从而增强了网络结构。 为了充分利用当前帧的空间信息，构建带有雨条纹检测的位置特定子模块(LS- Block)，它由三个卷积层(convolution  layer)，一个平均池化层(average  pooling  layer)和两个完全连接(FC)层组成；位置特定子模块为雨线区域分配不同的权重，着重于 5 CN 111553851 A 说　明　书 3/4 页 雨条纹的位置，并可自适应地重新校准每个区域的特征；利用雨条纹层获得特定雨位置的 特征图，并将这些权重参数乘以单帧去雨子模块，更准确地描述雨条纹的分布。通过单帧去 雨子模块(SD-Block)和位置特定子模块(LS-Block)可准确地定位雨条纹并更好地估计每 帧的背景信息。 步骤二、多帧融合模块(MFF-Module)的构建 对于视频去雨来说，如何引入时间信息特征最为关键。我们对单帧增强模块(SFE- Module)中的背景进行了初步估计。预处理后的帧被输入到逐帧对齐子模块(FA-Block)，并 计算帧与帧之间的运动，以更准确地填充雨区域。 我们假设fi→(i 1)表示第i个帧与第i 1个帧之间的光流，并且选择中间帧作为参考 帧。如图1所示，我们首先使用SpyNet提取光流，该SpyNet是由四个相同的子网络组成的空 间金字塔网络来估计光流量，并且预训练好该网络。光流估计网络由具有相同结构和参数 的n-1个(n为输入网络的视频帧数)SpyNet组成，每个SpyNet选择输入的某一帧，并将参考 帧和选择帧一起作为输入进行估计光流。然后，通过使用不同的流(fi→(i 1)，f(i-1)→i)和下一 步的扭曲(warp)操作将所有输入帧返回到参考帧。最后，我们可以获得包括参考帧在内的 一些相似帧。在该网络中，部分雨区域被恢复，为进行多帧去雨阶段做准备。 为了防止出现伪影，我们利用结构引导块(SG-Block)构造背景的空间信息，以突 出显示当前帧中关键的稀疏结构。结构引导块被定义为 显式公式可表现为： 其中 表示参考帧，即YUV域中输入的Y通道。i,j表示图像的x和y方向的像素索 引。由于得到的结构特征图应包含较少的虚假细节，因此我们将细节特征图的Y通道作为附 加通道应用于多帧去雨子模块(MD-Block)，来引导保留更多细节并改善帧的质量，如图1所 示。 作为所提出的网络的最后阶段，多帧去雨子模块(MD-Block)是深层残差结构，该 模块只含一个残差块，起到最终的图像重建作用。我们将扭曲帧，参考帧和有关当前帧的细 节特征图作为输入送到该子模块中，并使用Concat层叠加通道以达到集成信息的目的， Concat层是为了将所有层得到的特征图聚合，然后再通过1*1的卷积对其进行降维处理，得 到最终输出的通道数，并将多帧融合为一帧，输出最后的结果。 本发明的有益效果：能够实现端到端的视频去雨并且算法的性能优越，通过消融 研究验证了不同网络模块的有效性。在合成和真实的有雨视频序列上进行的大量实验证明 了我们相对于其他最新方法的优越性。 本发明针对视频去雨的问题提出的去雨方法在处理小雨以及复杂雨(多种雨线堆 叠)的去雨情况有很好的表现效果，不仅能够将当前帧的各种方向堆叠的雨线去除干净，而 且还能够很好地恢复当前帧的背景信息，保留较为完整的细节信息。 附图说明 图1是本发明的算法网络结构图。 6 CN 111553851 A 说　明　书 4/4 页 图2是本发明的结构引导模块结果示意图(Structure  Guidance  Block)。 图3是本发明在合成数据上的结果展示示意图；其中，(a)、(c)、(e)和(g)为雨图， (b)、(d)、(f)和(h)为对应的结果图。 图4是本发明在真实数据上的结果展示示意图；其中，(a)、(c)、和(e)为真实雨图， (b)、(d)、(f)为对应的算法结果图。 图5是本发明在连续帧上的结果展示示意图；(a)、(b)和(c)为连续的三帧雨图， (d)、(e)和(f)为对应的连续的三帧去雨结果图。