技术摘要：
本发明涉及一种基于双目图像的去雾方法，包括下列步骤：第一步，构建双目有雾的图片数据库，计算出不连续的左图的距离图，在已知左右距离图的前提下，根据大气散射模型，设置三种雾的浓度，随机从[0.7,1]中选取一个值作为大气光参数，合成双目有雾数据集；分别设计透射 全部
背景技术：
恶劣天气如雾，雨，烟会严重影响图片的质量，质量差的图片会大大降低基于图像 的物体检测等计算机视觉任务的性能。在无人驾驶的场景中，物体检测对于行车路线的决 策规划发挥重要的作用。其中2D物体检测框出物体的位置并识别物体的种类，相较之下3D 物体检测还能检测到距离信息。在行驶过程中，如果检测到前方有行人，就要减速避让，若 是检测到红灯，就要停车。这个过程中，检测到障碍物，行人，红绿灯很重要，获得它们的距 离信息对于行车决策尤为关键，因此3D物体检测是无人驾驶中一个重要课题。3D物体检测 技术目前可以大致分为两类：基于激光雷达的3D物体检测和基于双目相机的物体检测。雷 达造价高，感知距离相对有限(100m之内)，双目相机价格低，利用左右图的视差关系预测的 深度距离比单目相机更加准确，感知的距离与相机的焦距，两个相机之间的距离成正比，所 以基于双目的3D检测应用前景更加广阔[1]。在恶劣天气如大雾的情况下，输入的双目图像 质量差，严重影响3D检测的准确性。因此，在恶劣天气下，恢复高质量的无雾双目图像，对无 人驾驶尤为重要。 现有的一些去雾算法都是对单目图像的去雾。通常基于一个大气散射模型，公式 如下 I(x)＝J(x)t(x) A(1-t(x)) 其中I(x)是有雾图像，J(x)是清晰图片，t(x)是透射图，其中t(x)＝e-βd(x)，d(x)物 体和相机成像点的距离图，β是常数，β越大雾的浓度越大。透射图t(x)是距离d(x)成正比。A 是大气光参数。 现有的基于深度学习的单目去雾算法输入一张有雾图片，用卷积神经网络预测透 射图t(x)，用传统方法或较浅的神经网络预测大气光参数A，最后利用以下公式求得去除雾 的图片： 由于t(x)主要与物体和相机成像点的距离有关。 参考文献： [1]Peiliang Li ,Xiaozhi Chen ,and Shaojie Shen .Stereo R-CNN based 3D Object Detection for Autonomous Driving.In Proc.CVPR2019. [2]Marius Cordts ,Mohamed Omran ,Sebastian Ramos ,Timo Rehfeld ,Markus Enzweiler ,Rodrigo Benenson ,Uwe Franke ,Stefan Roth ,and Bernt Schiele .The cityscapes dataset for semantic urban scene understanding.In Proc.CVPR2016. 3 CN 111583131 A 说 明 书 2/5 页
技术实现要素：
本发明考虑到双目图像可以预测深度信息，以及实际应用对双目图像去雾的需求 提出一种可以恢复出清晰的高质量的双目图像的去雾方法。为了达到上述目的，本发明的 技术方案如下： 一种基于双目图像的去雾方法，包括下列步骤： 第一步，构建双目有雾的图片数据库，对于已有数据库的图片，计算出不连续的左 图的距离图，利用Image Inpainting将左图距离图补全，利用左右图的视差关系对应求得 右图不连续的距离图，继续使用Image Inpainting补全右图的距离图，在已知左右距离图 的前提下，根据大气散射模型，设置三种雾的浓度，随机从[0.7,1]中选取一个值作为大气 光参数，合成双目有雾数据集，并将数据集划分为训练数据集和测试数据集；训练集的标签 为清晰的双目图像和对应图片的左右透射图及大气光参数； 第二步，分别设计透射图估计网络和大气光参数预测网络： 透射图估计网络包含卷积参数共享的特征提取模块，双目传输模块和透射图预测 模块，卷积参数共享的特征提取模块是一个encoder-decoder的结构，先利用5层卷积层和 池化进行下采样，再利用双线性插值和4层卷积层进行上采样恢复原图大小，同分辨率的卷 积层输出的特征利用跨连接进行融合，得到鲁棒有效的特征；将有雾的左图和右图输入两 个相同的，卷积参数共享的特征提取模块，得到左图和右图的特征，然后将左图和右图的特 征输入到双目传输模块中,通过学习水平方向的关系矩阵，利用左右图的视差关系更好地 融合深度信息，更准确地预测透射图； 大气光参数预测网络，只输入有雾的左图，网络为encoder-decoder结构，经过4层 卷积和池化操作下采样4倍，接着上采样和卷积层交替2次恢复至原图大小，通过一个3×3 卷积预测大气光参数； 第三步，利用第一步构建的数据集对透射图估计网络和大气光参数预测网络同时 进行训练透射图估计网络和大气光参数预测网络：使用MSE loss损失函数对预测的左图的 透射图，右图的透射图，大气光参数计算损失值；同时用MSE loss损失函数对根据大气散射 模型恢复出的左图和右图计算损失值，这两个损失值使得整个网络能够联合优化，训练出 一个基于双目图像的去雾模型。 本发明利用深度卷积神经网络的算法，设计一种基于双目图像的去雾算法，利用 双目图像包含的深度信息来提升去雾算法的性能，能够同时恢复出没有雾的高质量的左右 一对图片。与现有的单目去雾算法相比，去雾后的图片更清晰，主观客观评测的性能都更 高。同时恢复出的左右高质量图片有助于后续的基于双目图像的3D检测等任务，在无人驾 驶中发挥重要的作用。 附图说明 图1透射图估计网络 图2大气光参数预测网络 图3基于双目图像的去雾算法的模型结构图 图4输入的有雾的双目图像 图5使用基于双目图像的去雾算法增强后的双目图像 4 CN 111583131 A 说 明 书 3/5 页
