技术摘要：
本发明属于计算机视觉领域，涉及一种基于双U‑net的水下图像增强方法。本发明基于水下成像物理模型设置了两个U‑net连接卷积网络框架，每个U‑net由编码‑解码网络组成，第一个U‑net前添加注意力机制，通过处理输入图像和其灰度图像，在解码结构每层都输出一个特征信  全部
背景技术：
随着陆地资源的减少，人类探索海洋是大势所趋，水下图像是最直观反映  海洋内 部状况的手段之一。许多利用水下图像的领域，我们都需要获得成像质  量高的水下图片， 例如水下考古、水下生物研究、海底勘探，水下无人潜航器  导航、水下目标检测跟踪等领 域。 水下图像处理技术的算法可以根据是否基于水下成像模型分为图像增强算  法和 图像复原算法两种。图像增强方法是对得到的水下图像的像素点进行研究  增强，算法过程 中不需要考虑图像的形成过程和降质过程；图像复原方法是要  根据水下图像的成像过程 来获得出真实的情况。图像复原方法需要水体的光学  参数、摄像机参数和摄像机与目标物 体的距离等信息，这些信息都要通过人工  测量或其他方法估测出这些值。 目前，用于增强或复原水下图像的处理方法大致可分为非物理模型的图像  增强 方法和基于物理模型的图像复原方法。图像增强技术不必过多考虑图像成  像的过程和模 型，可以叫非物理模型方法，这种方法力图通过单纯的图像处理  手段提高水下图像质量， 通过调整图像的像素值来改善视觉质量，不过实现过  程往往较为复杂。该类方法采用直接 调整图像像素值的方式改善图像质量，并  不考虑水下图像退化的物理过程(没有考虑退化 模型、水下信道)，属于图像增 强范畴。 在水下图像增强技术研究早期，对水下图像的处理经常直接应用一些空气  中传 统的图像增强算法，传统的图像增强算法可以分为空间域法与频域法。空 间域方法是对图 像中的像素点直接处理，采用灰度映射的方法，比如选取合适 的映射变换来增加图像的对 比度，改善图像灰度级等。频域法是一种间接的图  像处理方法，运用变换技术把图像映射 到某种变换域内，然后利用变换域中特  有性质进行某种滤波处理，再反变换到空间域内， 即得到增强后的图像。常被  应用到水下图像传统空间域增强算法有直方图均衡化、限制对 比度直方图均衡  化、灰度世界假设和白平衡算法等，频域增强算法有傅里叶变换、小波变 换和  滤波技术，主要包括低通滤波，高通滤波和同态滤波等。目前图像增强算法往  往存在 可能只是对某一类的图像增强效果好，而其他类型的效果不好的特点，  而且由于水下环境 的特殊性，仅仅通过研究把传统的图像增强算法应用在水下 图像上无法彻底解决水下图 像退化问题。 基于卷积网络的图像去雾、去模糊、图像盲复原等任务跟水下图像增强方  法有异 曲同工之妙。但是关键点在于训练集的获取以及卷积模型的泛化能力上。  对于水下如此复 杂的退化环境，要训练出一种泛化能力足够强的网络才是难点  所在。与此同时，需要有相 应的数据集的定制，也是难点所在。 基于物理模型的水下图像复原方法，是指对水下图像退化过程搭建一个合  理的 3 CN 111738948 A 说　明　书 2/4 页 数学模型估算出模型参数信息，了解整个图像的退化过程使水下图像恢复  到退化前的状 态。图像复原技术适用范围更广，但是往往需要场景先验信息或  深度信息来实现图像复 原。受图像处理和质量衡量方法的多样性的影响，对于  水下图像处理结果的选取只能从其 应用目的和场合入手，水下图像增强算法的  研究仍然有待深入研究和完善。海洋的环境多 种多样，必须要用应用的目的和  场合入手来进行合适的水下图像增强。 由于水质的复杂性，导致光线在水下的传播有折射、散射等现象，同时可  能存在 的浑浊水质也是导致水下图像退化的主要原因，水下图像就因为这种降  质因素产生了严 重的模糊。目前科学技术处理这种模糊还存在一定的难度。由  于无法获得原始的水下清晰 图像，以及无法精确测量到导致水下图像发生退化 的模糊函数，水下图像复原技术的应用 一直受到限制，也间接限制了水下探测  等技术的发展。因此如何根据水下图像的形成机制 和水下图像发生退化的原因，  建立一个合理的水下图像退化的物理模型，同时使得该物理 模型能够实际应用，  能够通过软硬件手段估计得到模糊函数来复原水下图像是目前的研 究重点，具 备实际的研究价值和意义。
技术实现要素：
本发明提出了一种基于双U-net的水下图像增强方法，用于增强受水下成像  环境 影响所得到的颜色失真，雾化严重且细节模糊的水下图像。本发明结合水  下成像物理模型 以及深度学习的方法，采用一种端到端网络估计透射图像以及  补偿红光后的图像，最终按 照物理模型公式将两者进行除法得到最终结果。一  般需要人为测量先验等信息的基于物 理模型的方法具有适用范围窄，测量有误  差等问题，以及一般深度学习方法的直接映射会 导致图像细节丢失等问题，本  发明结合这两种方法，既可以改进他们各自的缺陷，也得到 了更好的效果。本  发明的网络框架中包含两个U-net网络，如图1所示，在水下图像增强的 工作中， 为了使图像细节更加清晰，加入了注意力机制模块(CBAM)来处理灰度图像。 本发明采用的技术方案： 一种基于双U-net的水下图像增强方法，其特征在于： 步骤一、建立水下成像模型 在水下环境中，图像成像模型表示如下：T(x)＝J(x)t(x) Bλ(1-t(x))   (1) 其中，I(x)为退化的水下图像，J(x)为要得到的地面真实图像，t(x)为透射图，Bλ 为介质消光系数； 步骤二、通过注意力机制提取输入图像中的细节信息 采用注意力机制模块CBAM处理水下图像，CBAM分为两部分，通道注意力  模块以及 空间注意力模块；通道注意力模块使输入图像分别经过平均池化与最  大池化，再经过一个 简单的三层神经网络，如公式(2)所示： 空间注意力模块使输入图像分别经过平均池化与最大池化，在经过一个卷  积核 为7×7的卷积层，如公式(3)所示： 4 CN 111738948 A 说　明　书 3/4 页 输入特征为F，最终输出的特征信息如公式(4)所示： 将水下图像输入注意力机制中得到refined_feature，之后与水下图像的灰度 图 像在维数1上进行拼接，得到的结果作为第一个U-net的输入； 步骤三、构建双U-net结构 第一个U-net包括编码Encoder阶段和解码Decoder阶段；编码Encoder阶段包  含 五层网络，每层包含两个卷积层，卷积核均为3，每个卷积层后接LeakyReLU  激活函数与 BatchNorm2d函数，前四层网络后设有一个最大池化层Maxpooling作  为编码阶段的下采样 器，最后一层网络后接sigmoid激活函数得到特征信息命名  为gray5；解码Decoder阶段包 含四层网络，每层与编码器参数一致，每层网络前  设有一个上采样函数upsample作为解码 上采样器；在对称的Encoder模块和  Decoder模块之间，连接编码结构中1-4层网络输出的 特征信息，并在解码结构每  层网络后经过sigmoid激活函数依次输出gray4-1特征信息用 于第二个U-net网络，  最终在最后一层网络后接一层卷积层和sigmoid激活函数得到透射 图像gray，物 理意义为t(x)； 第二个U-net网络结构与第一个相同，不同处在于编码阶段最后一层进入网  络 前，与第一个U-net输出的gray5信息进行像素除法，且解码阶段进入每层网络  前，不仅与 编码结构中对应层数的特征信息进行像素除法，还与第一个U-net中  输出的gray1-4进行 像素除法，两者按维数1进行拼接；最后一层网络后接一层卷  积层和tanh激活函数得到 latent图像，代表补偿红光后的水下图像，物理意义为  /(x)-Bλ(1-t(x))； 最后根据成像模型latent除以gray为最终结果。 本发明的有益效果：本发明针对水下图像增强问题提出的图像增强方法在  处理 颜色失真严重以及图像雾化严重的增强情况有很好的表现效果，不仅能矫  正图像色彩，而 且能很好的保留图像细节信息。本发明能够实现端到端的图像  增强并且效果显著。 附图说明 图1是本发明方法的网络架构示意图。 图2是本发明中利用的注意力机制模块(CBAM)示意图，(a)为注意力机  制模块整 体流程图，(b)为通道注意力模块流程图，(c)为空间注意力模块流 程图。 图3是本发明在合成的成对图像上增强图像结果展示示意图，(a)为输入  的颜色 发蓝发绿水下图像，(b)为地面真实图像(groundtruth)，(c)为网络中  生成的传输图，(d) 为网络中生成的补偿红光后的latent图像，(e)为网络的输  出也就是增强后矫正颜色的图 像，结果图像颜色不再发蓝发绿。 图4是本发明在真实水下图像上的结果展示示意图，(a)为输入的颜色发  蓝发绿 水下图像，(b)为网络中生成的传输图，(c)为网络中生成的补偿红光  后的latent图像，(d) 为网络的输出也就是增强后矫正颜色的图像，结果图像颜 色不再发蓝发绿。 5 CN 111738948 A 说　明　书 4/4 页