技术摘要：
本发明公开了一种基于场景深度信息感知的监控视频树叶遮挡检测方法，属于监控视频的智能分析技术领域，包括如下步骤：采集监控视频当前帧，获得二维三通道彩色图像I；计算图像I对应的单通道光透射率图像T，图像T的每一个像素值对应图像I中每一个像素对于光的透射率；根 全部
背景技术：
目前存在一个常见的问题是树叶遮挡，导致现有的监控视频树叶 遮挡检测方法 主要有两大类：一类是利用时序运动信息，即认为树叶 在监控场景下存在时序运动的特 点，通过运动前背景建模的方式获得 树叶候选区域，随后提取颜色、纹理等特征利用支持 向量机等分类器 进行建模，从而实现树叶遮挡的检测。然而，由于这类方法依赖于树 叶运 动，导致对于无风天气以及大块树叶近距离遮挡镜头两种情形无 法有效检测。另一类是直 接截取视频流中的一帧作为处理对象，利用 传统局部二值模式或梯度方向直方图方法提 取特征，随后利用随机森 林或支持向量机作为分类器训练有无树叶遮挡的二分类模型。随 着深 度学习技术的发展，也有一些研究工作尝试将特征提取与分类器用一 个统一的卷积 神经网络进行端到端的训练，虽然上述方法在特定的场 景下取得了一定的效果，但从前述 分析可知，现有方法实际检测的是 当前监控画面是否存在树叶，而不是检测是否存在树叶 遮挡。
技术实现要素：
本发明的主要目的是为了解决现有技术的不足，而提供一种基于 场景深度信息 感知的监控视频树叶遮挡检测方法。 本发明的目的可以通过采用如下技术方案达到： 一种基于场景深度信息感知的监控视频树叶遮挡检测方法，其特 征在于，包括如 下步骤： 步骤1：采集监控视频当前帧，获得二维三通道彩色图像I； 步骤2：计算图像I对应的单通道光透射率图像T，图像T的每 一个像素值对应图像 I中每一个像素对于光的透射率； 步骤3：根据光透射率图像T计算图像I对应的单通道场景深度 图像D，图像D中的 每一个像素反应图像I中每一个像素对应的物体 距离监控摄像机镜头的远近； 步骤4：将图像G与图像D级联为双通道图像X； 步骤5：设计具有自适应特征图注意力机制的卷积神经网络将此 双通道图像X进 行有无树叶遮挡二分类模型训练，进而判断出当前监 控画面是否被树叶遮挡。 优选的，在步骤1中，获取视频流采用RTSP方式，并根据监控 摄像头IP地址获得当 前监控画面二维三通道彩色图像，记为I。 优选的，步骤2包括： 利用已有的暗通道先验去雾算法中的方法计算图像I的暗通道 图像J，计算公式 为 4 CN 111582074 A 说 明 书 2/7 页 其中c表示彩色图像I的三个通道的编号，Ω(x)表示以像素x 为中心的矩形窗口 内的所有像素； 即上式公式意义为：一个像素位置对应的暗通道值为以其为中心 的临近矩形内 所有位置的像素的三个颜色通道里值最小的一个； 计算图像I所对应真实监控场景的大气光强度值A，计算步骤为： 首先将暗通道图 像J的所有像素之进行排序，取其前千分之一像素值 对应的位置在原始彩色图像I相同位 置的像素值作为集合，随后计算 该集合像素值的平均值作为大气光强度值A； 计算图像I的粗略光透射率图像T‘， 计算公式如下： 其中，Ic表示原始彩色图像的三颜色通道索引，Ac表示由上述步 骤2在原始彩色图 像I的不同颜色通道上计算得到的不同大气光强度 值，w为修正因子超参数，取值范围为 [0，1]。 根据粗略光透射率图像T‘计算精细光透射率图T；具体步骤为： 首先将图像I进行 颜色空间转换得到单通道灰度图像G，以G作为引 导图像对图像T‘进行导向滤波得到精细 光透射率图T。 优选的，在步骤3中，由光透射率图像T获得场景深度图像D 的计算公式为： 其中β是动态大气散射系数。 优选的，在步骤4中，将图像G与图像D级联为双通道图像X， 融合方法为在通道维 度将两幅图像处于相同空间位置的像素进行拼 接。 优选的，所述步骤5的重点是本发明设计了一种具有自适应特征 图注意力机制的 卷积神经网络，其可有效处理含有场景深度信息的双 通道图像X，主要步骤如下： 设计一个总体来看是由5个卷积层和两个全连接层组成的轻量 级卷积神经网络； 前三个卷积层将原始图像灰度信息与场景深度信息两种不同模 态的信息进行融 合，具体包含一个3x3分离卷积层、一个1x1卷积 层和一个3x3普通卷积层； 每层的计算步骤如下： 设图像X的维度为H×W×2，H表示图像的高，W表示图像的宽， 2表示图像的原始灰 度图和场景深度图两个通道，记为x1和x2； 则第一个3x3的分离卷积层计算方式为：定义两个3x3的卷积 核，分别记为k11、 k12，k11、k12分别和图像X的两个通道进行卷积 并经过一个非线性映射层得到特征图f11(x1) 和f12(x2)，即f11(x1)＝ ReLU(x1★k11)，f12(x2)＝ReLU(x2★k12)，其中★为卷积符号， ReLU 为非线性映射函数； 第二个1x1的卷积层利用1x1的卷积核对第一层得到的结果进 行通道维度的融 合，即对于特征图的每一个空间位置同时融合原始图 像灰度特征与场景深度特征，并通过 N，N≥3个1x1卷积核实现升 维； 第三个3x3普通卷积层通过普通的多组3x3的卷积核实现对第 二层的得到的通道 5 CN 111582074 A 说 明 书 3/7 页 融合的特征进一步根据特征图的每一个位置的上 下文进行语义特征提取，这一步中得到 的特征图同样经过ReLU函数 进行非线性映射； 优选的，针对整个卷积神经网络的第3、4和5三个卷积层，设 计了一种特征图根据 上下文信息自适应调整的自注意力机制，具体计 算步骤如下： 在每一个卷积层输出的特征图之后、非线性映射函数ReLU之前， 加上一层可学习 的特征调整层，若卷积层输出的特征图F的维度是 h×w×n，其中h和w分别代表图像的高、 宽，n表示特征图的个数； 自适应调整层AdaptFM的计算方法为：将n个3x3的可学习的 卷积核分成n组，每组 具有一个3x3的卷积核，每组卷积核与特征图 F的一个特征图进行卷积输出特征自适应调 整之后的特征图，即 AdaptFM(F)的维度依然为h×w×n，但其对特征图F的每一个维度的 特征都进行了自适应调整。 作为非线性映射ReLU函数的输入特征为F AdaptFM(F)，即具 有自适应特征调整 能力的卷积层的完整输出特征为ReLU(F AdaptFM(F))。 最后通过两个同样具有ReLU非线性映射函数的全连接层获得最 终的特征，并利 用Softmax函数进行是否存在树叶遮挡分类判断，标 注数据进行卷积神经网络训练，损失 函数采用传统交叉熵损失函数。 本发明的有益技术效果：按照本发明的基于场景深度信息感知的 监控视频树叶 遮挡检测方法，由单目监控摄像机获取的二维图像中快 速的计算出对应的真实场景深度 信息；计算并利用了场景深度信息， 能够有效区分当前监控画面是否存在树叶和是否存在 树叶遮挡两种 情况，降低由于画面中存在远景树叶造成的误警。 附图说明 图1为本发明
