logo好方法网

一种基于深度学习的稀疏颜色传感器图像重建方法


技术摘要:
本发明公开了一种基于深度学习的稀疏颜色传感器图像重建方法,步骤包括:步骤1、构建亮度恢复网络,根据raw图像中占96%的全色像素WS恢复出100%的全色像素图像WR;步骤2、构建生成对抗网络WGAN;步骤3、更新对抗模块参数;步骤4,更新颜色重建网络参数;步骤5,建立非  全部
背景技术:
在过去的十年中,数码相机有了很大的发展。数码相机的基本原理是,采用单个传 感器的成像结构,一次曝光获得一幅图像,传感器表面覆盖滤光片,曝光成像时,传感器的 每个像素位置只采集一种颜色,这种直接采样获取的图像称为raw图像,需通过软件方法重 建出每个像素位置上没有直接采样的颜色,这个重建过程被称为图像去马赛克。当前RGB数 码相机中,传感器表面最常见的滤光片阵列是Bayer阵列,成像区域由2×2的重复阵列组 成,每组2×2阵列包含2个绿色像素(G)、1个红色像素(R)、1个蓝色像素(B)。近些年针对 Bayer阵列raw图像的去马赛克技术取得了一定进步,但采用Bayer阵列的相机在拍摄弱光 场景图像时仍存在图像不清晰、细节丢失等缺陷。 为了克服Bayer阵列成像在弱光条件下的成像缺陷,Kodak公司提出了RGBW滤光片 阵列,在RGB基础上加入了W全色像素。与表面覆盖了滤光片的R、G、B三色像素不同,W全色像 素没有覆盖滤光片,从而意味着可接收更多光线进入传感器,从而引发传感器的光电响应, 利于捕捉弱光条件下的图像信息,但是其技术效果还是不够理想。
技术实现要素:
本发明的目的是提供一种基于深度学习的稀疏颜色传感器图像重建方法,解决了 现有技术在采用Bayer阵列的相机拍摄弱光场景图像时,仍存在图像不清晰、细节丢失,弱 光条件下的成像质量差的问题。 本发明采用的技术特征是,一种基于深度学习的稀疏颜色传感器图像重建方法, 按照以下步骤具体实施: 步骤1、构建亮度恢复网络,根据raw图像中占96%的全色像素WS恢复出100%的全 色像素图像WR; 步骤2、构建生成对抗网络WGAN; 步骤3、更新对抗模块参数; 步骤4,更新颜色重建网络参数; 步骤5,建立非线性映射关系, 训练对抗模块和颜色重建网络,直到对抗模块的损失值达到最大,颜色重建网络 的损失值达到最小;保存训练好的颜色重建网络的结构及各层参数,得到建立好的非线性 映射关系; 步骤6,获取RGB彩色图像, 将测试数据输入到训练好的颜色重建网络中,得到RGB彩色图像。 本发明的有益效果是,首先建立一个亮度恢复网络,从占96%空间的W全色像素中 5 CN 111598789 A 说 明 书 2/5 页 恢复出其余4%空间位置上的W颜色值,得到完整的W颜色值(将其称为W亮度通道图像),并 根据W通道图像提取边缘信息的低级特征。然后利用亮度恢复网络的输出和raw图像中的 RGB采样值,重建所有位置上的RGB值,获得完整的RGB彩色图像。采用本发明所提出的RGBW 滤光片阵列获取的raw图像,每个像素位置只采样了一种颜色,可用于恢复单传感器相机 raw图像的完整彩色信息,从而解决单传感器快照式成像存在的颜色丢失和颜色伪影等问 题;同时,能够有效提高低光照条件下的成像质量,较传统方法获得更清晰的彩色图像细 节。 附图说明 图1是本发明方法采用的传感器表面的RGBW滤光片阵列示意图; 图2是本发明方法的颜色重建模型示意图; 图3是本发明方法的流程示意图; 图4是本发明方法构建的亮度恢复网络模型结构示意图; 图5是本发明方法构建的颜色重建网络模型结构示意图; 图6是本发明方法构建的对抗模块示意图。
下载此资料需消耗2积分,
分享到:
收藏