技术摘要：
本发明提供了一种图像修复的方法、装置及电子设备，其中，所述方法包括：将待处理图像输入目标去噪网络，其中，所述目标去噪网络包括单帧网络和递归网络，所述待处理图像为待处理视频中的任一帧；通过所述单帧网络对所述待处理图像进行去压缩噪声处理，输出第一图像；  全部
背景技术：
为了避免视频占用较大的存储空间，以及提高传输速度，常常需要将视频进行压 缩，然而，压缩过程中难免产生各种噪声，进而影响显示效果。 可见，如何去除视频压缩中的噪声，提高显示品质就变得极为重要。
技术实现要素：
本发明提供了一种图像修复的方法、装置及电子设备，用于去除视频压缩中的噪 声，提高显示品质。 第一方面，本发明实施例提供了一种图像修复的方法，包括： 将待处理图像输入目标去噪网络，其中，所述目标去噪网络包括单帧网络和递归 网络，所述待处理图像为待处理视频中的任一帧； 通过所述单帧网络对所述待处理图像进行去压缩噪声处理，输出第一图像； 根据先前帧图像的内容，通过所述递归网络对所述待处理图像进行去压缩噪声处 理，输出第二图像，其中，所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧 图像； 将所述第一图像和第二图像进行加权求和，输出针对所述待处理图像的去噪图 像。 在一种可能的实现方式中，所述根据先前帧图像的内容，通过所述递归网络对所 述待处理图像进行去压缩噪声处理，输出第二图像，包括： 通过所述递归网络中级联的第一卷积层、第一特征串联层、第一采样层对所述待 处理图像进行去压缩噪声处理，输出第二图像。在一种可能的实现方式中，所述递归网络中 所述第一卷积层包括第一子卷积层和第二子卷积层，所述第一特征串联层包括第一子特征 串联层和第二子特征串联层，所述第一采样层包括第一下采样层和第一上采样层，所述通 过所述递归网络中级联的第一卷积层、第一特征串联层、第一采样层对所述待处理图像进 行去压缩噪声处理，输出第二图像，包括： 通过所述第一子特征串联层接收由所述单帧网络中各第二卷积层中第三子卷积 层所提取的所述待处理图像的第一特征图，以及通过所述第一子特征串联层获取所述递归 网络中与各所述第三子卷积层对应的所述第一子卷积层从所述先前帧图像中所提取的第 二特征图； 通过所述第一子特征串联层对所述第一特征图和所述第二特征图进行串联操作， 获得串联特征图； 通过所述第一子卷积层对所述串联特征图进行压缩，获得压缩后的特征图，所述 压缩后的特征图为通过各所述第一子卷积层从所述待处理图像中所提取的所述第二特征 5 CN 111738952 A 说　明　书 2/13 页 图； 通过所述第一采样层中的第一下采样层，从所述压缩后的特征图中提取多个空间 尺寸的特征图； 通过所述第一上采样层，确定与所述多个空间尺寸中相同空间尺寸的特征图； 通过所述第二子特征串联层对相同空间尺寸的特征图在特征维度上进行拼接，获 得第一拼接特征图； 通过所述第二子卷积层对所述第一拼接特征图进行处理，输出所述第二图像。 在一种可能的实现方式中，所述单帧网络包括级联的第二卷积层、第二采样层和 第二特征串联层，所述第二卷积层包括第三子卷积层和第四子卷积层，所述第二采样层包 括第二下采样层和第二上采样层，所述通过所述单帧网络对所述待处理图像进行去压缩噪 声处理，输出第一图像，包括： 通过各所述第三子卷积层提取所述待处理图像的第一特征图； 通过所述第二下采样层，从所述第一特征图中提取多个空间尺寸的特征图； 通过所述第二上采样层，确定与所述多个空间尺寸中相同空间尺寸的特征图； 通过所述第二特征串联层对相同空间尺寸的特征图在特征维度上进行拼接，获得 第二拼接特征图； 通过所述第四子卷积层对所述第二拼接特征图进行处理，输出所述第一图像。 在一种可能的实现方式中，在所述将待处理图像输入目标去噪网络之前，所述方 法还包括： 所述目标去噪网络的训练过程，具体执行： 获取多组图像帧序列，每组图像帧序列包括多幅图像； 将所述多组图像帧序列分别编码成真值视频以及仿真视频，其中，所述仿真视频 中的每帧仿真图像中包含有压缩噪声； 将所述仿真视频中每帧仿真图像输入待训练去噪网络，输出对应帧的仿真去噪图 像； 根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差，确 定针对所述待训练去噪网络的第一损失函数； 将所述第一损失函数低于第一预设阈值时所对应的网络，作为所述目标去噪网 络。 在一种可能的实现方式中，所述根据所述仿真去噪图像与所述真值视频中对应帧 真值图像间的第一预测偏差，确定针对所述待训练去噪网络的第一损失函数，包括： 若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差小于 或者等于δ时，则采用L2损失函数； 若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差大于δ 时，则采用L1损失函数； 其中，所述L2损失函数对应的公式为： 所述L1损失函数对应的公式为： 其中，f(x)表 6 CN 111738952 A 说　明　书 3/13 页 示仿真去噪图像，y表示所述真值视频中与所述仿真去噪图像对应帧的真值图像。 在一种可能的实现方式中，在所述根据所述仿真去噪图像与所述真值视频中对应 帧真值图像间的第一预测偏差，确定针对所述待训练去噪网络的第一损失函数之后，所述 方法还包括： 在所述第一损失函数低于所述第一预设阈值时，对所述真值视频中每帧真值图像 进行锐化处理，获得边缘增强后的真值视频； 确定所述仿真去噪图像与所述边缘增强后的真值视频中对应帧图像间的第二预 测偏差，确定针对所述待训练去噪网络的第二损失函数； 将所述第二损失函数低于第二预设阈值时所对应的网络，作为所述目标去噪网 络。 第二方面，本发明实施例还提供了一种用于图像修复的装置，包括： 输入单元，用于将待处理图像输入目标去噪网络，其中，所述目标去噪网络包括单 帧网络和递归网络，所述待处理图像为待处理视频中的任一帧； 第一处理单元，用于通过所述单帧网络对所述待处理图像进行去压缩噪声处理， 输出第一图像； 第二处理单元，用于根据先前帧图像的内容，通过所述递归网络对所述待处理图 像进行去压缩噪声处理，输出第二图像，其中，所述先前帧图像为所述待处理图像在所述待 处理视频中的前一帧图像； 输出单元，用于将所述第一图像和第二图像进行加权求和，输出针对所述待处理 图像的去噪图像。 第三方面，本发明实施例提供了一种用于图像修复的电子设备，包括： 存储器和处理器； 其中，所述存储器用于存储程序； 所述处理器用于执行所述存储器中的程序，包括如下步骤： 将待处理图像输入目标去噪网络，其中，所述目标去噪网络包括单帧网络和递归 网络，所述待处理图像为待处理视频中的任一帧； 通过所述单帧网络对所述待处理图像进行去压缩噪声处理，输出第一图像； 根据先前帧图像的内容，通过所述递归网络对所述待处理图像进行去压缩噪声处 理，输出第二图像，其中，所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧 图像； 将所述第一图像和第二图像进行加权求和，输出针对所述待处理图像的去噪图 像。 第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储 介质中存储有计算机指令，存储的所述计算机指令被处理器执行时能够实现如上面所述的 图像修复的方法。 本发明的有益效果如下： 本发明实施例提供了一种图像修复的方法、装置及电子设备，其中，该方法将待处 理视频中的任一帧待处理图像输入由单帧网络和递归网络构成的目标去噪网络，通过该单 帧网络对该待处理图像进行去压缩噪声处理，输出第一图像，根据待处理图像在待处理视 7 CN 111738952 A 说　明　书 4/13 页 频中的先前帧图像的内容，通过递归网络对待处理图像进行去压缩噪声处理，输出第二图 像，然后，将第一图像和第二图像进行加权求和，输出针对该当前帧图像的去噪图像。也就 是说，对待处理视频中的任一帧待处理图像需要根据当前帧的待处理图像与先前帧图像来 综合起来进行去压缩噪声的处理，从而实现了对待处理视频中的任一帧图像中的压缩噪声 的去除，提高了显示品质，此外，由于整个去压缩噪声的过程中利用了前后帧图像之间的联 系，从而能够实现对帧间的运动补偿，进而提高了视频品质。 附图说明 图1为本发明实施例提供的目标去噪网络的其中一种结构示意图； 图2为本发明实施例提供的递归网络的其中一种结构示意图； 图3为本发明实施例提供的递归网络的其中一种结构示意图； 图4为本发明实施例提供的单帧网络的其中一种结构示意图； 图5为本发明实施例提供的目标去噪网络的其中一种结构示意图； 图6为本发明实施例提供的一种图像修复方法的方法流程图； 图7为本发明实施例提供的一种图像修复方法中步骤S103的其中一种方法流程 图； 图8为本发明实施例提供的一种图像修复方法中步骤S102的方法流程图； 图9为本发明实施例提供的一种图像修复方法中在步骤S101之前的方法流程图； 图10为本发明实施例提供的一种图像修复方法中在步骤S404之后的方法流程图； 图11为本发明实施例提供的一种用于图像修复的装置的结构示意图； 图12为本发明实施例提供的一种用于图像修复的电子设备的结构示意图。