技术摘要：
本发明公开了一种基于注意力机制的图像超分辨率重建方法和系统，包括：提取低分辨率图像中的初步图像特征信息；经过多个连接的信息提取模块逐步提取所述初步图像特征信息，得到深度图像特征信息；根据所述深度图像特征信息，重建超分辨率图像。其通过基于注意力机制的  全部
背景技术：
超分辨率(Super-Resolution，SR)重建最早在20世纪60年代由Harris等人提出， 按重建时输入所需的低分辨率图像数量可以分为单幅重建和多幅重建，单幅图像超分辨率 重建就是将低分辨率的图像通过一定的算法重建到视觉上让人愉悦的高分辨率图像。 近年来基于卷积神经网络(CNN)的超分辨率重建的方法取得很好的成果，例如， 2014年，Dong等人首先将三层卷积神经网络引入图像中，提出了基于卷积神经网络的超分 辨率重建模型(SRCNN)；2016年，Kim等人提出一种非常深的卷积网络精准的超分辨重建模 型(VDSR)，将网络深度增加到20层；为控制模型参数数量，Kim等人又提出一种通过递归监 督和跳过连接的深度递归卷积网络模型(DRCN)，与SRCNN相比取得了显著进步；Tai等人提 出一种深度递归残差网络(DRRN)，采用权重共享策略来缓解非常深的网络中巨大的参数需 求；2018年，信息蒸馏网络(IDN)作为一个深但简洁的卷积网络被提出，实现直接从原始的 的低分辨图像来重建高分辨图像。为提高图像超分辨效果，加深和扩大网络已经成为一种 设计趋势，但仅通过加深网络层数会带来计算量大消耗内存多训练时间长等问题，不适用 于移动和嵌入式视觉应用场景。另外，以上基于卷积网络的方法，同等地处理信道特征，其 在处理不同类型的信息如高频信息和低频信息方面缺乏灵活性。因此，目前现有图像超分 辨率重建方法普遍存在的重建输出图像较模糊、视觉效果不佳、运算时间长等问题。
技术实现要素：
为解决上述问题，本发明的目的在于提供一种基于注意力机制的图像超分辨率重 建方法和系统，用以提高重建输出图像的清晰度和视觉效果。 本发明解决其问题所采用的技术方案是： 本发明的第一方面，一种基于注意力机制的图像超分辨率重建方法，提取低分辨 率图像中的初步图像特征信息；经过多个连接的信息提取模块多维度提取所述初步图像特 征信息，得到深度图像特征信息；根据所述深度图像特征信息，重建超分辨率图像；其中，所 述信息提取模块包括多组间隔设置的卷积模块和注意力模块，初步图像特征信息经过所述 卷积模块后得到含有多个特征通道的第一特征信息；所述第一特征信息经过所述注意力模 块执行注意力机制，学习每个所述特征通道的特征权值，用所述特征权值调整所述第一特 征信息，得到下一个所述卷积模块的输入。 上述基于注意力机制的图像超分辨率重建方法至少具有以下的有益效果：通过设 置基于注意力机制的信息提取模块，提高了通道间的相关性，充分融合各通道特征图信息， 提高了重建超分辨率图像的清晰度和视觉效果。 进一步，所述注意力机制包括：使用全局平均池化方法将输入信息平均化，得到全 4 CN 111583107 A 说　明　书 2/7 页 局信息；使用由两层全连接层构成的门控单元从所述全局信息学习每个特征通道的特征权 值；使用所述特征权值调整所述输入信息，得到输出信息。全局平均池化将空间上所有点的 信息都平均成一个值，能屏蔽掉空间上的分布信息，能更好的关注通道间的相关性；两层全 连接构成的门控机制融合各通道特征图信息，利用通道间的相关性获得特征图权重值，实 现自适应地调整信道特征。 进一步，所述信息提取模块包括用于提取第二特征信息的局部浅层网络和用于提 取第三特征信息的局部深层网络；在所述信息提取模块，对所述第二特征信息和所述第三 特征信息按照如下的操作处理： Rk＝C(S(P k1 ,1/s) ,Fk-1) 其中，Fk-1是当前信息提取模块的输入，C、S分别代表连接操作和切片操作，P k1 为第 k个信息提取模块中局部浅层网络的输出，Rk为第二特征信息； Pk＝P k Rk＝C (S(P k2 b 1 ,1-1/s)) C(S(P k1 ,1/s) ,Fk-1) 其中，P k2 、Cb分别为第k个信息提取模块中局部深层网络的输出和局部深层网络的 堆叠卷积操作，Pk为第三特征信息。 每次特征提取后都进行各通道特征图信息的关联和融合，保证了特征图权重值的 价值性。通过将第一特征信息、第二特征信息和局部深网络特征进行合并来得到第三特征 信息，使第三特征信息内容更加丰富、有效。 进一步，所述局部浅层网络，包括依次连接的第一卷积模块、第一注意力模块、第 二卷积模块、第二注意力模块、第三卷积模块、第三注意力模块，其中所述第一卷积模块的 特征维度是48，所述第二卷积模块的特征维度是32，所述第三卷积模块的特征维度是64。 进一步，所述局部深层网络，包括依次连接的第四卷积模块、第四注意力模块、第 五卷积模块、第五注意力模块、第六卷积模块、第六注意力模块，其中所述第四卷积模块的 特征维度是64，所述第五卷积模块的特征维度是48，所述第六卷积模块的特征维度是80。 进一步，所述信息提取模块还设置有信息压缩模块，所述信息压缩模块设置有用 于降维的压缩卷积模块，所述压缩卷积模块的特征维度是64。信息压缩模块能压缩第三特 征信息中特征的冗余信息，增多第三特征信息的特征图信息，使轮廓细节更加清晰。 进一步，所述重建超分辨率图像采用亚像素卷积层重建方法，对所述深度图像特 征信息按照如下的操作处理： ISR＝HREC(Hn(Fn-1)) U(ILR) 其中HREC,U分别表示重建运算和双三次插值运算，ISR表示最后输出结果，ILR表示 原始输入，Hn表示第n个信息提取函数。 这样利用信息提取模块学习到的信息，将低分辨率图像重建成不同尺度的高分辨 率图像。 进一步，所述重建超分辨率图像还包括损失函数运算，所述损失函数采用平均绝 对误差的方式，对所述最后输出结果按照如下的操作处理： 本发明的第二方面，一种基于注意力机制的图像超分辨率重建系统，包括：特征提 取模块，用于提取低分辨率图像中的初步图像特征信息；多个信息提取模块，用于多维度提 5 CN 111583107 A 说　明　书 3/7 页 取所述初步图像特征信息，得到深度图像特征信息；重建模块，用于根据所述深度图像特征 信息重建超分辨率图像；其中，所述信息提取模块包括多组间隔设置的卷积模块和注意力 模块，所述注意力模块执行注意力机制以调整经所述卷积模块的输出信息。 上述基于注意力机制的图像超分辨率重建系统至少具有以下的有益效果：通过设 置基于注意力机制的信息提取模块，提高了通道间的相关性，充分融合各通道特征图信息， 提高了重建超分辨率图像的清晰度和视觉效果。 本发明的第三方面，存储介质，其特征在于，所述存储介质存储有计算机可执行指 令，所述计算机可执行指令用于使计算机执行如以上所述的基于注意力机制的图像超分辨 率重建方法。 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。 附图说明 下面结合附图和实例对本发明作进一步说明。 图1为本发明实施例一种基于注意力机制的图像超分辨率重建方法的流程图； 图2为图1中注意力机制的流程图； 图3为图1中信息提取模块的结构图； 图4为本发明实施例一种基于注意力机制的图像超分辨率重建系统的结构图； 图5为图4中局部深层网络和信息压缩模块的结构图； 图6为图4中注意力模块的结构图； 图7为本发明与对比方法在Set5数据集上的图像重建结果对比图； 图8为本发明与对比方法在Urban100数据集上的图像重建结果对比图。