技术摘要：
本申请实施例公开了一种图像超分辨的模型训练和处理方法、装置、设备和介质，涉及图像处理技术领域，尤其涉及计算机视觉技术。具体实现方案为：获取样本对，所述样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清晰图像和第三清晰图像；将所述样本对的第一清晰  全部
背景技术：
图像超分辨技术，是图像处理技术的一种具体应用方式。所谓图像超分辨处理，是 将低分辨率图像处理成为高分辨率图像。对于数码相机拍摄焦距不同造成图像分辨率不同 等问题，可以通过图像超分辨处理有效得到解决。 现有技术采用机器学习模型来实现图像超分辨处理，其中，如何能够保持高分辨 率图像的内容细节和高频纹理，是一项具有挑战的任务。 为了提高机器学习模型的超分辨处理能力，传统的方法是将模型加深或加宽，以 增加模型计算量和模型参数的方法来提升模型效果。但是这样处理的性价比较低，超分辨 处理效果并未随着计算量和参数量的增加而有显著提升。
技术实现要素：
本申请实施例提供了一种图像超分辨的模型训练和处理方法、装置、设备和介质， 以改善图像超分辨的处理效果。 第一方面，本申请实施例公开了一种图像超分辨模型的训练方法，该方法包括： 获取样本对，所述样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清 晰图像和第三清晰图像； 将所述样本对的第一清晰图像作为输入图像，输入超分辨模型中进行训练，其中， 所述超分辨模型包括级联的至少两个子模型，所述样本对中的第二清晰图像和第三清晰图 像，分别作为各子模型的输出图像的结果监督图像； 如果确定所述超分辨模型的输出图像满足损失函数要求，则确定所述超分辨率图 像训练完成。 上述申请中的一个实施例具有如下优点或有益效果：将原始的第一清晰图像输入 到由多个子模型级联而成的超分辨模型中，实现对原始第一清晰图像的多级处理，根据每 个子模型的输出图像与样本对中不同清晰度的结果监督图像之间的差别，确定每一级子模 型的模型参数，根据超分辨模型的损失函数确定超分辨率图像训练完成。改进了现有技术 中，将模型加深或加宽，以增加模型计算量和模型参数的方法，提高图像超分辨处理的效 率，改善图像超分辨的处理效果。 另外，根据本申请上述实施例的图像超分辨模型的训练方法，还可以具有如下附 加的技术特征： 可选的，获取样本对包括： 获取对应的第一清晰图像和第三清晰图像； 将所述第三清晰图像进行退化处理，以产生至少一个所述第二清晰图像。 上述申请中的一个实施例具有如下优点或有益效果：由第三清晰图像退化得到第 5 CN 111553840 A 说　明　书 2/16 页 二清晰图像，避免第二清晰图像的细节缺失，保证第二清晰图像对对应子模型输出结果的 监督作用，提高超分辨模型的图像处理的训练精度。 可选的，获取对应的第一清晰图像和第三清晰图像包括： 获取对应的第一分辨率图像和第三分辨率图像； 将所述第一分辨率图像进行分辨率调整，以产生与所述第三分辨率图像具有相同 分辨率的第一清晰图像，所述第三分辨率图像作为所述第三清晰图像。 上述申请中的一个实施例具有如下优点或有益效果：将第一清晰图像调整为与第 三清晰图像相同的分辨率，避免超分辨训练时，由于分辨率不同造成误差，提高图像超分辨 处理的准确性。 可选的，所述超分辨模型的子模型为U-net模型，所述U-net模型包括至少一个降 采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，所述残差 单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。 上述申请中的一个实施例具有如下优点或有益效果：通过U-net模型中的多个降 采样卷积单元和上采样卷积单元，以及每个卷积单元之间的残差单元，提高对图像超分辨 处理的精度，有利于改善图像超分辨的处理效果。 可选的，所述残差单元中设置有注意力机制单元。 上述申请中的一个实施例具有如下优点或有益效果：通过加入注意力机制，避免 重要特征的遗漏，并弱化次要特征，提高图像超分辨的处理效率。 可选的，所述残差单元的数据处理过程包括： 将前一级卷积单元的输出结果输入所述残差单元的卷积模块； 将所述卷积模块的输出结果通过所述注意力机制单元进行处理，以产生特征权重 图谱； 将所述卷积模块的输出结果结合所述特征权重图谱，以产生注意处理后输出结 果； 将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为 所述残差单元的输出结果。 上述申请中的一个实施例具有如下优点或有益效果：通过残差网络中的注意力机 制单元将超分辨模型中卷积单元的输入图像进行处理，找出权重大的图像特征。 可选的，将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计 算之前，还包括： 对所述注意处理后输出结果，结合纠正系数进行调整；其中，所述纠正系数的取值 范围是0至1之间。 上述申请中的一个实施例具有如下优点或有益效果：将注意处理后输出结果按纠 正系数进行缩小，改善图像超分辨处理的效果。 可选的，确定所述超分辨模型的输出图像满足损失函数要求包括： 在训练过程中，结合各子模型的损失函数，作为总损失函数；其中，每个子模型的 损失函数，用于处理所述子模型的输出结果与结果监督图像之间的损失关系； 根据所述总损失函数确定所述超分辨模型是否满足收敛要求。 上述申请中的一个实施例具有如下优点或有益效果：将各子模型的损失函数结合 6 CN 111553840 A 说　明　书 3/16 页 为总损失函数，根据总损失函数确定超分辨模型是否训练完成，实现对超分辨模型中各子 模型训练结果的全面判断。 可选的，在训练过程中，结合各子模型的损失函数，作为总损失函数包括： 在训练过程中，将各子模型的损失函数进行加权合并，以作为所述总损失函数。 上述申请中的一个实施例具有如下优点或有益效果：根据各子模型损失函数的权 重进行损失函数的结合，提高根据损失函数判断超分辨模型训练结果的精确性。 可选的，所述第二清晰图像的数量为两个，所述超分辨模型包括三级子模型。 上述申请中的一个实施例具有如下优点或有益效果：将超分辨模型分为三级，既 节约模型训练的时间，又改善图像超分辨处理的效果，提高了图像超分辨处理的性价比。 第二方面，本申请实施例公开了一种图像超分辨处理方法，该方法包括： 将第一分辨率图像进行分辨率调整，以产生第一清晰图像； 将所述第一清晰图像输入超分辨模型，其中，所述超分辨模型包括级联的至少两 个子模型； 通过所述超分辨模型的处理，输出第三清晰图像，其中，所述第三清晰图像的分辨 率与所述第一清晰图像的分辨率相同。 上述申请中的一个实施例具有如下优点或有益效果：通过调整第一分辨率图像， 得到第一清晰图像，并将第一清晰图像输入超分辨模型中，逐级提高为第三清晰图像，减少 第三清晰图像分辨率和清晰度的损失，提高图像超分辨处理的质量。 另外，根据本申请上述实施例的图像超分辨模型的训练方法，还可以具有如下附 加的技术特征： 可选的，所述超分辨模型的子模型为U-net模型，所述U-net模型包括至少一个降 采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，所述残差 单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。 上述申请中的一个实施例具有如下优点或有益效果：通过U-net模型中的多个降 采样卷积单元和上采样卷积单元，以及每个卷积单元之间的残差单元，提高对图像超分辨 处理的精度，有利于改善图像超分辨的处理效果。 可选的，所述残差单元中设置有注意力机制单元。 上述申请中的一个实施例具有如下优点或有益效果：通过加入注意力机制，避免 重要特征的遗漏，并弱化次要特征，提高图像超分辨的处理效果。 可选的，所述残差单元的数据处理过程包括： 将前一级卷积单元的输出结果输入所述残差单元的卷积模块； 将所述卷积模块的输出结果通过所述注意力机制单元进行处理，以产生特征权重 图谱； 将所述卷积模块的输出结果结合所述特征权重图谱，以产生注意处理后输出结 果； 将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为 所述残差单元的输出结果。 上述申请中的一个实施例具有如下优点或有益效果： 可选的，将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计 7 CN 111553840 A 说　明　书 4/16 页 算之前，还包括： 对所述注意处理后输出结果，结合纠正系数进行调整；其中，所述纠正系数的取值 范围是0至1之间。 上述申请中的一个实施例具有如下优点或有益效果：将注意处理后输出结果按纠 正系数进行缩小，改善图像超分辨处理的效果。 可选的，所述第二清晰图像的数量为两个，所述超分辨模型包括三级子模型。 上述申请中的一个实施例具有如下优点或有益效果：将超分辨模型分为三级，既 节约模型训练的时间，又改善图像超分辨处理的效果，提高了图像超分辨处理的性价比。 第三方面，本申请实施例公开了一种图像超分辨模型的训练装置，该装置包括： 样本对获取模块，用于所述样本对包括清晰度顺序增强的第一清晰图像、至少一 个第二清晰图像和第三清晰图像； 样本对训练模块，用于将所述样本对的第一清晰图像作为输入图像，输入超分辨 模型中进行训练，其中，所述超分辨模型包括级联的至少两个子模型，所述样本对中的第二 清晰图像和第三清晰图像，分别作为各子模型的输出图像的结果监督图像； 训练完成确定模块，用于如果确定所述超分辨模型的输出图像满足损失函数要 求，则确定所述超分辨率图像训练完成。 第四方面，本申请实施例公开了一种图像超分辨处理装置，该装置包括： 第一清晰图像生成模块，用于将第一分辨率图像进行分辨率调整，以产生第一清 晰图像； 第一清晰图像输入模块，用于将所述第一清晰图像输入超分辨模型，其中，所述超 分辨模型包括级联的至少两个子模型； 第三清晰图像输出模块，用于通过所述超分辨模型的处理，输出第三清晰图像，其 中，所述第三清晰图像的分辨率与所述第一清晰图像的分辨率相同。 第五方面，本申请实施例公开了一种电子设备，包括： 至少一个处理器；以及 与所述至少一个处理器通信连接的存储器；其中， 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一 个处理器执行，以使所述至少一个处理器能够执行第一方面的图像超分辨模型的训练方法 或第二方面的图像超分辨处理方法。 第六方面，本申请实施例公开了一种存储有计算机指令的非瞬时计算机可读存储 介质，其特征在于，所述计算机指令用于使所述计算机执行第一方面的图像超分辨模型的 训练方法或第二方面的图像超分辨处理方法。 上述申请中的一个实施例具有如下优点或有益效果：将原始的第一清晰图像输入 到由多个子模型级联而成的超分辨模型中，实现对原始第一清晰图像的多级处理，根据每 个子模型的输出图像与样本对中不同清晰度的结果监督图像之间的差别，确定每一级子模 型的模型参数，根据超分辨模型的损失函数确定超分辨率图像训练完成。改进了现有技术 中，将模型加深或加宽，以增加模型计算量和模型参数的方法，提高图像超分辨处理的效 率，改善图像超分辨的处理效果。 上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。 8 CN 111553840 A 说　明　书 5/16 页 附图说明 附图用于更好地理解本方案，不构成对本申请的限定。其中： 图1是根据本申请第一实施例提供的一种图像超分辨模型的训练方法的流程示意 图； 图2是根据本申请第一实施例提供的U-net子模型的结构示意图； 图3A是根据本申请第一实施例提供的残差单元数据处理的流程示意图； 图3B是根据本申请第一实施例提供的残差单元数据处理的另一流程示意图； 图4是根据本申请第二实施例提供的一种图像超分辨模型的训练方法的流程示意 图； 图5是根据本申请第二实施例提供的超分辨模型的工作流程示意图； 图6是根据本申请第三实施例提供的一种图像超分辨处理方法的流程示意图； 图7是根据本申请第四实施例提供的一种图像超分辨模型的训练装置的结构框 图； 图8是根据本申请第五实施例提供的一种图像超分辨处理装置的结构框图； 图9是用来实现本申请实施例的图像超分辨模型的训练方法的电子设备的框图； 图10是用来实现本申请实施例的图像超分辨处理方法的电子设备的框图。