技术摘要：
本公开提供了增大影像的分辨率的系统和方法。在一个示例实施例中，一种由计算机实现的方法包括获得当前低分辨率图像帧。该方法包括获得先前估计的高分辨率图像帧，先前估计的高分辨率帧是先前低分辨率图像帧的高分辨率估计。该方法包括基于当前低分辨率图像帧来对先前  全部
背景技术：
超分辨率是图像处理中的一个经典问题，其解决如下问题：如何从图像的低分辨 率(low-resolution，LR)版本，诸如例如图像的缩小规模版本，构造该图像的高分辨率 (high-resolution，HR)版本。随着深度学习的兴起，超分辨率在过去几年已受到了来自研 究社群的大量关注。虽然在单图像超分辨率的情况中通常是仅从空间统计重构高频细节 的，但对于视频超分辨率可利用输入中的时间关系来改善重构。因此，某些超分辨率技术尝 试组合来自尽可能多的LR帧的信息来达到最佳的视频超分辨率结果。 某些视频超分辨率方法通过组合一批LR帧以估计单个HR帧并且在整个视频上以 滑动窗口方式运行此方案来解决该问题。此方案实际上将视频超分辨率的任务划分成大量 分开的多帧超分辨率子任务。然而，此方案具有若干个弱点。首先，此方案是计算上昂贵的， 因为每个输入帧需要被处理几次。第二，分开生成每个输出帧降低了系统产生时间上一致 的帧的能力，这可导致令人不快的闪烁伪影。也就是说，每个输出帧被以输入帧为条件独立 地估计，限制了系统产生时间上一致的结果的能力。
技术实现要素：
本公开的实施例的一些方面和优点将部分地在接下来的描述中记载，或者可从描 述中习得，或者可通过实践实施例来习得。 本公开的一个示例方面针对的是一种增大影像的分辨率的计算机实现的方法。该 方法包括由一个或多个计算设备获得当前低分辨率图像帧。该方法包括由一个或多个计算 设备获得先前估计的高分辨率图像帧，先前估计的高分辨率帧是先前低分辨率图像帧的高 分辨率估计。该方法包括由一个或多个计算设备基于当前低分辨率图像帧翘曲(warp)先前 估计的高分辨率图像帧。该方法包括由一个或多个计算设备将翘曲的先前估计的高分辨率 图像帧和当前低分辨率图像帧输入到机器学习帧估计模型中。该方法包括由一个或多个计 算设备作为机器学习帧估计模型的输出接收当前估计的高分辨率图像帧，当前估计的高分 辨率图像帧是当前低分辨率图像帧的高分辨率估计。该方法还可包括以下可选特征。该方 法可包括，在所述翘曲之前，由一个或多个计算设备确定先前低分辨率图像帧和当前低分 辨率图像帧之间的流；并且其中由一个或多个计算设备基于当前低分辨率图像帧翘曲先前 估计的高分辨率图像帧包括由一个或多个计算设备基于流翘曲先前估计的高分辨率图像 帧。由一个或多个计算设备确定先前低分辨率图像帧和当前低分辨率图像帧之间的流可包 括：由一个或多个计算设备将先前低分辨率图像帧和当前低分辨率图像帧输入到机器学习 流估计模型中；并且由一个或多个计算设备作为机器学习流估计模型的输出接收该流。由 一个或多个计算设备确定先前低分辨率图像帧和当前低分辨率图像帧之间的流可包括由 6 CN 111587447 A 说　明　书 2/14 页 一个或多个计算设备确定先前低分辨率图像帧和当前低分辨率图像帧之间的光流。由一个 或多个计算设备确定先前低分辨率图像帧和当前低分辨率图像帧之间的流可包括由一个 或多个计算设备确定先前低分辨率图像帧和当前低分辨率图像帧之间的低分辨率流；并且 该方法还可包括由一个或多个计算设备使低分辨率流扩增规模以获得高分辨率流；并且由 一个或多个计算设备基于流翘曲先前估计的高分辨率图像帧可包括由一个或多个计算设 备基于高分辨率流翘曲先前估计的高分辨率图像帧。该方法还可包括，在所述输入之前：由 一个或多个计算设备将翘曲的先前估计的高分辨率图像帧映射到当前低分辨率图像帧。由 一个或多个计算设备将翘曲的先前估计的高分辨率图像帧映射到当前低分辨率图像帧可 包括由一个或多个计算设备对翘曲的先前估计的高分辨率图像帧执行空间到深度变换以 将翘曲的先前估计的高分辨率图像帧映射到当前低分辨率图像帧的低分辨率空间。由一个 或多个计算设备将翘曲的先前估计的高分辨率图像帧映射到当前低分辨率图像帧可包括 将当前低分辨率图像帧上采样到翘曲的先前估计的高分辨率图像帧的高分辨率空间。由一 个或多个计算设备将翘曲的先前估计的高分辨率图像帧和当前低分辨率图像帧输入到机 器学习帧估计模型中可包括：由一个或多个计算设备在通道维度中将翘曲的先前估计的高 分辨率图像帧的低分辨率映射与当前低分辨率图像帧串接；并且由一个或多个计算设备将 串接的图像馈送到机器学习帧估计模型。该方法还可包括对于多次迭代执行该方法。该方 法还可包括：由一个或多个计算设备评估第一损失函数，该第一损失函数评估当前估计的 高分辨率图像帧和当前地面真值高分辨率图像帧之间的差异；并且由一个或多个计算设备 至少部分地基于第一损失函数来训练机器学习帧估计模型。该方法还可包括：由一个或多 个计算设备评估第一损失函数，该第一损失函数评估当前估计的高分辨率图像帧和当前地 面真值高分辨率图像帧之间的差异；并且由一个或多个计算设备至少部分地基于第一损失 函数来联合训练机器学习帧估计模型和机器学习流估计模型两者。该方法还可包括：由一 个或多个计算设备至少部分地基于由机器学习流估计模型输出的流来翘曲先前低分辨率 图像帧以获得先前低分辨率图像帧的翘曲版本；由一个或多个计算设备评估第二损失函 数，该第二损失函数评估先前低分辨率图像帧的翘曲版本和当前低分辨率图像帧之间的空 间均方误差；并且由一个或多个计算设备至少部分地基于第二损失函数来训练至少机器学 习流估计模型。 本公开的另一示例方面针对的是一种计算系统。该计算系统包括至少一个处理 器、机器学习循环超分辨率模型。该计算系统包括至少一个存储指令的有形非暂态计算机 可读介质，所述指令当被至少一个处理器执行时，使得该至少一个处理器执行操作。操作包 括获得表示视频的当前低分辨率帧的数据。操作包括获得表示视频的先前估计的高分辨率 帧的数据。操作包括将当前低分辨率帧和先前估计的高分辨率帧输入到循环超分辨率模型 中。操作包括响应于输入帧，获得循环超分辨率模型的输出，该输出包括表示视频的当前低 分辨率帧的高分辨率估计的数据。操作还可包括：在显示器上显示从循环超分辨率模型输 出的视频的当前低分辨率帧的高分辨率估计。操作还可包括：获得视频的先前低分辨率帧； 循环超分辨率模型包括机器学习流估计模型和机器学习帧估计模型；并且将当前低分辨率 帧和先前估计的高分辨率帧输入到循环超分辨率模型中可包括：将表示视频的先前低分辨 率帧的数据和表示视频的当前低分辨率帧的数据输入到机器学习流估计模型中；至少部分 地基于机器学习流估计模型的输出来修改视频的先前估计的高分辨率帧；并且将表示视频 7 CN 111587447 A 说　明　书 3/14 页 的当前低分辨率帧和经修改的先前估计的高分辨率帧的数据输入到机器学习帧估计模型 中。将当前低分辨率帧和先前估计的高分辨率帧输入到循环超分辨率模型中可包括：由一 个或多个计算设备至少部分地基于视频的运动估计来翘曲先前估计的高分辨率帧；并且由 一个或多个计算设备将先前估计的高分辨率帧输入到机器学习帧估计模型中。操作还可包 括上述方法方面的任何特征。 本公开的另一示例方面针对的是一种存储指令的非暂态计算机可读介质，所述指 令当被一个或多个计算设备执行时，使得该一个或多个计算设备执行操作。操作包括至少 部分地基于视频的运动估计来翘曲视频的先前高分辨率帧。操作包括将视频的翘曲的先前 高分辨率帧和当前低分辨率帧输入到机器学习帧估计模型中。操作包括作为机器学习帧估 计模型的输出获得当前估计的高分辨率帧。操作包括评估损失函数以获得描述当前估计的 高分辨率帧和当前地面真值高分辨率帧之间的差异的损失值。操作包括调整机器学习帧估 计模型的一个或多个参数以减小损失值。操作还可包括：获得表示视频的先前低分辨率帧 的数据和表示视频的当前低分辨率帧的数据；将先前低分辨率帧和当前低分辨率帧输入到 机器学习流估计模型中；并且响应于输入先前低分辨率帧和当前低分辨率帧，获得包括视 频的运动估计的机器学习流估计模型的输出；其中调整机器学习帧估计模型的一个或多个 参数以减小损失值包括基于损失函数以端到端方式联合训练机器学习流估计模型和机器 学习帧估计模型。操作还可包括至少部分地基于运动估计来翘曲先前低分辨率帧；其中损 失函数还评估先前低分辨率帧的翘曲版本和当前低分辨率帧之间的空间均方误差。操作还 可包括上述方法方面的任何特征。 本公开的其他方面针对的是各种系统、装置、非暂态计算机可读介质、用户界面和 电子设备。 参考接下来的描述和所附的权利要求将更好地理解本公开的各种实施例的这些 和其他特征、方面和优点。包含在本说明书中并构成本说明书的一部分的附图图示了本公 开的示例实施例并且与描述一起用于说明相关的原理。 附图说明 针对本领域普通技术人员的实施例的详细论述在说明书中阐述，说明书参考了附 图，附图中： 图1A描绘了根据本公开的示例实施例的对影像执行超分辨率的示例计算系统的 框图。 图1B描绘了根据本公开的示例实施例的示例计算设备的框图。 图1C描绘了根据本公开的示例实施例的示例计算设备的框图。 图2描绘了根据本公开的示例实施例的示例机器学习循环超分辨率模型的框图。 图3描绘了根据本公开的示例实施例的示例端到端可训练帧循环视频超分辨率框 架的框图。 图4A描绘了根据本公开的示例实施例的用于训练机器学习流估计模型的示例损 失函数的框图。 图4B描绘了根据本公开的示例实施例的用于训练机器学习帧估计模型的示例损 失函数的框图。 8 CN 111587447 A 说　明　书 4/14 页 图5描绘了根据本公开的示例实施例的示例空间到深度变换的图。 图6描绘了根据本公开的示例实施例的对视频的图像帧进行超分辨率的示例方法 的流程图。 图7描绘了根据本公开的示例实施例的机器学习帧估计模型的示例体系结构的框 图。 图8描绘了根据本公开的示例实施例的机器学习流估计模型的示例体系结构的框 图。 在多幅附图间重复的附图标记旨在识别各种实现方式中的相同特征。