logo好方法网

改进的解码器侧运动矢量推导


技术摘要:
与解码器侧运动矢量推导(DMVD)有关的改进的系统和方法,例如,将一个或多个约束应用于运动信息,比如由DMVD推导出的MV,和/或初始MV和由DMVD推导出的MV之间的MV差值。这些技术可以应用于任意现有的视频编解码器,比如HEVC(高效率视频编码),和/或可以是任何将来的视频  全部
背景技术:
数字视频能力可以包括在各种各样的装置中,包括数字电视、数字直接广播系统、 无线广播系统、个人数字助理(PDA)、膝上型电脑或者台式计算机、平板计算机、电子书阅读 器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主机、蜂窝或者卫 星无线电话(所谓的“智能电话”)、召开电视会议装置、视频流装置,等等。数字视频装置实 现视频压缩技术,比如由MPEG-2、MPEG-4、ITU-T  H.263、ITU-T  H.264/MPEG-4、Part  10、高 级视频编码(AVC)定义的标准、近年来最后确定的高效视频编码(HEVC)标准和这些标准的 扩展中描述的那样。视频装置可以通过实现这种视频压缩技术来更有效地发送、接收、编 码、解码和/或存储数字视频信息。 视频压缩技术执行空间(画面内)预测和/或时间(画面间)预测,以减小或者除去 视频序列中固有的冗余。对于基于块的视频编码,视频片段(即,图像帧或者图像帧的一部 分)可以划分为视频块,其也可以被称为树块、编码单元(CU)和/或编码节点。画面的内编码 (I)片段中的视频块使用相对于相同画面中相邻块中的参考样本的空间预测来编码。画面 的帧间编码(P或者B)片段的视频块可以使用相对于相同画面中的相邻块中的参考样本的 空间预测或者相对于其他参考画面中的参考样本的时间预测。画面可以被称为帧,且参考 画面可以被称为参考帧。 空间或者时间预测导致用于要编码的块的预测块。剩余数据表示要编码的初始块 和预测块之间的像素差值。帧间编码块根据指向形成预测块的参考样本的块的运动矢量, 和指示已编码块和预测块之间的差值的残差数据来编码。内编码块根据内编码模式和残差 数据来编码。为了进一步压缩,残差数据可以从像素域变换到变换域,导致可以量化的残差 变换系数。可以扫描最初以二维阵列布置的量化的变换系数,以产生变换系数的一维矢量, 且熵编码可以应用于实现更进一步的压缩。
技术实现要素:
总的来说,本公开描述与解码器侧运动矢量推导(DMVD)有关的技术,包括用于推 导用于编码视频数据块的运动信息(例如,一个或多个运动矢量,精度和一个或多个参考画 面索引)的技术和用于由视频解码器确定与由视频编码器选择的运动信息相同的运动信息 5 CN 111602399 A 说 明 书 2/25 页 的技术。使用由视频编码器使用的相同(或者互逆)的推导技术,视频解码器可以在不接收 特别地标识运动信息的任何语法元素的情况下,确定什么运动信息用于编码视频数据。 在一个示例中,一种方法包括:确定以帧间预测模式编码视频数据块;隐含地确定 对于该视频数据块使能解码器侧运动矢量推导(DMVD)模式;确定该视频数据块的运动信 息;使用运动信息,根据DMVD模式确定参考块;和基于参考块生成该视频数据块的预测块。 在另一示例中,一种用于解码视频数据的装置包括:存储器,配置为存储视频数 据,和一个或多个处理器,配置为确定以帧间预测模式编码视频数据块;隐含地确定对于该 视频数据块使能解码器侧运动矢量推导(DMVD)模式;确定该视频数据块的运动信息;使用 运动信息,根据DMVD模式确定参考块;和基于参考块生成该视频数据块的预测块。 在另一示例中,一种存储指令的计算机可读存储介质,该指令当由一个或多个处 理器执行时使得一个或多个处理器:确定以帧间预测模式编码视频数据块;隐含地确定对 于该视频数据块使能解码器侧运动矢量推导(DMVD)模式;确定该视频数据块的运动信息; 使用运动信息,根据DMVD模式确定参考块;和基于参考块生成该视频数据块的预测块。 在另一示例中,一种用于解码视频数据的设备包括:用于确定以帧间预测模式编 码视频数据块的装置;用于隐含地确定对于该视频数据块使能解码器侧运动矢量推导 (DMVD)模式的装置;用于确定该视频数据块的运动信息的装置;用于使用运动信息根据 DMVD模式确定参考块的装置;和用于基于参考块生成该视频数据块的预测块的装置。 在另一示例中,一种解码视频数据的方法包括:确定以帧间预测模式编码视频数 据块,确定对于该视频数据块使能解码器侧运动矢量推导(DMVD)模式,确定该视频数据块 的运动信息,使用运动信息根据DMVD模式确定参考块,其中,进一步限制参考块以节省存储 器访问带宽,和基于限制的参考块生成该视频数据块的预测块。限制的参考块可以在至少 一个维度上减小大小。限制的参考块仅包括可以由初始运动矢量指示的参考像素。可以通 过以下的至少之一确定限制的参考块外的参考像素的值而生成预测块:利用具有较短抽头 的插值滤波器、从附近的可用参考像素复制像素值、从附近的可用参考像素插值像素值。运 动信息可以包括运动矢量、运动矢量精度和参考画面索引中的一些或者全部。DMVD模式可 以包括图案匹配的运动矢量推导模式、双向光流模式、双边模板匹配模式中的一个。确定对 于该视频数据块使能DMVD模式可以包括:基于用于编码该视频数据块的一个或多个相邻块 的模式,确定对于该视频数据块使能DMVD模式。一个或多个相邻块可以包括时间相邻块。确 定对于该视频数据块使能DMVD模式可以包括:响应于包括该视频数据块的当前片段的低延 迟条件为真,确定对于该视频数据块使能DMVD模式,其中,低延迟条件需要当前片段的所有 参考画面在显示顺序上位于当前片段之前。DMVD模式可以包括帧速上变换(FRUC)模板匹配 模式。确定该视频数据块的运动信息可以包括确定用于该视频数据块的参考索引,且其中, 确定对于该视频数据块使能DMVD模式包括响应于确定该视频数据块的参考索引的值等于 零,确定对于该视频数据块使能DMVD模式。该方法可以作为视频编码处理的解码循环的一 部分执行。 在另一示例中,一种用于解码视频数据的装置包括:存储器,配置为存储视频数 据,和一个或多个处理器,配置为确定以帧间预测模式编码视频数据块;确定对于该视频数 据块使能解码器侧运动矢量推导(DMVD)模式;确定该视频数据块的运动信息;使用运动信 息,根据DMVD模式确定参考块,其中,进一步限制参考块以节省存储器访问带宽;和基于限 6 CN 111602399 A 说 明 书 3/25 页 制的参考块生成该视频数据块的预测块。限制的参考块可以在至少一个维度上减小大小。 限制的参考块仅包括可以由初始运动矢量指示的参考像素。可以通过以下中的至少之一确 定限制的参考块外的参考像素的值而生成预测块:利用具有较短抽头的插值滤波器、从附 近的可用参考像素复制像素值、从附近的可用参考像素插值像素值。运动信息可以包括运 动矢量、运动矢量精度和参考画面索引中的一些或者全部。DMVD模式可以包括图案匹配的 运动矢量推导模式、双向光流模式、双边模板匹配模式中的一个。确定对于该视频数据块使 能DMVD模式可以包括:基于用于编码该视频数据块的一个或多个相邻块的模式,确定对于 该视频数据块使能DMVD模式。一个或多个相邻块可以包括时间相邻块。确定对于该视频数 据块使能DMVD模式可以包括:响应于包括该视频数据块的当前片段的低延迟条件为真,确 定对于该视频数据块使能DMVD模式,其中,低延迟条件需要当前片段的所有参考画面在显 示顺序上位于当前片段之前。DMVD模式可以包括帧速上变换(FRUC)模板匹配模式。确定该 视频数据块的运动信息可以包括确定该视频数据块的参考索引,且其中,确定对于该视频 数据块使能DMVD模式包括响应于确定该视频数据块的参考索引的值等于零,确定对于该视 频数据块使能DMVD模式。该方法可以作为视频编码处理的解码循环的一部分执行。 在另一示例中,一种用于解码视频数据的装置包括:存储视频数据的装置,和用于 配置为以下的处理的装置:确定以帧间预测模式编码视频数据块;确定对于该视频数据块 使能解码器侧运动矢量推导(DMVD)模式;确定该视频数据块的运动信息;使用运动信息,根 据DMVD模式确定参考块,其中,进一步限制参考块以节省存储器访问带宽;和基于限制的参 考块生成该视频数据块的预测块。限制的参考块可以在至少一个维度上减小大小。限制的 参考块仅包括可以由初始运动矢量指示的参考像素。可以通过以下中的至少之一确定限制 的参考块外的参考像素的值而生成预测块:利用具有较短抽头的插值滤波器、从附近的可 用参考像素复制像素值、从附近的可用参考像素插值像素值。运动信息可以包括运动矢量、 运动矢量精度和参考画面索引中的一些或者全部。DMVD模式可以包括图案匹配的运动矢量 推导模式、双向光流模式、双边模板匹配模式中的一个。确定对于该视频数据块使能DMVD模 式可以包括:基于用于编码该视频数据块的一个或多个相邻块的模式,确定对于该视频数 据块使能DMVD模式。一个或多个相邻块可以包括时间相邻块。确定对于该视频数据块使能 DMVD模式可以包括,响应于包括该视频数据块的当前片段的低延迟条件为真,确定对于该 视频数据块使能DMVD模式,其中,低延迟条件需要当前片段的所有参考画面在显示顺序上 位于当前片段之前。DMVD模式可以包括帧速上变换(FRUC)模板匹配模式。确定用于该视频 数据块的运动信息可以包括确定该视频数据块的参考索引,且其中,确定对于该视频数据 块使能DMVD模式包括响应于确定该视频数据块的参考索引的值等于零,确定对于该视频数 据块使能DMVD模式。该方法可以作为视频编码处理的解码循环的一部分执行。 在另一示例中,一种存储指令的计算机可读非瞬时存储介质,该指令当由一个或 多个处理器执行时使得一个或多个处理器执行处理,该处理包括:确定以帧间预测模式编 码视频数据块,确定对于该视频数据块使能解码器侧运动矢量推导(DMVD)模式,确定该视 频数据块的运动信息,使用运动信息根据DMVD模式确定参考块,其中,进一步限制参考块以 节省存储器访问带宽,和基于限制的参考块生成该视频数据块的预测块。限制的参考块可 以在至少一个维度上减小大小。限制的参考块仅包括可以由初始运动矢量指示的参考像 素。可以通过以下中的至少之一确定限制的参考块外的参考像素的值而生成预测块:利用 7 CN 111602399 A 说 明 书 4/25 页 具有较短抽头的插值滤波器、从附近的可用参考像素复制像素值、从附近的可用参考像素 插值像素值。运动信息可以包括运动矢量、运动矢量精度和参考画面索引中的一些或者全 部。DMVD模式可以包括图案匹配的运动矢量推导模式、双向光流模式、双边模板匹配模式中 的一个。确定对于该视频数据块使能DMVD模式可以包括,基于用于编码该视频数据块的一 个或多个相邻块的模式,确定对于该视频数据块使能DMVD模式。一个或多个相邻块可以包 括时间相邻块。确定对于该视频数据块使能DMVD模式可以包括,响应于包括该视频数据块 的当前片段的低延迟条件为真,确定对于该视频数据块使能DMVD模式,其中,低延迟条件需 要当前片段的所有参考画面在显示顺序上位于当前片段之前。DMVD模式可以包括帧速上变 换(FRUC)模板匹配模式。确定该视频数据块的运动信息可以包括确定该视频数据块的参考 索引,且其中,确定对于该视频数据块使能DMVD模式包括响应于确定该视频数据块的参考 索引的值等于零,确定对于该视频数据块使能DMVD模式。该方法可以作为视频编码处理的 解码循环的一部分执行。 在以下的附图和描述中提到本公开的一个或多个示例的细节。其他特征、目的和 优点将从说明书、附图和权利要求是明显的。 附图说明 图1是图示可以利用用于支持解码器侧运动矢量推导的本公开的技术的示例视频 编码和解码系统的框图。 图2A是示出了用于合并模式的空间相邻运动矢量候选的示例的概念图。 图2B是示出了用于高级运动矢量预测模式的空间相邻运动矢量候选的示例的概 念图。 图3A是示出了时间运动矢量预测器候选的示例的概念图。 图3B是示出了运动矢量缩放的示例的概念性时序图。 图4是示出了双边匹配的示例的概念图。 图5是示出了模板匹配的示例的概念图。 图6A和图6B是示出了对于帧速上变换模板匹配模式提出修改的示例的流程图。 图7是示出了光流轨迹的示例的概念图。 图8是示出了用于8x4块的双向光流的示例的概念图。 图9是示出了提出的基于双边模板匹配的解码器侧运动矢量推导的示例的概念 图。 图10A和图10B是示出了其中可以应用重叠块运动补偿的子块的示例图示的概念 图。 图11A-图11D是示出了重叠块运动补偿加权的示例的概念图。 图12是图示可以实现支持解码器侧运动矢量推导的技术的视频编码器的示例的 框图。 图13是图示解码编码的视频序列和执行解码器侧运动矢量推导的视频解码器的 示例的框图。 图14是图示根据本公开中描述的技术来解码视频数据的示例方法的流程图。 图15是图示关于简化的双边匹配的示例的概念图。 8 CN 111602399 A 说 明 书 5/25 页 图16是示出了运动细化的示例的概念图。
下载此资料需消耗2积分,
分享到:
收藏