技术摘要:
本发明涉及数据压缩技术领域,具体涉及一种按图像内容特征进行帧级划分的快速编解码方法。编码方法中,通过在帧级层根据图像的不同特征进行类别划分,对符合条件的类别图像可直接跳过串预测模式进行编码,在保证编码效率一致的前提下,可以降低总体编码时间;另外,当 全部
背景技术:
: 在全球全社会“抗疫”期间,以大规模远程办公、线上教学、远程会议等为典型代表 的远程在线互动活动发挥着不可替代的作用,并对社会活动形态产生了深刻的影响。屏幕 内容编码正是这些远程在线互动活动中用于屏幕共享和显示的关键技术。这些屏幕内容无 处不在,将成为主要多媒体增量流源之一。屏幕内容编码技术作为解决各种应用中“云-端/ 边缘”、“端/边缘-端/边缘”之间数据传输瓶颈问题,以及“人-机”交互滞后感问题的决定性 技术,将深刻地改变“人-人”交互和“人-机”交互,甚至“机-机”交互的方式。因此,屏幕内容 编码技术研究已成为迫切的必然需求。同时,随着移动设备、智能终端/边缘设备不断渗透 社会生活的各个角落,各种设备之间的交互日趋重要。除了传统的图像失真和编码效率两 个重要因素之外,与图像编解码计算复杂度直接相关的“编解码时间”和“电池续航能力”也 日益成为非常重要的因素。目前,最新的国际视频编码VVC(Versatile Video Coding)标准 比HEVC(High Efficiency Video Coding)标准的编码效率提高了约25%(AI配置),但编码 复杂度却增加了约26倍。如此高的复杂度对移动、智能终端/边缘设备上的屏幕内容编码应 用而言是无法承受的。因此,亟需探索“低复杂度兼高编码效率”的屏幕内容编码技术。 屏幕内容是将屏幕内容看成可含部分自然图像内容区域的,且比自然图像更具普 遍性的图像。屏幕内容体现出与自然图像不同的特征,主要包括:具有各种大小和形状的重 复图样、非连续色调区域中编码单元内颜色数目比较少和其他若干特征(如具有尖锐、变化 剧烈的内容、无噪声等)。在现有的混合编码框架中,对不同特征的图像内容的编码块,采用 日益增多的不同预测模式进行编码,即对图像中的各编码单元,依次采用各种预测模式进 行预编码,并计算出各模式获得的率失真值,从中选择率失真值最小的模式作为编码单元 的最佳模式进行编码。 最新的VVC标准和我国AVS3(the third generation of Audio Video Coding Standard)标准及之前的版本或扩展版标准中,各种预测模式主要包括帧内预测模式、帧间 预测模式、帧内块复制(Intra Block Copy,IBC)、Palette模式、串匹配(也称为串预测)模 式等。如VVC标准除了传统的帧内预测模式,还出现了其他的帧内预测模式。IBC算法是在由 当前帧重建区域(当前CTU和左边CTU)一部分构成的搜索范围内,采用有限种固定大小(如 4x8,8x4,8x8,16x4等)的块匹配。Palette模式用一个Palette来保存当前CU或者最近CU的 代表性颜色。串预测模式以像素为单位,按照某种匹配顺序与规则,搜索最优参考串,最终 将CU划分成一个或多个参考串,和/或一个或多个未匹配像素。不同的预测模式对于不同的 图像内容具有不可替代的作用,一般而言,帧内预测模式和帧间预测模式对于摄像机产生 的连续色调区域,如自然图像非常有效;而IBC算法、Palette模式、串预测模式对于含计算 机产生的非连续色调区域,包括文本、图形、图标、图表等的屏幕图像非常有效。事实上,IBC 4 CN 111614960 A 说 明 书 2/7 页 算法和Palette模式是串预测模式的特例。 一幅图像也称一帧图像,一帧图像划分为最大编码单元,最大编码单元划分为一 个或多个编码单元,由编码树决定。不同的预测模式对于不同特征的图像内容作用不同。串 预测模式对非连续区域的屏幕图像非常有效,但是对于含非连续区域成分较少的内容图像 几乎没有任何作用。现有的对含串预测模式的编码算法中,一方面,对于所有的图像内容都 会尝试串预测模式预编码的方法,这样不仅对提升编码效率没有任何帮助,反而增加了编 码的时间;另一方面,无论图像中是否有编码单元选中串预测模式,都需要将当前编码单元 是否采用串预测模式的编码单元层级标识写入码流,与之对应的,解码器也需要解析该串 预测模式编码单元层级标识。因此,现有的编、解码方式都存在着编、解码时间长和效率有 待提升的问题。有鉴于此,本案由此而生。
技术实现要素:
: 本发明分别公开一种编码方法和解码方法,在图像(帧级)层次,采用预设的划分 规则对不同特征的图像内容进行分类,根据划分的类别自适应地对图像内容进行串预测模 式/非串预测模式的编解码,可以提高编解码效率。 为了实现上述发明目的,本发明公开的编码方法采用如下技术方案: 按图像内容特征进行帧级划分的快速编码方法,内容包括: 步骤1:在图像层次,采用预设划分规则对图像内容特征进行分类,将图像内容分 为类别一和类别二; 步骤2:根据图像内容分类结果,设置当前图像的串预测模式帧级标识信息,并将 该串预测模式帧级标识信息写入码流;如果图像被划分为类别一,则将该图像的串预测模 式帧级标识设置为“真”,如果图像被划分为类别二,则将该图像的串预测模式帧级标识设 置为“假”; 步骤3:判断当前图像的串预测模式帧级标识的设置结果: 若串预测模式帧级标识设置为“假”,图像中的所有编码单元直接采用非串预测模 式进行预编码,而并不采用串预测模式进行预编码,然后将当前编码单元非串预测模式标 识以及非串预测模式的编码信息写入码流; 若串预测模式帧级标识设置为“真”,则对整幅图像中的每个编码单元重复执行以 下操作,直至所有的编码单元编码完毕:采用串预测模式以及非串预测模式进行预编码;然 后判断当前编码单元率失真最小的模式是否为串预测模式:如果当前编码单元率失真最小 的模式为串预测模式,则将当前编码单元串预测模式标识设置为“真”并写入码流,将当前 编码单元串预测模式的编码信息也写入码流;如果当前编码单元率失真最小的模式为非串 预测模式,则将当前编码单元串预测模式标识设置为“假”并写入码流,将当前编码单元非 串预测模式标识以及非串预测模式的编码信息也写入码流。 进一步,所述非串预测模式采用以下模式之一或者多种任意组合使用:帧内预测 模式;帧间预测模式;IBC模式;Palette模式。 进一步,所述步骤1中的预设划分规则采用以下规则之一或者将其组合使用:(1) 具有相同哈希值i的像素总数Numhashvalue=i满足预设条件A划分为类别一,否则划分为类别 二;(2)相邻哈希值的像素总数Numhashvalue=i和Numhashvalue=i 1之间满足预设条件B划分为类 5 CN 111614960 A 说 明 书 3/7 页 别一,否则划分为类别二。 进一步,所述预设条件A采用以下方式之一或者多种任意组合使用:大于固定阈 值;等于固定阈值;大于非固定阈值;等于非固定阈值;预设条件B采用以下方式之一或者多 种任意组合使用:(1)相邻哈希值的像素总数中数值较小者与较大者之间的差值绝对值大 于某一固定阈值;(2)相邻哈希值的像素总数中数值较小者与较大者之间的差值绝对值大 于某一非固定阈值。 进一步,所述哈希值计算时,采用以下方式之一或者多种任意组合使用:(1)对不 同采样格式的像素采用不同的哈希值计算方式;(2)对不同采样格式的像素采用相同的哈 希值计算方式;(3)对不同比特数的像素采用不同的哈希值计算方式;(4)对不同比特数的 像素采用相同的哈希值计算方式。 进一步,所述像素的哈希值计算方式采用以下方式之一或者多种任意组合使用: (1)取像素的每个分量的相同数目若干位串联起来组成的哈希值;(2)取像素的每个分量的 不同数目若干位串联起来组成的哈希值;(3)取像素的每个分量的相同位置若干位串联起 来组成的哈希值;(4)取像素的每个分量的不同位置若干位串联起来组成的哈希值。 本发明还公开了用上述编码方法完成数据编码后的解码方法,其内容包括: 步骤1:解析压缩数据码流,获得当前图像的串预测模式帧级标识信息; 步骤2:判断当前图像的串预测模式帧级标识的设置结果: 若串预测模式帧级标识设置为“假”,解析压缩数据码流,获得当前解码单元非串 预测模式标识信息,并对当前解码单元采用非串预测模式进行解码; 若串预测模式帧级标识设置为“真”,则解析压缩数据码流,获得当前解码单元串 预测模式编码单元级标识信息并判断其“真”还是“假”:如果该编码单元级标识信息为 “真”,则对当前解码单元采用串预测模式进行解码;如果该编码单元级标识信息为“假”,则 解析压缩数据码流,获得当前解码单元非串预测模式标识,并对当前解码单元采用非串预 测模式进行解码。 本发明所公开的编解码方法,通过在帧级层根据图像的不同特征进行类别划分, 对符合条件的类别图像可直接跳过串预测模式进行编码,在保证编码效率一致的前提下, 可以降低总体编码时间;另外,当所在类别的图像不采用串预测模式编码时,编码端也无需 将当前编码单元是否采用串预测模式的编码单元层级标识写入码流,与之对应的,解码时 也无需解析该编码单元层级标识,编、解码时间均可缩短,编、解码效率均得以提高。 以下通过附图和