logo好方法网

深度学习模型的压缩方法、装置及设备


技术摘要:
本公开提供一种深度学习模型的压缩方法、装置及设备。该方法包括:通过预设的训练数据,对深度学习模型进行训练,计算训练后的深度学习模型中各滤波器的全局重要性,根据各滤波器的全局重要性,对深度学习模型进行滤波器裁剪,确定裁剪后的深度学习模型是否满足预设的  全部
背景技术:
深度学习模型的压缩方式主要包括模型裁剪、量化、知识蒸馏等,其中,模型裁剪 按照裁剪粒度可分为神经元级裁剪、向量级裁剪、卷积核级裁剪、滤波器级裁剪等。 为了便于裁剪后深度学习模型的优化,通常采用的是滤波器级裁剪。现有的滤波 器级裁剪方式中,通常预先设定一个评估指标,通过评估指标计算单个卷积层中每一个滤 波器的重要性,并裁剪卷积层中重要性低于预设阈值的滤波器,从而实现深度学习模型中 的滤波器裁剪。 然而,现有的滤波器级裁剪方式按照卷积层的顺序,逐个对各个卷积层中的滤波 器进行裁剪,每个卷积层的裁剪力度相同,未考虑到不同卷积层的差异性,导致深度学习模 型的裁剪效果不佳。
技术实现要素:
本公开提供一种深度学习模型的压缩方法、装置及设备,用以解决现有的深度学 习模型压缩方式未考虑到不同卷积层的差异性,导致深度学习模型的压缩效果不佳的问 题。 一方面,本公开提供一种深度学习模型的压缩方法,包括: 通过预设的训练数据,对所述深度学习模型进行训练; 计算训练后的所述深度学习模型中各滤波器的全局重要性; 根据所述各滤波器的全局重要性,对所述深度学习模型进行滤波器裁剪; 确定裁剪后的所述深度学习模型是否满足预设的目标模型规模,若满足,则得到 压缩好的所述深度学习模型。 在一个可选的实施方式中,确定裁剪后的所述深度学习模型是否满足预设的目标 模型规模之后,所述方法还包括: 如果裁剪后的所述深度学习模型不满足所述目标模型规模,则对所述训练数据进 行更新,跳转至执行对所述深度学习模型进行训练的操作。 在一个可选的实施方式中,所述计算训练后的所述深度学习模型中各滤波器的全 局重要性,包括: 计算所述滤波器的规范化L1范数; 计算所述滤波器所在卷积层的计算量; 根据所述规范化L1范数和所述计算量,计算所述滤波器的全局重要性。 在一个可选的实施方式中,所述计算所述滤波器所在卷积层的计算量,包括: 根据所述卷积层的输入通道数、输出通道数、滤波器尺寸和输出特征图尺寸,计算 4 CN 111598233 A 说 明 书 2/8 页 所述卷积层的计算量。 在一个可选的实施方式中,所述根据所述规范化L1范数和所述计算量,计算所述 滤波器的全局重要性,包括: 计算所述规范化L1范数与所述计算量的乘积,将所述乘积设置为所述滤波器的全 局重要性。 在一个可选的实施方式中,所述根据所述各滤波器的全局重要性,对所述深度学 习模型进行滤波器裁剪,包括: 根据所述各滤波器的全局重要性,对所述各滤波器进行排序; 按照预设的裁剪比例,对排序后的所述各滤波器进行裁剪。 在一个可选的实施方式中,所述确定裁剪后的所述深度学习模型是否满足预设的 目标模型规模之后,所述方法还包括: 如果裁剪后的所述深度学习模型不满足所述目标模型规模,则对所述裁剪比例进 行调整,跳转至执行对所述深度学习模型进行训练的操作。 另一方面,本公开提供一种深度学习模型的压缩装置,包括: 训练模块,用于通过预设的训练数据,对所述深度学习模型进行训练; 计算模块,用于计算训练后的所述深度学习模型中各滤波器的全局重要性; 裁剪模块,用于根据所述各滤波器的全局重要性,对所述深度学习模型进行滤波 器裁剪;以及 判断模块,用于确定裁剪后的所述深度学习模型是否满足预设的目标模型规模, 若满足,则得到压缩好的所述深度学习模型。 另一方面,本公开提供一种电子设备,包括存储器和处理器,所述存储器存储有计 算机程序,所述处理器执行所述计算机程序时实现上述所述方法及任一可行实施方式所述 方法的步骤。 另一方面,本公开提供一种计算机可读存储介质,其上存储有计算机程序,所述计 算机程序被处理器执行时实现上述所述方法及任一可行实施方式所述方法的步骤。 本公开提供的深度学习模型的压缩方法、装置及设备,计算训练后的深度学习模 型中各滤波器的全局重要性,根据各滤波器的全局重要性,对深度学习模型进行滤波器裁 剪,若裁剪后的深度学习模型满足预设的目标模型规模,则得到裁剪好的深度学习模型,从 而基于各滤波器在整个深度学习模型中的全局重要性对深度学习模型进行裁剪,有效地考 虑到深度学习模型中不同卷积层的差异性,提高深度学习模型的压缩效果。 附图说明 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施 例,并与说明书一起用于解释本公开的原理。 图1为本公开实施例中深度学习模型的压缩方法的流程示意图; 图2为本公开实施例中深度学习模型的压缩方法的流程示意图; 图3为本公开实施例中深度学习模型的压缩方法的流程示意图; 图4为本公开实施例中深度学习模型的压缩装置的结构示意图; 图5为本公开实施例中电子设备的结构示意图。 5 CN 111598233 A 说 明 书 3/8 页 通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图 和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为 本领域技术人员说明本公开的概念。
下载此资料需消耗2积分,
分享到:
收藏