技术摘要：
本发明涉及一种深度卷积神经网络的压缩方法及系统，所述压缩方法包括：根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；根据正  全部
背景技术：
随着深度神经网络在人工智能领域地不断发展，比如计算机视觉、语音识别和自 然语言处理等，社会各行各业研究人员通过将人工智能相关算法部署到实际产品中，并取 得了更加智能化的效果，进而促进了人工智能新一轮研究高潮的到来。 然而，深度神经网络在实际应用部署时，需要巨大的存储空间和高额的计算资源 消耗，很难应用在一些移动端和嵌入式设备中。因此，深度神经网络模型压缩和加速方法已 经被学术和工业界重视起来，相关成果也为人工智能技术落地提供了重要保障。 其中，在深度卷积神经网络模型压缩和加速方法中，结构化剪枝是一种被广泛研 究的方法，其压缩获得的模型可以直接快速部署到现有框架下，不需要特殊的软硬件库支 持。 但是通常的结构化剪枝方法具有以下缺点：1)在移除冗余时，直接将不重要的连 接去掉，导致网络精度有较大的下降；2)基于稀疏约束的剪枝方法，在整个模型训练过程 中，对所有的连接一直加入固定的惩罚力度，使重要的连接在学习稀疏过程中受到影响，进 而导致模型精度下降。
技术实现要素：
为了解决现有技术中的上述问题，即为了在结构化剪枝过程中，保证网络模型的 精度，本发明的目的在于提供一种深度卷积神经网络的压缩方法及系统。 为解决上述技术问题，本发明提供了如下方案： 一种深度卷积神经网络的压缩方法，所述压缩方法包括： 根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中 不重要的滤波器； 对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数 中，得到优化损失函数； 根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积 神经网络的更新参数； 基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模 型； 利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪 枝，得到压缩后的卷积神经网络模型。 可选地，所述根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积 神经网络中不重要的滤波器，具体包括： 5 CN 111612143 A 说　明　书 2/8 页 根据卷积层滤波器权值的L2范数值，确定待压缩深度卷积神经网络中不重要的滤 波器。 可选地，所述根据卷积层滤波器权值的L2范数值，确定待压缩深度卷积神经网络 中不重要的滤波器，具体包括： 根据以下公式，计算滤波器权值的L2范数值： 其中， 表示卷积层l第j个滤波器L2范数值， 表示卷积层l第j个滤波器权 值，||·||2表示L2范数算子； 将卷积层l中所有滤波器L2范数值组成一重要性得分向量IS(l)： 其中，IS(l)为卷积层l滤波器重要性得分向量，c(l)为卷积层滤波器数目； 通过对重要性得分向量进行排序，确定重要性得分最小的sr*c(l)个滤波器为不重 要的滤波器，构成不重要性滤波器参数集Θs，其中，sr为卷积层稀疏率。 可选地，根据以下公式，得到优化损失函数： s(l)＝sr*c(l)； 其中，Loss表示优化损失函数， 表示全部训练数据集，x,y为成对训练数据，且 表示标准损失函数， 表示网络前向函数，Θ表示待压缩深度卷积 神经网络的参数集；Θs表示不重要性滤波器的参数集， 表示正则项函数，L表示卷 积神经网络模型卷积层数目，W(l)表示卷积层l中滤波器权值， 表示卷积层l第j个滤波 器权值，||·||2表示L2范数算子，||·||2,1表示矩阵的L 范数算子，S(l)21 表示卷积层l被选 择稀疏的滤波器数目，sr为卷积层稀疏率；λ表示渐进式的稀疏惩罚因子，能够通过阶梯式 函数、线性式函数、指数式函数和正弦式函数中任意一者增长方式确定。 可选地，通过正弦式函数增长方式确定渐进式的稀疏惩罚因子λ，具体包括： 其中，λ(t)为迭代次数t时的惩罚因子，λmax为惩罚因子的幅值，T为总迭代次数。 可选地，所述根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压 缩深度卷积神经网络的更新参数，具体包括： 根据以下公式，得到滤波器的更新权值： 6 CN 111612143 A 说　明　书 3/8 页 其中，[Sλ(·)]表示取近似函数，Wj表示第j个滤波器权值，且 Θs表示 不重要性滤波器参数集，λ表示渐进式的稀疏惩罚因子，||·||2表示L2范数算子； 根据滤波器的更新权值，采用反向传播算法联合求解，得到待压缩深度卷积神经 网络的更新参数。 可选地，所述利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络 模型进行剪枝，得到压缩后的卷积神经网络模型，具体包括： 针对所述具有滤波器稀疏形式的卷积神经网络模型的每一卷积层，去掉所述卷积 层中L2范数为零的滤波器； 将当前层和下一层冗余的参数被移除； 将单一层剪枝操作用于整个所述具有滤波器稀疏形式的卷积神经网络模型中，得 到压缩后的卷积神经网络模型。 为解决上述技术问题，本发明还提供了如下方案： 一种深度卷积神经网络的压缩系统，所述压缩系统包括： 确定单元，用于根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷 积神经网络中不重要的滤波器； 优化单元，用于对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络 训练的损失函数中，得到优化损失函数； 更新单元，用于根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待 压缩深度卷积神经网络的更新参数； 建模单元，用于基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的 卷积神经网络模型； 剪枝单元，用于利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网 络模型进行剪枝，得到压缩后的卷积神经网络模型。 为解决上述技术问题，本发明还提供了如下方案： 一种深度卷积神经网络的压缩系统，包括： 处理器；以及 被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处 理器执行以下操作： 根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中 不重要的滤波器； 对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数 中，得到优化损失函数； 根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积 神经网络的更新参数； 7 CN 111612143 A 说　明　书 4/8 页 基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模 型； 利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪 枝，得到压缩后的卷积神经网络模型。 为解决上述技术问题，本发明还提供了如下方案： 一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述 一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操 作： 根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中 不重要的滤波器； 对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数 中，得到优化损失函数； 根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积 神经网络的更新参数； 基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模 型； 利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪 枝，得到压缩后的卷积神经网络模型。 根据本发明的实施例，本发明公开了以下技术效果： 本发明考虑到卷积核的重要性，通过对不重要的滤波器施加渐进式稀疏约束，将 正则项加入到网络训练的损失函数中，得到优化损失函数；采用阈值迭代算法及反向传播 算法联合求解，得到待压缩深度卷积神经网络的更新参数，进而建立具有滤波器稀疏形式 的卷积神经网络模型，利用结构化剪枝算法进行剪枝，可得到网络精度较高的压缩后的卷 积神经网络模型。 附图说明 图1是本发明深度卷积神经网络的压缩方法的流程图； 图2是选择式稀疏与一般性稀疏对比图； 图3是稀疏惩罚系数采用正弦式增长方式示例图； 图4是本发明深度卷积神经网络的压缩系统的模块结果示意图。 符号说明： 确定单元—1，优化单元—2，更新单元—3，建模单元—4，剪枝单元—5。