logo好方法网

一种基于模型压缩的边缘端目标检测方法及系统


技术摘要:
本发明公开了一种基于模型压缩的边缘端目标检测方法及系统,属于深度学习领域,本发明要解决的技术问题为如何在损失较小精度的情况下,减少模型体积并加快模型运行速度,确保模型能够顺利部署在边缘端设备,采用的技术方案为:该方法是以SSD网络为框架建立模型,使用Mo  全部
背景技术:
目标检测(Object  Detection)任务是找出图像中所有感兴趣的目标(物体),确定 它们的类别和位置,是计算机视觉和数字图像处理方向的热门问题之一。由于各类物体有 不同的外观、形状、姿态,再加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视 觉领域最具有挑战性的问题。 近年来,随着深度学习的发展,卷积神经网络(CNN)在图像目标检测方面已经取得 了巨大进展。卷积神经网络可以更加精确的提取图像特征信息,从而更加准确确定目标类 别以及位置。 随着物联网时代的到来以及无线网络的普及,网络边缘的设备数量和其产生的数 据量都急剧增长,边缘设备作为更快更好的提供智能服务的一种设备,已经逐渐渗入各行 各业。传统深度学习方法训练出的目标检测模型通常包含大量参数,模型体积大,计算复杂 并且大多需要GPU支持,模型难以在边缘端设备上进行部署。 综上所述,如何在损失较小精度的情况下,减少模型体积并加快模型运行速度,确 保模型能够顺利部署在边缘端设备是目前亟待解决的技术问题。 专利号为CN110148148A专利文献公开了一种基于目标检测的下边缘检测模型的 训练方法、模型和存储介质,获取样本图像,将所述样本图像输入预先建立的初始神经网络 模型;利用所述样本图像训练所述初始神经网络模型,先将样本图像输入基础神经网络模 型得到目标检测的实例分割结果,再将目标检测的实例分割结果输入高度图神经网络模 型,再由高度图转换得到目标下边缘检测结果;将执行过程中目标下边缘检测模型输出的 结果与各个所述目标下边缘检测标注线比较;获得比较结果;根据所述比较结果调整所述 目标下边缘检测模型中的损失函数,使得所述目标下边缘检测模型的损失函数最小。但是 该技术方案无法减少模型体积并加快模型运行速度,造成模型难以顺利部署在边缘端设 备。
技术实现要素:
本发明的技术任务是提供一种基于模型压缩的边缘端目标检测方法及系统,来解 决如何在损失较小精度的情况下,减少模型体积并加快模型运行速度,确保模型能够顺利 部署在边缘端设备的问题。 本发明的技术任务是按以下方式实现的,一种基于模型压缩的边缘端目标检测方 法,该方法是以SSD网络为框架建立模型,使用MobileNet作为骨干网络提取图像特征,再使 用Depth-wiseClassification  Layer作为分类层对图像类别进行分类,最后将压缩后的模 型部署在边缘端设备上;具体如下: 4 CN 111582377 A 说 明 书 2/5 页 建立模型:从目标检测图像数据中获取图像信息并建立模型; 训练模型并对模型中的图像进行分类:使用SSD网络训练模型,并使用Depth-wise  Classification  Layer作为分类层对图像类别进行分类; 压缩模型:将训练好的模型进行压缩; 部署边缘端设备:将压缩后的模型部署到边缘端设备。 作为优选,所述建立模型具体如下: 准备目标检测图像数据; 对图像数据中目标物体位置以及目标物体类别进行人工标注; 对人工标注后图像数据进行增广处理; 将增广后图像数据转为Pascal  VOC数据集格式作为增广数据集; 使用MobileNet作为骨干网络提取图像特征图。 更优地,所述人工标注是使用labelImg工具对图像数据进行标注,标注的内容包 括目标物体类别(obj1,obj2,…)以及标注目标位置坐标P=(x1,y1,x2,y2);其中,(x1,y1)、 (x2,y2)分别代表目标物体左上角与右下角坐标。 更优地,所述增广处理是利用python中opencv包;增广处理的内容包括水平与垂 直翻转、模糊处理及亮度变换;扩充图像训练数据,同时注意增广目标物体坐标转换。 更优地,所述增广数据集拆分为训练集和验证集;其中增广数据集中80%数据作 为训练集,增广数据集中剩下20%数据作为验证集。 作为优选,所述压缩模型具体如下: 将训练好模型转换为ONNX格式; 通过x2paddle工具将ONNX模型转换为paddle模型; 通过opt工具将量化后的paddle模型转换为PaddleLite模型。 作为优选,所述部署边缘端设备的模型为PaddleLite模型。 一种基于模型压缩的边缘端目标检测系统该系统包括, 模型建立单元,用于从目标检测图像数据中获取图像信息并建立模型; 模型训练及分类单元,用于使用SSD网络训练模型,并使用Depth-wise  Classification  Layer作为分类层对图像类别进行分类; 模型压缩单元,用于将训练好的模型进行压缩; 部署单元,用于将压缩后的PaddleLite模型部署到边缘端设备。 作为优选,所述模型建立单元包括, 获取模块,用于准备目标检测图像数据; 标注模块,用于对图像数据中目标物体位置以及目标物体类别进行人工标注;人 工标注是使用labelImg工具对图像数据进行标注,标注的内容包括目标物体类别(obj1, obj2,…)以及标注目标位置坐标P=(x1,y1,x2,y2);其中,(x1,y1)、(x2,y2)分别代表目标物 体左上角与右下角坐标; 增广处理模块,用于利用python中opencv包对人工标注后图像数据进行增广处 理;增广处理的内容包括水平与垂直翻转、模糊处理及亮度变换;扩充图像训练数据,同时 注意增广目标物体坐标转换; 增广数据集建立模块,用于将增广后图像数据转为Pascal  VOC数据集格式作为增 5 CN 111582377 A 说 明 书 3/5 页 广数据集;增广数据集拆分为训练集和验证集;其中增广数据集中80%数据作为训练集,增 广数据集中剩下20%数据作为验证集; 提取模块,用于使用MobileNet作为骨干网络提取图像特征图。 更优地,所述模型压缩单元包括, 格式转换模块,用于将训练好模型转换为ONNX格式; 模型转换模块一,用于通过x2paddle工具将ONNX模型转换为paddle模型; 模型转换模块二,用于通过opt工具将量化后的paddle模型转换为PaddleLite模 型。 本发明的基于模型压缩的边缘端目标检测方法及系统具有以下优点: (一)本发明与现有目标检测方法相比,在损失较小模型精度的情况下,大大减小 了分类层的参数量,减小模型体积,加快模型运算速度,可以在边缘端设备上进行部署; (二)本发明利用python语言实现模型轻量化、模型体积小且运算快,方便在边缘 端设备上部署; (三)本发明使用Depth-wise  Classification  Layer作为分类层对图像类别进行 分类,将总参数量节省百万倍;以ImageNet为例,图像共分为1000类,具体对比如下: 其中,MobileNet会产生1024×7×7大小的特征数据,通过传统分类层,如附图3所 示,特征数据会通过池化操作后变为1024×1×1大小的特征数据,再通过一个全连接操作 分为1000类;总参数量为1024×1000≈1百万; 而通过Depth-wise分类层,如附图4所示,使用7×7×25大小的卷积核在通道间对 1024×7×7大小的特征数据做卷积操作,最后得到1000类,总参数量为7×7×25≈1千,节 省了1百万参数量,实现对模型压缩并加快计算速度。 附图说明 下面结合附图对本发明进一步说明。 附图1为基于模型压缩的边缘端目标检测方法的流程框图; 附图2为基于模型压缩的边缘端目标检测系统的结构框图; 附图3为传统分类层的示意图; 附图4为Depth-wise  Classification  Layer分类层的示意图; 附图5为戴口罩(mask)的图像; 附图6为未戴口罩(noMask)的图像; 附图7为对戴口罩(mask)的图像人工标注的示意图; 附图8为对未戴口罩(noMask)的图像人工标注的示意图; 附图9为对戴口罩(mask)的图像增广处理后的示意图; 附图10为对未戴口罩(noMask)的图像增广处理后的示意图。
下载此资料需消耗2积分,
分享到:
收藏