技术摘要：
本发明涉及一种基于多视图多任务集成学习的作物叶片种类识别方法，该方法选取叶片图像作为原始数据集，并进行特征提取，得到若干视图下的数据集；利用CNN模型作为基学习器，对若干视图下的数据集与原始数据集分别进行单独的集成学习；然后固定所有基学习器的参数，并去 全部
背景技术：
当下粮食安全问题日益严峻。有许多因素正威胁着粮食安全，其中植物病害对全 球范围的粮食安全构成严重威胁。以往对农作物病害的识别大多采用人工方式，但人工识 别存在诸多不足。随着精准农业的兴起，运用信息技术辅助农业生产为农作物病害的识别 提供了新思路，图像处理技术就是其中之一，其对农作物病害识别具有传统方法所不具备 的各种优点，即实时性强、速度快、误判率低，甚至还可以及时提供防治病害传播的必要方 法。 目前通过图像识别农作物病害的难点主要在于图像分割、特征提取与分类识别。 解决这些难点的主要方法有阈值分割法、边缘检测法、数学形态学法、支持向量机 法与模糊聚类法等。尽管这些方法已经取得了很好的分类效果，但这些方法采用了传统的 机器学习方法，通过使低级视觉特征与多种算法的结合来识别病害。这就导致它们也有一 些局限性。 其中阈值分割法的特点是简单，执行效率高，但阈值的选取，作物病虫害区域的颜 色、纹理等特征往往与非病害区域有着较大的差别。而边缘检测法的分割效率依赖于边缘 检测算子，鲁棒性较差。数学形态学法的缺点则在于由各种几何基元的并集、交集和差集构 成的目标与人类对形状的感觉有一定的差异。糊聚类法收敛速度慢、必须先确定分类数等 局限件，支持向量机法的性能又过于依赖核函数和对样本的训练速度。此外以上方法提取 特征时间点过于单一，大多数的特征提取都是在农作物病虫害症状十分明显时才进行，严 重影响了实时性，不能做到早识别、早防治。而且对噪声和初始化数据的敏感这又导致分割 精度产生的影响在具有复杂生长环境的农作物病害图像分割中尤为突出，例如当图像背景 复杂或叶片呈粉状时，识别工作将很困难。同时，它们大多依赖手工制作的特征，无法解决 语义问题间隙。 与它们相比CNN作为一个深度学习模型可以从数据中自动发现越来越高层次的特 征，并且在许多不同领域都取得了显著的成功。尤其是在在图像识别领域，CNN在学习数据 充足时有稳定的表现。对于一般的大规模图像分类问题，卷积神经网络可用于构建阶层分 类器(hierarchical classifier)，也可以在精细分类识别(fine-grained recognition) 中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将 图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络通过无监督学习自行提 取。这些资料均表明CNN在图像识别领域取得了巨大的成功，因此，近年来，有许多研究者利 用CNN方法进行植物病害诊断。 目前，虽然基于深度学习的图像识别方法在准确率上已经强于很多传统算法，但 大量的作物识别的模型依旧面对模型泛化能力一般的问题，其主要原因有二：一是数据集 3 CN 111611972 A 说 明 书 2/6 页 规模的限制。作物病害图片的人工获取和人工标注标签耗时耗力，导致可供模型训练的数 据较少，传统解决方法是使用数据增强扩充数据集，但提高模型泛化能力的程度十分有限。 二是大量的作物识别的模型只是简单的使用卷积神经网络与全连接层的简单堆叠，且都只 是在单视图的思路下实现，然而，物体的不同视图描述了物体的不同特性，这一缺陷导致模 型本身泛化能力不强。
技术实现要素：
本发明为了解决现有技术中存在的问题，提供一种模型精度高且泛化能力强的基 于多视图多任务集成学习的作物叶片种类识别方法。 为了达到上述目的，本发明提出的技术方案为：一种基于多视图多任务集成学习 的作物叶片种类识别方法， 首先，选取叶片图像作为原始数据集，并对原始数据集进行特征提取，得到若干单 一视图下的数据集； 然后，利用CNN模型作为基学习器，对若干单一视图下的数据集与原始数据集分别 进行单独的集成学习； 单独集成学习完成后固定所有基学习器的参数，并去除掉所有基学习器中全连接 分类器的最后一层，然后将所有CNN模型的输出拼接起来，并添加新的全连接分类器，对若 干视图进行联合特征选择，使得其验证集准确率达到期望值，得到多个视图下的模型，完成 多视图集成学习； 再利用多任务学习，共享不同任务已学到的特征表示，对叶片种类进行识别。 对上述技术方案的进一步设计为：所述基学习器的选取方法为：选取深度学习图 像识别模型组成模型族，然后给模型族中的每个模型编号，再在这些模型中随机选择一定 数量的模型来作为一个单一视图下数据集的所有基学习器；对于原始数据集，使用模型族 中所有模型作为基学习器。 所述深度学习图像识别模型包括GoogleNet，VGG，Resnet等。 所述多视图集成学习中的损失函数为： 本发明的技术方案与现有技术相比，具有的有益效果为： 本发明采用了CNN集成学习，将多种成熟的CNN模型作为基学习器。基于此，利用多 视图学习，针对作物叶片的边缘，灰度，纹理，质地和原始图片五个视图进行训练模型。最后 又利用多任务学习，共享不同任务已学到的特征表示。强化了模型的准确度和泛化能力，整 体上解决了传统深度学习模型训练数据不足，模型简单地堆叠深度导致的泛化能力弱的问 4 CN 111611972 A 说 明 书 3/6 页 题。 本专利采用了多任务学习，通过在所有任务之间共享隐藏层，同时保留特定任务 的输出层来实现隐层参数的硬共享，使多个任务在并行训练中共享不同任务已学到的特征 表示，降低了过拟合的风险。 附图说明 图1为本发明的模型设计图； 图2为本发明的模型训练流程图； 图3为VGG模型结构图； 图4为按灰度提取后的图片的集成学习模型； 图5为按纹理提取的图片； 图6为多视图学习结构图； 图7为多任务学习分类器。
本发明涉及一种基于多视图多任务集成学习的作物叶片种类识别方法，该方法选取叶片图像作为原始数据集，并进行特征提取，得到若干视图下的数据集；利用CNN模型作为基学习器，对若干视图下的数据集与原始数据集分别进行单独的集成学习；然后固定所有基学习器的参数，并去 全部
背景技术：
当下粮食安全问题日益严峻。有许多因素正威胁着粮食安全，其中植物病害对全 球范围的粮食安全构成严重威胁。以往对农作物病害的识别大多采用人工方式，但人工识 别存在诸多不足。随着精准农业的兴起，运用信息技术辅助农业生产为农作物病害的识别 提供了新思路，图像处理技术就是其中之一，其对农作物病害识别具有传统方法所不具备 的各种优点，即实时性强、速度快、误判率低，甚至还可以及时提供防治病害传播的必要方 法。 目前通过图像识别农作物病害的难点主要在于图像分割、特征提取与分类识别。 解决这些难点的主要方法有阈值分割法、边缘检测法、数学形态学法、支持向量机 法与模糊聚类法等。尽管这些方法已经取得了很好的分类效果，但这些方法采用了传统的 机器学习方法，通过使低级视觉特征与多种算法的结合来识别病害。这就导致它们也有一 些局限性。 其中阈值分割法的特点是简单，执行效率高，但阈值的选取，作物病虫害区域的颜 色、纹理等特征往往与非病害区域有着较大的差别。而边缘检测法的分割效率依赖于边缘 检测算子，鲁棒性较差。数学形态学法的缺点则在于由各种几何基元的并集、交集和差集构 成的目标与人类对形状的感觉有一定的差异。糊聚类法收敛速度慢、必须先确定分类数等 局限件，支持向量机法的性能又过于依赖核函数和对样本的训练速度。此外以上方法提取 特征时间点过于单一，大多数的特征提取都是在农作物病虫害症状十分明显时才进行，严 重影响了实时性，不能做到早识别、早防治。而且对噪声和初始化数据的敏感这又导致分割 精度产生的影响在具有复杂生长环境的农作物病害图像分割中尤为突出，例如当图像背景 复杂或叶片呈粉状时，识别工作将很困难。同时，它们大多依赖手工制作的特征，无法解决 语义问题间隙。 与它们相比CNN作为一个深度学习模型可以从数据中自动发现越来越高层次的特 征，并且在许多不同领域都取得了显著的成功。尤其是在在图像识别领域，CNN在学习数据 充足时有稳定的表现。对于一般的大规模图像分类问题，卷积神经网络可用于构建阶层分 类器(hierarchical classifier)，也可以在精细分类识别(fine-grained recognition) 中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将 图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络通过无监督学习自行提 取。这些资料均表明CNN在图像识别领域取得了巨大的成功，因此，近年来，有许多研究者利 用CNN方法进行植物病害诊断。 目前，虽然基于深度学习的图像识别方法在准确率上已经强于很多传统算法，但 大量的作物识别的模型依旧面对模型泛化能力一般的问题，其主要原因有二：一是数据集 3 CN 111611972 A 说 明 书 2/6 页 规模的限制。作物病害图片的人工获取和人工标注标签耗时耗力，导致可供模型训练的数 据较少，传统解决方法是使用数据增强扩充数据集，但提高模型泛化能力的程度十分有限。 二是大量的作物识别的模型只是简单的使用卷积神经网络与全连接层的简单堆叠，且都只 是在单视图的思路下实现，然而，物体的不同视图描述了物体的不同特性，这一缺陷导致模 型本身泛化能力不强。
技术实现要素：
本发明为了解决现有技术中存在的问题，提供一种模型精度高且泛化能力强的基 于多视图多任务集成学习的作物叶片种类识别方法。 为了达到上述目的，本发明提出的技术方案为：一种基于多视图多任务集成学习 的作物叶片种类识别方法， 首先，选取叶片图像作为原始数据集，并对原始数据集进行特征提取，得到若干单 一视图下的数据集； 然后，利用CNN模型作为基学习器，对若干单一视图下的数据集与原始数据集分别 进行单独的集成学习； 单独集成学习完成后固定所有基学习器的参数，并去除掉所有基学习器中全连接 分类器的最后一层，然后将所有CNN模型的输出拼接起来，并添加新的全连接分类器，对若 干视图进行联合特征选择，使得其验证集准确率达到期望值，得到多个视图下的模型，完成 多视图集成学习； 再利用多任务学习，共享不同任务已学到的特征表示，对叶片种类进行识别。 对上述技术方案的进一步设计为：所述基学习器的选取方法为：选取深度学习图 像识别模型组成模型族，然后给模型族中的每个模型编号，再在这些模型中随机选择一定 数量的模型来作为一个单一视图下数据集的所有基学习器；对于原始数据集，使用模型族 中所有模型作为基学习器。 所述深度学习图像识别模型包括GoogleNet，VGG，Resnet等。 所述多视图集成学习中的损失函数为： 本发明的技术方案与现有技术相比，具有的有益效果为： 本发明采用了CNN集成学习，将多种成熟的CNN模型作为基学习器。基于此，利用多 视图学习，针对作物叶片的边缘，灰度，纹理，质地和原始图片五个视图进行训练模型。最后 又利用多任务学习，共享不同任务已学到的特征表示。强化了模型的准确度和泛化能力，整 体上解决了传统深度学习模型训练数据不足，模型简单地堆叠深度导致的泛化能力弱的问 4 CN 111611972 A 说 明 书 3/6 页 题。 本专利采用了多任务学习，通过在所有任务之间共享隐藏层，同时保留特定任务 的输出层来实现隐层参数的硬共享，使多个任务在并行训练中共享不同任务已学到的特征 表示，降低了过拟合的风险。 附图说明 图1为本发明的模型设计图； 图2为本发明的模型训练流程图； 图3为VGG模型结构图； 图4为按灰度提取后的图片的集成学习模型； 图5为按纹理提取的图片； 图6为多视图学习结构图； 图7为多任务学习分类器。
