技术摘要：
本发明公开了一种基于深度融合的卷积神经网络的遥感图像分类方法，包括将原始遥感图像构建成数据集，对原始遥感图像进行预处理，将预处理后的图像划分为训练集、测试集和验证集，并对训练集进行数据增广；构建深度融合卷积神经网络；训练得到最优网络模型；利用最优网  全部
背景技术：
近年来，随着遥感成像技术的迅速发展，大量的遥感图像使我们能更详尽的探索 地表。其中，遥感图像场景分类是将多地物遥感影像提取出的子区域进行分类，它为城市规 划、土地资源管理等基础性工作提供了指导。 与传统的图像分类过程相似，遥感图像分类步骤包括图像预处理、特征提取、分类 器分类这几个过程。遥感影像分类技术中最关键的步骤为目标特征的提取。传统的基于像 素的特征提取技术主要依靠人工设计特征完成，而人工设计的特征容易受到人的主观影 响，且由于遥感图像的结构表现为高度非线性，使得传统的特征提取方法难以表达遥感图 像的高层语义信息，这对人工设计特征提取的地物分类方法产生了瓶颈。而在自然图像处 理领域中，深度学习凭借其优秀的图像语义表达能力取得了突破性进展，并取得了不俗的 结果，尤其对于发现高维数据中的复杂结构擅长。深度学习具有组织和表达多层信息的能 力，能够在复杂的数据关系中找到有用信息，并且不同网络层次能够映射图像不同层级的 抽象概念。深度学习的优势表现在，更加复杂且更强大的深度学习模型能深刻理解并提取 海量数据里所承载的复杂而丰富的信息。因此，通过将深度学习方法与遥感影像的应用相 结合，研究遥感影像的目标分类是遥感影像处理技术的一个创新。 随着深度学习的不断发展，各种深度学习网络陆续被提出并得到了广泛应用，这 也为高分辨率遥感图像分类提供了重要的理论基础。其中，卷积神经网络(Convolutional  Neural  Network，CNN)是由包含一系列学习算法和可学习参数的处理层构成，具有从低级 特征逐层提取高级特征的能力。卷积神经网络通过建立多层神经网络的训练机制来完成学 习过程，特征的提取自动完成，对于环境复杂、背景知识不清楚的问题处理能力较好。 利用CNN提取遥感图像的特征已研究多年，然而对于不同特征的提取仍然有待挖 掘研究，特别是将对分类结果起重要作用的中层特征和深层特征的提取相融合。单一层特 征提取常采用的方法为对迁移的预训练卷积神经网络模型直接进行遥感图像分类而不经 过模型和参数调整，这类方法利用网络最后一层全连接层的输出特征作为分类输入进行遥 感图像分类，取得了比大多数传统分类方法更高的分类正确率。然而，这种方法仅停留于利 用单一层特征进行分类。对于多层特征的提取，有研究者通过特征编码的方式提取最后一 层卷积层特征和全连接层特征进行分类。为了提取更多特征，更有学者利用预训练CNN进行 联合特征表达。另有文献利用预训练CNN对多层特征联合后进行遥感图像分类。但是上述提 及的特征表征均提取自单一网络，相较于多网络，单一网络提取特征能力有限；另一方面， 不同特征提取自同一网络的不同层将导致特征冗余。此外，鲜有方法将对遥感场景分类研 究具有重要作用的中层特征与深层特征相融合。 3 CN 111612066 A 说　明　书 2/8 页
技术实现要素：
本发明的目的就在于提供一种解决上述问题，克服现有技术对遥感图像特征提取 单一或冗余导致分类精度低的缺陷，通过建立新型网络模型获得目标的高级特征表达能 力，从而改善遥感图像分类正确率的基于深度融合的卷积神经网络的遥感图像分类方法。 为了实现上述目的，本发明采用的技术方案是这样的：一种基于深度融合的卷积 神经网络的遥感图像分类方法，包括以下步骤： (1)将原始遥感图像构建成数据集，对原始遥感图像进行预处理，将预处理后的图 像划分为训练集、测试集和验证集，对训练集中不同类别的图像加上类别标签，再对训练数 据进行数据增广，得到训练数据； (2)构建深度融合卷积神经网络； 所述深度融合卷积神经网络包括encoder-decoder模型、VGG16模型、融合部分、扁 平层和全连接层，所述encoder-decoder模型包括编码部分和解码部分； VGG16模型用于提取图像的深层特征； 所述编码部分包括多层卷积层和一层最大池化层，用于提取遥感图像的中层特 征； 所述融合部分用于通过相加或并联的融合方式，将深层特征和中层特征融合后送 入解码部分中； 所述解码部分包括多层卷积层和在多层卷积层中间隔设置的数层上采样层，用于 对融合后特征进行深层提取，得到特征映射矩阵； 特征映射矩阵经扁平层送入全连接层，所述全连接层中采用softmax函数，用于输 出与不同类别对应的概率； (3)训练最优网络模型； 预设深度融合卷积神经网络模型中各层权重参数，定义交叉熵损失函数，将训练 集中的训练数据分批送入深度融合卷积神经网络进行训练，并利用测试集中图像对深度融 合卷积神经网络进行测试，直至各层对应的参数权重收敛，得到最优网络模型； (4)获取实测遥感图像，送入深度融合卷积神经网络模型中，得到多个类别及该类 别对应的概率。 作为优选：所述步骤(1)中预处理为，对原始遥感图像的每一像素值除以255进行 归一化处理，所述数据增广为：对训练集内的图像执行水平镜像、旋转和缩放操作。 作为优选：所述上采样层中，上采样采用最邻近元法，用于增大图像尺寸。 作为优选：步骤(3)中，所述交叉熵损失函数J(W,b)为： 其中，pi为softmax函数对全连接层中第i类样本归一化的概率输出，K为类别数 量，i为第i类样本，j为第j类样本，e为指数函数底数，xi为全连接层对第i类样本的输出值， 4 CN 111612066 A 说　明　书 3/8 页 xj为全连接层对第j类样本的输出值，y为样本标签向量，其元素与输出层神经元数目相等， yi为样本标签向量中的第i类分量，若一个样本的正确类别为第i类，则yi＝1，否则等于0。 本发明具有以下特点： 1、关于构建深度融合卷积神经网络： 本发明对深度融合卷积神经网络进行了改进，其中，深度融合卷积神经网络将改 进的encoder-decoder模型和VGG16模型结合在了一起，利用VGG16模型提取图像的深层特 征；encoder部分提取遥感图像的中层特征；再将深层特征和中层特征融合后送入decoder 部分中。由于不同的融合方式产生的特征维度不同，将采用两种特征融合方式研究所构建 网络对特征维度大小的敏感度，即相加和并联这两种融合方式。相加的融合方式每一通道 内的信息量增加，特征通道数不变；并联的融合方式特征通道数增加，每一通道内的信息量 不变。 2、关于设计encoder-decoder模型的编码部分： 另外，由于本发明是对遥感图像进行数据处理，单幅遥感图像具有数据量大、信噪 比低的缺点，在编码部分中会存在下采样操作，目的是将进行卷积操作后的输出特征图尺 寸变小，从而提高计算效率，但若连续多次下采样导致数据信息丢失严重，可提取的有用特 征更少，所以不易在编码部分中进行多次下采样操作。所以本发明在编码部分仅采用一次 下采样操作。本文所述的下采样操作，就是通过最大池化层来操作的。 3、关于设计encoder-decoder模型的解码部分： 在解码器中，常规操作是采用与下采样对应的上采样操作，但本发明发现，(1)若 仅采用单层上采样，由于多次卷积导致特征图尺寸损失大而不能进行深层网络的设计，不 利于于提高特征表达能力，(2)如果连续使用上采样,连续多次插值将导致卷积后的特征图 存在较大误差，所以本发明采用多次上采样间隔设置在卷积层中的方式来进行特征图的尺 寸扩大；(3)本发明上采样采用的是基于线性插值的最近邻方法，是无参数的学习方式，所 以更加灵活，无需进行参数设定。所以基于上述原因，本发明采用多次间隔上采样的方法。 4、关于模型的训练： 将所述训练集中的训练数据依次输入所构建的深度融合卷积神经网络中，将提取 的特征映射矩阵输入全连接层中的分类器进行分类训练，同时利用测试集中的测试数据对 网络分类性能进行测试，若测试数据的分类精度连续N周期不再上升，则说明网络的参数权 重收敛，保存此时的最优网络模型和参数权重，否则跳转继续执行训练数据训练网络权重 直至网络收敛。N值根据实际情况自己设定，可以是10、20等。 5、关于验证： 我们可以将验证集中的验证数据依次输入保存的最优网络模型中，将其输出的特 征映射矩阵输入到全连接层中的分类器中进行分类验证，得到验证遥感图像的分类结果， 也就是该模型对验证数据的分类正确率，进一步确定网络的分类性能。 与现有技术相比，本发明的优点在于： (1)本发明给出了一种基于深度融合的卷积神经网络的遥感图像分类方法，用于 对遥感图像进行分类，在该分类方法中，构建了新的深度融合的卷积神经网络，该卷积神经 网络将encoder-decoder模型和VGG16模型相结合，利用VGG16模型提取图像的深层特征； encoder部分提取遥感图像的中层特征；再将深层特征和中层特征融合后送入decoder部分 5 CN 111612066 A 说　明　书 4/8 页 中。 (2)同时对encoder-decoder模型进行了改进，在编码部分，根据遥感图像的实际 情况，选用一层最大池化层进行下采样，而在解码部分，采用多层间隔设置的上采样层，来 进行上采样。且上采样采用的是基于线性插值的最近邻方法，是无参数的学习方式，所以更 加灵活，无需进行参数设定。基于这种结构，能使网络层次更深，有利于提高特征表达能力。 (3)采用不同的融合方式验证模型的鲁棒性，两种融合方式的分类正确率均在 90％以上，说明该特征提取方式对特征维度敏感度较小，保证模型具有一定的鲁棒性。 (4)针对带标签的遥感数据少的问题，在训练数据中采用数据增广的方式，有效平 衡了小样本与分类正确率之间的矛盾。 (5)在训练过程中对VGG16模型采用微调的迁移学习方式能有效避免融合模型发 生过拟合。 (6)本发明能有效克服现有技术对遥感图像特征提取单一或冗余导致分类精度低 的缺陷，通过建立新型网络模型获得目标的高级特征表达能力，从而改善遥感图像的分类 精度。 附图说明 图1为本发明流程图； 图2为本发明中深度融合卷积神经网络模型结构示意图。