技术摘要：
本发明公开了一种基于多特征LSTM网络的多时相高分辨率遥感影像建筑物提取方法，属于卫星遥感图像处理与应用的技术领域。目的是解决现有方法建筑物提取结果准确率低、错分率高、边界模糊等问题。本发明采用多幅多时相高分二号遥感图像作为数据源，使用基于HSI彩色变换的  全部
背景技术：
建筑物是城市中分布最广的一种地物类别，因此建筑物是评测城市经济发展的重 要指标之一。如今城市不断发展，建筑物不断增多，建筑物的制造材质与外观形状也在发生 着日新月异地变化，导致使用传统方法获取的建筑物提取结果的准确性较差。长期以来，为 了提取城市中的建筑物，主要采用测绘人员人工测量并绘制城市建筑物地形图的方法进行 建筑物提取，这种方法虽然具有一定的真实性，但是该方法的时间成本与人工成本巨大，且 建筑物提取结果会因不同测绘人员具有不同的地物认知能力产生差异。随着遥感技术与深 度学习技术的快速发展，遥感图像的空间分辨率与时间分辨率不断提升，深度学习网络模 型不断被优化，将人工测绘方法、高分辨率遥感数据与深度学习技术相结合，可以更高效率 地获得高准确率的建筑物提取结果。目前，遥感影像的建筑物提取方法主要有基于光谱及 形态学指数的建筑物提取方法和基于深度学习的建筑物提取方法两大类，代表研究如下： 在使用基于光谱及形态学指数的建筑物提取研究中，Jin和Davis提出将图像光谱 信息和形态细节信息相互结合，通过利用建筑物高亮的光谱特征提取建筑物。(参见 Automated  Building  Extraction  from  High-resolution  Satellite  Imagery  in  Urban  Areas  Using  Structural)；而后黄等人提出了一种使用形态学建筑物指数(MBI)提取高分 辨率影像中的建筑物屋顶，MBI指数方法集成了光谱信息、几何信息和上下文信息，基于此 方法黄等人得到了较为令人满意的建筑物屋顶提取结果。(参见A  New  Building  Extraction  Postprocessing  Framework  for  High-Spatial-Resolution  Remote- Sensing  Imagery)；林祥国，张继贤以建筑物对象为单位，采用面向对象的方法，将形态学 指数与面向对象方法相互结合提取高分辨率影像中建筑物，最终获得了较为出色的提取结 果。(参见面向对象的形态学建筑物指数及其高分辨率遥感影像建筑物提取应用) 在使用基于深度学习的建筑物提取研究中，Kaiqiang  Chen等人根据建筑物外观 多样且复杂的特点，设计了一种27层的拥有卷积和反卷积的深度卷积神经网络以像素作为 最小单位逐像素地提取建筑物。(参见Semantic  Segmentation  of  Aerial  Images  With  Shuffling  Convolutional  Neural  Networks)；伍广明、陈奇等人在U-Net模型的基础上改 进并设计了一种新型全卷积神经网络，改善在航空遥感影像中的建筑物提取结果。(参见基 于U型卷积神经网络的航空影像建筑物检测)；Yongyang  Xu将ResNet与引导滤波器结合较 好的完成了建筑物提取任务，验证了ResNet在建筑物提取任务中的有效性。(参见Building  extraction  in  very  high  resolution  remote  sensing  imagery  using  deep  learning  and  guided  filters) 到目前为止，国内外学者提出了很多建筑物的提取方法，但仍存在一些明显的缺 陷：(1)由于建筑物与道路的光谱特性相似，导致不能将道路与建筑物进行有效地区分，使 5 CN 111582194 A 说　明　书 2/10 页 得建筑物提取结果准确率低且边界模糊；(2)由于受建筑物阴影和植被的干扰，导致很多非 建筑物被错分为建筑物，使得建筑物提取错分率高；(3)目前基于深度学习的建筑物提取研 究的数据源大多是早期仅含有红、绿、蓝三通道信息的单时相数据集，忽略了遥感图像的光 谱特性和多时相特性。 高分辨率遥感影像中的丰富地物细节信息为准确提取建筑物提供了可靠数据源， 可以降低“异物同谱”现象对建筑物提取的影响；包含时间序列信息的多时相遥感影像在城 市变化检测和建筑物提取方面具有优势，使用多时相高分辨率遥感影像作为数据源，可以 减少建筑物阴影及植被对建筑物提取的影响；区别于传统的基于单时相遥感影像的深度学 习的建筑物提取方法，利用对时序变化敏感的长短时记忆(LSTM)网络的提取建筑物，该网 络能够充分利用多时相高分辨率遥感影像的光谱特征和多时相特征，有利于建筑物的准确 提取。
技术实现要素：
为了解决使用单时相高分辨率遥感影像建筑物提取方法的准确率低、错分率高、 边界模糊等问题。本发明使用将多特征LSTM网络与Q(Q≥3)幅多时相高分辨率遥感影像结 合的方法提取建筑物，通过使用基于HSI彩色变换的方法提取建筑物光谱特征、基于图分割 与条件随机场后处理相结合的方法提取建筑物的形状特征、基于Gabor小波变换的方法提 取建筑物的纹理信息特征和基于DSBI指数的方法提取建筑物的指数特征，共计提取10个特 征波段；将提取的Q幅多时相建筑物的光谱、形状、纹理及指数特征组成了一个拥有Q×10个 特征波段的建筑物特征集并分别制作成建筑物样本与标签，随后建筑物样本与标签被送入 LSTM网络中获得建筑物粗提取结果，经过形态学处理后可以得到准确的建筑物提取结果， 进而对城市规划建设提供可靠的参考依据。 本发明采用的技术方案具体步骤如下： 步骤一、影像预处理：首先将Q(Q≥3)幅高分二号(GF-2)数据图像分别进行单独的 辐射定标、图像配准、大气校正和图像融合，而后将多时相遥感数据进行统一配准，最后剪 裁图像选取需要的图像区域。 (a)辐射定标的方法：辐射定标就是将图像的数字量化值(DN)转化为辐射亮度值、 反射率或者表面温度等物理量的处理过程。辐射定标参数一般放在元数据文件中，利用完 整的遥感图像处理平台(ENVI)的辐射定标工具(Radiometric  Calibration)能自动从元数 据文件中读取参数，从而完成辐射定标。 (b)图像配准的方法：从不同传感器和不同角度拍摄的图像会发生偏移，图像配准 是将不同拍摄角度或不同传感器的两幅图像进行匹配、叠加实现图像统一的过程。选择GF- 2全色传感器影像为基准影像，利用完整的遥感图像处理平台(ENVI)的图像配准工具 (Image  Registration)，实现GF-2中的全色传感器影像与多光谱传感器影像的自动配准。 (c)大气校正的方法：利用完整的遥感图像处理平台(ENVI)的大气校正工具 (FLASSH)来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率。 (d)图像融合的方法：GF-2影像中包含着空间分辨率不同的多光谱影像和全色影 像，通过利用计算机技术提高影像精度与质量，以使得处理后的遥感图像同时具有高分辨 率全色影像的细节纹理信息与多光谱影像明显的光谱特征，这个处理过程被称为图像融合 6 CN 111582194 A 说　明　书 3/10 页 的过程。利用完整的遥感图像处理平台(ENVI)的图像融合工具(NNDiffuse  Pan  Sharpening)，得到空间分辨率为1m的融合影像。 (e)多时相数据图像配准的方法：从不同时间拍摄的图像会发生偏移，多时相数据 图像配准则是将时间不同的两幅或多幅图像进行匹配、叠加实现图像统一的过程。选择首 先需要选定一个时相下的图像作为基准影像，其他时相的图像皆以基准影像为标准进行图 像配准为基准影像，利用完整的遥感图像处理平台(ENVI)的图像配准工具(Image  Registration)，实现Q(Q≥3)幅多时相数据图像自动配准。 (f)图像剪裁用于获得感兴趣的区域(ROI)。 步骤二、提取多时相建筑物特征：建筑物特征是建筑物提取研究中极为重要的影 响因素。对获取的高分辨率遥感影像进行预处理后，使用基于HSI彩色变换的方法提取建筑 物光谱特征、基于图分割与条件随机场后处理相结合的方法提取建筑物的形状特征、基于 Gabor小波变换的方法提取建筑物的纹理信息特征和基于DSBI指数的方法提取建筑物的指 数特征。 (a)HSI彩色变换：将单幅GF-2图像的RGB模型向HIS模型转换，H表示色调，S表示饱 和度，I表示亮度，HSI彩色变换转换公式推导过程如下(公式中的RGB在计算前均归一化至 [0,1]区间)： 其中式(1)(2)(3)中R、G、B分别代表原始GF-2影像的红色波段、绿色波段和蓝色波 段。 (b)基于图分割与条件随机场后处理相结合的方法：在对原始数据进行HSI变换 后，不同类型的特征发生了显著地变化。采用基于图分割的方法对S(饱和度)变换和I(亮 度)变换后图像进行分割，可以提取建筑形状特征。基于图分割的方法直接作用于特征空间 中的数据点，通过生成数据点的最小生成树来实现传统的单链聚类，然后通过删除长度大 于给定阈值的边来分割图像。将一幅待分割的遥感图像G以加权图抽象化的表示，顶点集V 和边集E组成G＝(V,E)，顶点v∈V，把图像G中的每个像素或每个区域单独地看成图的一个 独立顶点，连接一对顶点的边(vi,vj)，使其具有权重w(vi,vj)。边(vi,vj)的权值等于由该条 边所连接的两个顶点之间的差异性，代表着顶点之间的不相似度。图分割的具体实现方法： (1)计算每一个像素点与其4邻域(不包括对角线上的像素点)或8邻域的之间不相 似度，即它们彼此之间的权重。 (2)将一对顶点的边按照不相似度从小到大排序得到e1,e2,...,eN，选出不相似度 最小的边并将其合并到一个分割里面。 (3)判断当前选择的边en(n＝2,3,...,N)是否合并。设其所连接的顶点为(vi,vj)， 则需满足如下合并条件： 7 CN 111582194 A 说　明　书 4/10 页 ①vi与vj不属于同一区域即Id(vi)≠Id(vj)；Id(vi)与Id(vj)代表vi与vj所在区域； ②不相似度应不大于二者之间的不相似度，即w(vi,vj)≤MInt(Ci,Cj)； 其中Int(C)为类内差异， MST是一种最小生成树；MInt(Ci,Cj)表 示最小的类内差异性，Ci与Cj代表任意两个区域。 (4)更新阈值与类标签号： ①更新类标签号：将Id(vi)与Id(vj)的标签号统一为Id(vi)。 ②更新该标签号的不相似度的阈值为： (5)若符合n≤N(n＝2,3,...,N)，则依照此顺序排列，而后选择下一条边并转到步 骤(3)，否则结束，得到基于图的分割结果S。 由于特征类分布复杂，部分区域会被过度分割，因此引入条件随机场(CRF)对分割 后的图像进行处理，提高分割的准确性。CRF可以使连通区域内的分类结果保持一致，保护 特征的边缘结构。CRF的分类概率由一元势函数和二元势函数两部分决定。首先将遥感图像 S(即图分割结果)分割种类记为A＝{a1,a2,…,al}，分割结果记为B＝{b1,b2,…,bg}，其中B 为概率无向图。图分割与CRF后处理相结合方法的实质是以图分割图像S为前提，将图分割 结果作为条件随机场的一元势函数的值，求解所有像素点m种不同类别下的条件概率值P(B ＝ak|S)，k＝1,2,..m。P(B|S)可以表示为： 式中，μ表示无向图B上的所有最大团，Z是规范化因子。ψμ(Bμ|S)是满足Gibbs分布 的函数，可将上面式子转化为如下： 其中， 是通过独立考虑各个像素点自身信息之后得到分割结果的一元势函数， 本发明将图分割结果B作为一元势函数的估计值；φ2是成对势函数，表示各个像素点位置 信息和颜色信息之间的关系对分割的影响，可以得到如下： 式子中， pi和pj分别表示第i和第j像素的物理位置；θi和θj分别表示第i个和第j个像素的颜色矢量。 ω(1)、ω(2)分别为能量权重，λ(b (1) (2)i,bj)为分类相容性权重。其中ω 、ω 和λ的值是需要通 过大量样本训练确定其具体数值。α和β分别代表着分割图像与原始图像之间的相似性和近 8 CN 111582194 A 说　明　书 5/10 页 似度，α和β为设置值，范围为0～100，优选80，γ为平滑核参数，一般将γ设置为1。CRF可以 使得连通区域内分类结果具有一致性，保护了地物的边缘结构。 (c)Gabor小波变换：在图像处理中，Gabor滤波器是常被用于分析图像纹理信息及 边缘信息，Gabor滤波器可以检测在某一特定区域的特定方向上图像是否有特定的频率内 容，因而Gabor小波变换对提取建筑物纹理特征具有重要意义。Gabor滤波器可以获取遥感 图像中的不同方向上的纹理及边缘特征信息，本发明将预处理后的高分二号红、绿、蓝三波 段图像数据灰度化后用Y表示：Y＝{y(i,j)|1≤i≤M,1≤j≤N}，其中M为图像的高度，N为图 像的宽度；y(i,j)为图像像素点，灰度化的遥感图像Y与Gabor小波函数的卷积可以表示为： Gv,uz＝Y(z)*gv,uz…………………………………………………  (9) 其中，z＝(i,j)为图像的像素点坐标，*为卷积运算符。gv,uz代表多通道Gabor小波 函数，v和u分别代表了Gabor小波函数的尺度和方向，得到的结果Gv,uz就是图像的Gabor特 征值提取数据。 (d)建筑物DSBI指数提取：由于光谱混淆现象，遥感图像中包含着的其他地物会对 建筑物提取造成干扰。根据具有4个波段的高分辨率遥感图像的中蓝色和红色波段之间的 差异指数及蓝色波段和绿色波段之间的差值可以尽可能地最大化建筑物和背景之间的间 隙的特点，本发明使用差异光谱构建指数(DSBI)进行建筑物提取实验，减少其他地物对建 筑物的干扰，其公式如(10)： DSBI＝0.5(Blue-Green) 0.5(Blue-Red)………………………(10) 其中式(10)中“Blue”、“Red”和“Green”分别表示蓝色、红色和绿色波段的光谱反 射率值。 步骤三、构建多时相多特征建筑物数据集：将每幅GF-2原始卫星数据中的红波段、 绿波段、蓝波段、近红外波段(NIR)和经过HSI彩色变换的方法提取建筑物光谱特征、基于图 分割与条件随机场后处理相结合的方法提取建筑物的形状特征波段、Gabor小波变换的方 法提取建筑物的纹理特征波段和基于DSBI指数的方法提取建筑物的指数特征波段，共计提 取10个特征波段；对Q幅GF-2原始卫星数据处理后，按照为卫星拍摄时间顺序排列，形成一 个空间分辨率为1m拥有Q×10个多时相建筑物特征波段的新数据。 步骤四、训练集的选取：建筑物与非建筑物具有不同的特征，本发明按照建筑物与 非建筑物分别选择训练样本与标签。以像素点为单位，选择20％的像素点进行训练，20％的 像素点进行验证，并使用全体像素测试网络模型精度。 步骤五、基于最佳单元LSTM网络建筑物提取方法：LSTM网络可以对时间相关性进 行建模，并且可以从时间序列中挖掘时间趋势，本发明采用最佳单元LSTM网络提取多时相 高分辨率遥感影像建筑物，得到建筑物粗提取结果。 最佳单元LSTM网络由n个LSTM单元网络组成，每个LSTM单元都连接着Dropout随机 失活层。在n个LSTM单元之后，输出端包含全连通层，以提高泛化能力。模型的最后一层是输 出层，它包含两个神经元，分别对应两个类(建筑物和非建筑物)的概率。多特征LSTM网络由 若干个LSTM单元组成，LSTM单元在隐藏层各神经单元中增加记忆单元，各单元间在隐藏层 传递时通过输入门、遗忘门、输出门控制之前信息和当前信息的记忆和遗忘程度，从而使 LSTM网络具备了长期记忆功能。LSTM单元使用遗忘门和输入门的输出结果更新网络对信息 的记忆状态，通过遗忘门，可以决定在训练过程中应该丢弃或保留哪些有用信息。输入门则 9 CN 111582194 A 说　明　书 6/10 页 负责处理当前序列位置的输入信息，判断信息是否予以保留。而输出门的功能则被用于输 出最后被保留的信息内容。基于最佳单元LSTM网络建筑物提取算法模型得具体构建算法： (a)构建LSTM网络的第1部分：第1部分为输入层，输入图像大小为m×(Q×10)×1， 其中m为batch_size大小，即每次从训练样本中选取m个像素为一个批次进行网络训练，m一 般设置为100，Q×10为输入数据的波段个数总数。 (b)构建LSTM网络的第2部分：首先将在1个LSTM单元网络结构后连接1个Dropout 随机失活层形成一个组合，将该组合重复利用n次，形成LSTM网络结构的第2部分。其中单个 LSTM单元网络的滤波器的个数为filters＝32，Dropout随机失活层随机选择网络中的50％ 样本数据进行失活处理，可以有效地缓解过拟合，在一定程度上达到正则化的效果。 (c)构建LSTM网络的第3部分：第3部分是一个滤波器的个数为filters＝64的全连 接层(Full  Connected，FC)，数据需要经过扁平化的操作传入全连接层，全连接层的输入为 m×320，输出为m×64。 (d)构建LSTM网络的第4部分；其中，第4部分使用Softmax分类器为输出层，输出数 目m×2，分为建筑物与非建筑物2种提取结果。 (e)多特征LSTM网络输出多时相高分辨率遥感影像建筑物粗提取结果。 最终确定最佳单元数量为n＝2、3或4，当建筑物环境复杂时选用n＝3、4，当建筑物 环境单一时选用n＝2，即可得到准确率较高的建筑物粗提取结果。 步骤六、粗提取结果的后处理：由于利用多特征LSTM网络获取的建筑物的粗糙提 取结果，仍有少量的建筑物边缘需要细化。本发明使用形态学竖线腐蚀或横线腐蚀的方法 对多特征LSTM粗提取结果进行后处理。 本发明的有益效果： 本发明使用多时相高分辨率遥感影像作为数据源，利用时序变化下某些地物的不 变性与变化性提取建筑物。通过充分利用HSI变换、基于图分割与条件随机场后处理结合、 Gabor小波变换及计算DSBI建筑物指数获取到了多时相建筑物重要的光谱特征、形状特征、 纹理特征及指数特征。通过多特征LSTM网络与多时相数据有机结合的方法获得了建筑物轮 廓性较好的建筑物粗提取结果，并利用后处理算法去除了被错分的道路和阴影，最终得到 了平均准确率为90.5％，平均整体精度为93.1％的建筑物提取结果。本发明方法能准确地 从高分辨率遥感影像中提取建筑物，为城市规划设计、建造智慧城市提供了可靠的分析数 据。 附图说明 图1是本发明使用的研究区。 图2是本发明基于多特征LSTM网络的多时相高分辨率遥感影像建筑物提取方法流 程图。 图3是本发明使用的研究区内5个实验地建筑物图。 图4是本发明实施例1的HSI变换获取的建筑物光谱特征图。 图5是本发明实施例1的基于图分割与条件随机场后处理相结合方法获取的建筑 物形状特征图。 图6是本发明实施例1的Gabor小波变换获取的建筑物纹理特征图。 10 CN 111582194 A 说　明　书 7/10 页 图7是本发明实施例1的计算DSBI建筑物获取的建筑物指数特征图。 图8是本发明实施例1的多特征LSTM网络的结构图。 图9是本发明实施例1的基于多特征LSTM网络的多时相高分辨率遥感影像建筑物 粗提取结果。 图10是本发明实施例1的建筑物粗提取结果后处理结果图。