EN中文

地球信息科学学报 >

2022 , Vol. 24 >Issue 8: 1604 - 1616

DOI: https://doi.org/10.12082/dqxxkx.2022.220029

遥感科学与应用技术

基于改进DeepLabv3+孪生网络的遥感影像变化检测方法

  • 赵祥 ,
  • 王涛 , * ,
  • 张艳 ,
  • 郑迎辉 ,
  • 张昆 ,
  • 王龙辉
展开
  • 信息工程大学,郑州 450001
*王 涛（1975— ）,男,河南郑州人,教授,主要从事航空航天遥感工程、遥感信息处理与应用等方向研究。 E-mail:

赵 祥（1997— ）,男,河南洛阳人,硕士生,主要从事计算机视觉、遥感图像处理等方向研究。E-mail:

收稿日期: 2022-01-17

  修回日期: 2022-04-19

  网络出版日期: 2022-10-25

基金资助

装备技术基础科研项目(192WJ22007)

收起

Remote Sensing Image Change Detection based on Improved DeepLabv3+ Siamese Network

  • ZHAO Xiang ,
  • WANG Tao , * ,
  • ZHANG Yan ,
  • ZHENG Yinghui ,
  • ZHANG Kun ,
  • WANG Longhui
Expand
  • Information Engineering University, Geospatial Information Institute, Zhengzhou 450001, China
*WANG Tao, E-mail:

Received date: 2022-01-17

  Revised date: 2022-04-19

  Online published: 2022-10-25

Supported by

Equipment Technology Basic Scientific Research Project(192WJ22007)

Fold

摘要

传统遥感影像变化检测方法依赖人工构建特征,算法设计复杂且精度不高;而将2幅不同时相影像叠加后输入神经网络的遥感影像变化检测方法会造成不同时相的特征相互影响,难以保持原始影像的高维特征,且模型鲁棒性较差。因此,本文提出一种基于改进DeepLabv3+孪生网络的遥感影像变化检测方法,以经典DeepLabv3+网络的编解码结构为基础对网络进行改进：① 在编码阶段利用共享权值的孪生网络提取特征,通过2个输入端分别接收2幅遥感影像,以保留不同时相影像的高维特征;② 在特征融合中用密集空洞空间金字塔池化模型代替空洞空间金字塔池化模型,通过密集连接的方式结合每个空洞卷积的输出,以提高对不同尺度目标分割的精度;③ 在解码阶段中针对不同层级特征图信息差异较大,难以融合的问题,引入基于注意力机制的特征对齐模型,引导不同层级的特征对齐并强化学习重要特征,以提升模型的鲁棒性。应用开源数据集CDD验证本文方法的有效性,并与UNet-EF、FC-Siam-conc、Siam-DeepLabv3+和N-Siam-DeepLabv3+网络对比试验。试验结果表明,本文方法在精确率、召回率、F1值和总体精度上达到87.3%、90.2%、88.4%、96.4%,均高于UNet-EF、FC-Siam-conc、Siam-DeepLabv3+网络和N-Siam-DeepLabv3+网络,检测结果较为完整,对边界的检测也更为平滑,且对尺度变化具有更高的鲁棒性。

关键词： 变化检测; 孪生网络; DeepLabv3+; DenseASPP; 特征对齐; ASPP; 注意力机制; 深度学习

本文引用格式

赵祥 , 王涛 , 张艳 , 郑迎辉 , 张昆 , 王龙辉 . 基于改进DeepLabv3+孪生网络的遥感影像变化检测方法[J]. 地球信息科学学报, 2022 , 24(8) : 1604 -1616 . DOI: 10.12082/dqxxkx.2022.220029

Abstract

Traditional remote sensing image change detection method relies on artificial construction of features, and the algorithm design is complex and has a low accuracy. Moreover, the remote sensing image change detection technique, which superimposes two different phase images and then inputs them into the neural network, will cause the interaction of characteristics of different phases. It is difficult to maintain the high-dimensional features of the original image, and the model is less robust. Therefore, this paper proposes a remote sensing image change detection method that improves the DeepLabv3+ Siamese network based on the encoding and decoding structure of the classic DeepLabv3+ network: 1) In the encoding stage, the features are extracted by the Siamese network sharing weights, and remote sensing images are received through two input terminals respectively, so as to preserve the high-dimensional features of different time-phase images; 2) The dense atrous space pyramid pooling model replaces the atrous space pyramid pooling model in feature fusion. In addition, the method that combines the output of each atrous convolution through dense connections improves the segmentation of objects of different scales; 3) In the decoding stage, multiple levels of feature map information contain variance that causes integration problems. As a result, a feature alignment model based on the attention mechanism is introduced to guide the feature alignment of different levels, and then strengthen the learning of critical features to enhance model robustness. The open-source dataset CDD is used to verify the efficacy of the method in this paper, compared with UNet-EF, FC-Siam-conc, Siam-DeepLabv3+ and N-Siam-DeepLabv3+ networks. The test results demonstrate that the presented approach in the study achieves 87.3%、90.2%、88.4%、96.4% in precision rate, recall rate, F1 value, and overall accuracy, respectively, which are higher than those of the UNet-EF, FC-Siam-conc, Siam-DeepLabv3+ and N-Siam-DeepLabv3+ networks. The detection results turn out to be more comprehensive, and the boundary detection is smoother and more robust to scale changes.

Key words： Change detection; Siamese network; DeepLabv3+; DenseASPP; Feature alignment; ASPP; Attention mechanism; Deep learning

1 引言

遥感影像是了解地球表面环境,观测其变化的主要手段之一。变化检测技术通过在不同时间拍摄的同一地区的遥感影像来了解该地区动态。利用多时相影像中的信息及变化检测技术,有助于城市规划、生态系统监测、资源管理、灾害评估等应 用[1⇓-3]。目前,有效地提取遥感影像中丰富的特征信息,以及进一步提高变化检测的准确性仍是变化检测领域的重要问题。
近些年来,针对遥感影像变化检测,国内外学者提出了多种方法[4]。这些方法主要是通过纹理、形状、颜色等人工设计的图像特征研究分析,从而得到变化信息,如比值法、变化矢量分析[5]、主成分分析法[6]等,这些方法简单易实现,但对伪变化信息不敏感,且检测结果含有大量椒盐噪声。为提高遥感影像变化检测精度,一些学者在其基础上提出了改进方法。Gao等[7]采用邻域比值法从2幅不同时相的合成孔径雷达影像中获取感兴趣的像素点并基于像素点生成图像块,最后使用极限学习机来训练模型生成变化图。吴瑞娟等[8]利用水体、植被指数等特征生成差异影像,然后采用最大对称环绕显著性检测算法生成显著图,结合模糊C均值和马尔可夫随机场方法分割显著区域,最后通过随机森林分类器进行分类得到变化检测结果。上述变化检测方法采用人为设计的特征虽然具有一定的效果,但需要对特征进行深入地挖掘,且对预处理敏感,增加了算法设计的复杂性。
随着深度学习技术在目标检测、语义分割和图像分类等领域中的成功应用[9-10],基于其强大的特征提取能力,一些学者开始研究深度学习在遥感影像变化检测中的应用。王昶等[11]提出一种基于深度学习的遥感影像变化检测方法,通过融合变化向量分析方法获取差异影像,应用模糊C-均值算法对粗变化检测图进行预分类,然后将提取像素的邻域特征引入网络模型进行训练,利用训练好的网络模型检测差异影像并得到变化检测结果。但该方法参数量较多,且参数选择需要人工干预。为实现端到端的遥感影像变化检测方法,部分学者将基于深度学习的语义分割模型应用到遥感影像变化检测中[12]。如张翠军等[13]提出一种改进的UNet网络模型,将变化检测问题转化为像素级二分类问题,然后将前后2幅遥感影像叠加后输入UNet网络模型,实现了端到端的遥感影像变化检测,但其模型网络框架较大,训练时间加长。王民水等[14]基于DeepLabv3+网络,利用随机补片优化策略,通过矩阵运算将2幅不同时相的遥感影像叠加后作为网络输入,相较UNet有更高的精度且内存消耗小,但其对边界的检测不光滑。Zhu等提出[15]并改进了SegNet模型,结合形态学处理使检测结果更平滑,但其对结构差异大的变化不敏感。上述3种研究方法,将不同时相遥感影像融合后输入网络,同时进行特征提取及比较,不同影像特征之间会彼此影响,导致原始影像的高维特征被破坏[16],最终使得遥感影像变化检测精度不高。因此,Zhan等[17]提出一种孪生网络模型,通过共享权值的2个网络直接从原始影像中提取特征,然后计算2个特征张量之间的距离得到变化检测结果。该模型对边界的检测较为平滑,但过程繁琐。为实现端到端的孪生网络变化检测模型,Daudt等[18]提出2种孪生的网络模型FC-Siam-conc和FC-Siam-diff,基于U型跳跃连接结构,分别通过拼接和计算绝对值差值的方式将前后2时相影像送入解码器实现变化检测,但其精度较低。Chen等[19]提出DASNet网络,通过双注意机制提高了模型的变化检测性能,但其针对小目标的变化检测能力有限。付威福等[20]提出孪生的DeepLabv3+二值变化检测网络,有效提高了检测的准确率,但其针对不同尺度目标的变化检测效果不佳。
虽然以上学者提出的算法均可完成变化检测任务,但其检测精度,以及在不同尺度目标的变化检测中仍有提升的空间。本文以经典DeepLabv3+网络模型为基础,针对多通道叠加后的影像在特征提取中不同时相特征相互影响,造成变化检测精度不高的问题,利用共享权值的孪生网络进行特征提取;针对DeepLabv3+网络中空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模型内部各支路特征相互独立,缺乏空间相关性的问题[21],将其改为密集空洞空间金字塔池化模型[22](Dense Atrous Spatial Pyramid Pooling, DenseASPP),逐层融合特征信息,使模型具有更大的感受野,使检测结果更稳健;针对DeepLabv3+网络在解码阶段直接将深层特征输出与特征提取网络中浅层特征融合造成不同层级特征未对齐产生噪声,降低语义分割精度的问题,引入基于注意力机制的特征对齐模型[21](Feature Alignment Model based on attention mechanism, A-FAM）,引导深层特征与浅层特征对齐,进一步提升本文网络的鲁棒性。

2 研究方法

2.1 技术路线

本研究的遥感影像变化检测流程见图1。首先,针对遥感影像过大难以输入网络问题进行预处理操作,接着利用数据增广以提升网络的鲁棒性。为方便网络训练,将数据集以6：2：2的比例划分为训练集、验证集和测试集。然后将训练集和验证集归一化后进行网络训练。本文采用改进的DeepLabv3+孪生网络进行训练,利用共享权值的孪生网络提取特征,在融合不同层级的图像特征信息时,利用注意力机制改善特征融合效果,以解决边缘分割粗糙问题。最后进行网络测试,将测试集输入训练好的DeepLabv3+网络,端到端的输出遥感影像变化检测结果并进行精度评价。
图1 遥感影像变化检测技术路线

Fig. 1 Technical routes of remote sensing image change detection

2.2 经典DeepLabv3+网络

本文网络结构参考经典DeepLabv3+网络的编解码结构。经典DeepLabv3+网络于2018年提出[23],该网络在原有的DeepLabv3网络上进行改进,也是目前DeepLab网络系列中性能最优的网络。网络结构分为编码器与解码器,具体如图2所示。
图2 经典DeepLabv3+网络模型[23]

Fig. 2 Classic DeepLabv3+ network model

图2上半部分编码器可选择ResNet、Xception作为骨干网络(Backbone Network),为使提取的特征具有更大的感受野[24],在最后一个编码块用膨胀卷积替换普通卷积;利用不同膨胀系数的空洞卷积组成的空洞空间金字塔池化模型(ASPP)对图像上下文信息编码并拼接融合;接着使用1×1的卷积调整输出通道数,提高网络特征提取的泛化能力。下半部分解码器对编码器输出的特征张量采用双线性插值法进行4倍上采样;然后将其与骨干网络对应层级的特征图拼接,利用跨层连接捕捉浅层特征承载的细节信息,从而丰富图像的语义信息和细节信息;最终将融合后的特征图进行4倍上采样得到与原图大小一致的语义分割图。

2.3 改进的DeepLabv3+孪生网络

本文在DeepLabv3+网络基础上提出一种改进的DeepLabv3+孪生网络,将变化检测视为二值像素分割任务,提高其对多尺度目标的遥感影像变化检测精度。网络结构如图3所示,包含编码和解码2个部分。
图3 改进的DeepLabv3+孪生网络模型

Fig. 3 Improved DeepLabv3+ siamese network model

编码阶段将经典DeepLabv3+网络的单通道 输入结构改为共享权值的双通道孪生网络结 构[20],以便输入2幅不同时相的影像。该结构通过共享权值可只训练单个网络,减少网络训练参数,优化网络结构,且能利用多层网络连接差异识别功能和特征提取功能,从而保留不同时相影像的高维特征[25]。本文采用ResNet50网络,在网络的最后一个编码块采用空洞卷积代替步长为2的普通卷积,其不进行下采样[20]。将经典DeepLabv3+网络的空洞空间金字塔池化模型(ASPP)改为密集空洞空间金字塔池化模型(DenseASPP),以密集连接的方式结合每个空洞卷积输出,避免了过大膨胀率的卷积导致的卷积退化。解码阶段引入基于注意力机制的特征对齐模型[21](A-FAM),在不同深度层级特征拼接时减少噪声对特征图的影响。为进一步解决边缘分割粗糙的问题,利用注意力机制赋予各特征通道不同的权重,改善特征跨层拼接效果。

2.4 密集空洞空间金字塔池化模型

经典DeepLabv3+网络采用空洞空间金字塔池化(ASPP)模型,其由不同膨胀率的空洞卷积和全局池化生成的特征图组成。经过拼接和1×1卷积调整通道维数后,输出包含多个感受野大小的特征图,从而提高对不同尺度的目标分割效果。由于不断提高的遥感影像分辨率要求特征图具有更大的感受野,而在空洞空间金字塔池化中要获得大感受野,必须采用膨胀率较大的空洞卷积。然而随着膨胀率的增大,空洞卷积逐渐失去它的作用[26]。针对上述问题,本文引入密集空洞空间金字塔池化模型[22](DenseASPP),将上层所有空洞卷积输出的特征图传输到下层的空洞卷积并与下层的特征图拼接起来。每一层的空洞卷积仅使用具有合理膨胀率(d≤24)的卷积核,在不发生核退化的情况下,使得空洞卷积层的感受野逐层增加。最终DenseASPP输出的特征图不仅具有大尺度范围的语义信息,且利用了更多的像素。DenseASPP模型如图4所示。
图4 密集空洞空间金字塔池化模型

Fig. 4 Dense atrous spatial pyramid pooling model

密集空洞空间金字塔池化模型(DenseASPP)结合了DenseNet网络密集连接和ASPP多尺度联合的思想。如图4所示,特征图经由不同膨胀率的空洞卷积核卷积采样,采样后的特征图通过密集连接的结构将每一层的卷积特征图与下面的所有层结合。其中,每一层的特征图也是之前所有层特征图的结合。因此,DenseASPP可只使用少量的卷积核组成一个更大更密集的特征金字塔。
在密集空洞空间金字塔池化模型中各层空洞卷积的输出可表示为式(1)。
y l = H k , d l ( [ y l - 1 , y l - 2 , … , y 0 ] )
式中： K表示卷积核尺寸; d l表示第l层的膨胀率; [ … ]表示拼接操作; [ y l - 1 , y l - 2 , … , y 0 ]表示输入特征图与所有前层特征图。通过不同膨胀率的空洞卷积,结合密集连接的方式会获得比单独的空洞卷积或者几个并联的空洞卷积更大的感受野,感受野的计算为式（2）。
R = ( s - 1 ) × ( K - 1 ) + K
式中： R表示感受野; s表示膨胀率; K表示卷积核尺寸。若将2个卷积层级联在一起,可以获得更大的感受野,假设2个卷积核尺寸分别为 K 1, K 2,新的感受野 R为式(3)。
R = K 1 + K 2 - 1
密集空洞空间金字塔池化模型输出的感受野,表示为式(4)。
R m a x = R 3,1 + R 3,2 + R 3 , 3 + R 3,5 - 3
式中： R m a x表示最终感受野大小; R 3,1 , … , R 3,5表示卷积核大小为3;膨胀率为 1 , … , 5的感受野大小。相比ASPP,DenseASPP在构建特征金字塔时具有更多的优势。图5(a)所示为标准一维空洞卷积,膨胀率为6,感受野为13,但在卷积运算中,只采样了3个像素进行计算。虽然获得了较大的感受野,但损失了大量的信息。图5(b)所示为一维空洞卷积组合,将膨胀率为3的卷积核置于膨胀率为6的卷积核下方,感受野为19,采用了7个像素信息。DenseASPP模型由不同膨胀率的空洞卷积组成,膨胀率逐层增加,上层的卷积可利用下层的特征,相比单独的空洞卷积能获得更大的感受野且像素采样更加密集,相比具有相同感受野的大卷积核,DenseASPP模型的参数量更小。
图5 一维空洞卷积像素采样率对比

Fig. 5 Comparison of sampling rate of one-dimensional atrous convolution pixels

在本文中,DenseASPP模型包含4个空洞卷积块,每个空洞卷积块具有相同的结构,均包含2层卷积。第一层使用步长为1,尺寸为1×1卷积核对输入特征进行卷积。该卷积层用于控制网络参数大小,使输出的特征维数与输入特征维度的大小无关,减小本文网络计算量。第二层是空洞卷积层,因连续使用空洞卷积且膨胀率选择不当时会存在网格问题,本文据Wang等[27]提出的策略,采用膨胀率分别为1、2、3、5的3×3空洞卷积提取特征,有效避免了网格问题且对本文微小特征图有较好效果。随着层数增加,膨胀率也不断增加,最后输出一个具有多尺度信息的特征图。

2.5 基于注意力机制的特征对齐模型

经典DeepLabv3+网络在分割时将深层特征直接与4倍下采样的浅层特征融合,未顾及不同层级特征对齐的问题。而卷积神经网络在提取特征时,经常对特征图下采样以逐步扩大感受野,造成深层特征分辨率较低,不利于目标的精确定位,但其具有强语义信息;浅层特征富含丰富的空间信息,但其语义层级较低。二者包含信息不同,直接融合不同层级不同分辨率的特征会引起语义的不对齐问题,故本文引入基于注意力机制的特征对齐模型[21] (A-FAM)来融合不同层级的特征。通过将特征图赋予不同的权重系数,突出对变化信息有重要作用的特征,抑制复杂的背景信息以提升本文网络的鲁棒性。
A-FAM来源于DeepLabv3+语义分割优化网络[21],通过全局平均池化与最大值池化更新权重向量,如图6所示。整个过程为：① 将深层特征通过双线性插值进行上采样为 F h,使不同层级的分辨率相同。分别计算特征图通道的全局最大值池化与平均池化,得到2个1×1×C的向量 Z,式（5）为全局平均池化[28];② 利用权重为 W 1的全连接层将通道数减少为1/H,经ReLU函数 δ激活,然后通过权重为 W 2的全连接层增加为H,见式（6）;③ 将2个特征向量逐像素相加,然后通过Sigmoid得到归一化通道权重向量s∈R1×1×C,将其与浅层特征 F 1相乘获得权重更新后的特征 F m,见式（7）。最终与深层特征 F h拼接后输出带有通道注意力的对齐特征。A-FAM前端2路并行通道内的全连接层参数共享,以减少模型参数量。
图6 基于注意力机制的特征对齐模型[21]

Fig. 6 Feature alignment model based on attention mechanism

Z = F s q ( u c ) = 1 W × H ∑ i = 1 W ∑ j = 1 H u c ( i , j )
s = F e x ( Z , W ) = σ ( g ( Z , W ) ) = σ ( W 2 δ ( W 1 , Z ) )
F m = F 1 ∙ σ [ ω 2 δ ( ω 1 ( A v g p o o l ( F h ) ) ) + ω 2 δ ( ω 1 ( M a x p o o l ( F h ) ) ) ]
式中： F s q表示压缩操作; F e x表示激励操作; u c表示每一个特征通道; W 、 H表示特征尺寸; W 1 、 W 2表示全连接的权重; A v g p o o l表示平均池化; M a x p o o l表示最大值池化。

3 实验数据及结果分析

3.1 数据来源与预处理

CDD (Change Detection Dataset)是一个开源的遥感变化检测数据集[29]。该数据集由11个不同地区的多源遥感影像组成,其中7对影像的大小为4725像元×2200像元,4对影像的大小为1900像元×1000像元。由于变化种类多样,具有季节、建筑物变化等,因此本文利用该数据集测试算法有效性。将数据集中所有影像裁剪为256像元×256像元以缓解GPU内存不足问题。
为提升模型的鲁棒性,对有限的数据集进行数据增广。将训练集和验证集中的图像逆时针旋转90°、180°、270°、水平翻转和垂直翻转,如图7所示。经过数据增强后,训练集有60 000对,验证集有18 000对,测试集未增强,为3000对。由于CDD数据集中影像像素值和亮度分布不均匀,若不经过归一化直接输入网络进行训练,梯度下降较慢甚至不收敛,故本文先进行数据归一化后再输入网络,使训练数据有相似分布,有效减少梯度消失,加快网络收敛速度[13]。
图7 数据增强后的图像样例

Fig. 7 Image sample after data enhancement

3.2 实验环境及参数设置

本文网络基于深度学习框架Pytorch搭建,按照目前主流配置环境搭建深度学习实验环境,硬件和软件平台信息如表1所示。通过多次试验,综合考虑本文网络计算效率、结果精度以及硬件3个方面,最终确定网络参数如表2所示。
表1 硬件和软件环境配置信息

Tab. 1 Hardware and software environment configuration information

实验环境 名称 参数信息
硬件环境 CPU Intel Xeon E5
内存大小 32 G
GPU GeForce RTX 2080Ti
显存大小 11 G
操作系统 Windows10
软件环境 深度学习框架 Pytorch1.9.0
CUDA Cuda10.2
编程语言 Python3.7.10
开发环境 Pycharm2019
表2 模型参数配置

Tab. 2 Model parameter configuration

参数 值
初始学习率 0.0001
批处理大小 8
最大迭代次数 100
优化器 Adam

3.3 损失函数与评价指标

3.3.1 损失函数

网络训练过程中,损失函数能反映网络对数据的拟合程度。本文数据集中变化和不变数据的分布不平衡,即不变样本数远远大于变化样本数,而在传统的损失函数中,训练过程中对变化特征对和不变特征对的惩罚不一致,因此本文选用由类均衡二值交叉熵（Balanced Binary Cross-entropy）和Dice（Dice Coefficient）系数组成的复合损 失函数[30],提高模型对变化类像素的识别率,如式(10)所示。
L b c e = - β ∑ j ∈ Y + l o g P r ( y i = 1 ) - ( 1 - β ) ∑ j ∈ Y - l o g P r ( y i = 0 ) β = | Y - | / ( | Y + | + | Y - | )
L d i c e = 1 - 2 Y i Y i ^ Y i + Y i ^
L = L b c e + λ L d i c e
式中： β表示类均衡系数; | Y - |和 | Y + |分别表示所有未变化像素、变化像素的数量; P r ( ∙ )表示Sigmoid函数; y i表示网络在 i位置的输出结果, y i = 1表示变化, y i = 0表示未变化。式(9)中, Y i表示标签中 i像素的值, Y i ^表示网络预测像素 i属于变化类的概率。式(10)中 λ是常数,用于调节2个损失函数的平衡。

3.3.2 评价指标

遥感影像变化检测可看作将像素点进行二分类的问题,本文采用二分类问题中常用的评价指标精确率、召回率、F1值、OA值,计算公式如下：
P r e c i s i o n = T P T P + F P
R e c a l l = T P T P + F N
F 1 = 2 P r e c i s i o n ∙ R e c a l l P r e c i s i o n + R e c a l l
O A = T P + T N T P + T N + F P + F N
式中： T P表示分类正确的变化像素数; T N表示分类正确的未变化像素数; F P表示分类错误的变化像素数; F N表示分类错误的未变化像素数。分类如表3所示。
表3 变化检测混淆矩阵

Tab. 3 Change detection confusion matrix

预测变化类 预测未变化类
实际变化类 TP FN
实际未变化类 FP TN
在遥感影像变化检测结果中,未发生变化的像素值远大于变化像素值,因此,混淆矩阵中 T N值较大,造成各种方法中 O A值都维持在较大范围。

3.4 实验结果及对比分析

网络训练好后,将测试集影像输入到网络中,端到端的输出测试集中每对影像的变化检测结果。为验证本文提出的改进DeepLabv3+孪生网络的 有效性,加入4个对比网络,分别为：UNet-EF、FC-Siam-conc、Siam-DeepLabv3+和N-Siam-DeepLabv3+。UNet-EF将不同时相的遥感影像经多通道叠加后输入UNet网络中得到变化检测结果。FC-Siam-conc是UNet的孪生扩展网络,将来自2个编码器分支和解码器相应层的3个特征图进行跳跃连接,然后送入解码器得到变化检测结果。Siam-DeepLabv3+表示未引入DenseASPP模型和A-FAM模型的孪生DeepLabv3+网络。N-Siam-DeepLabv3+表示特征提取网络为ResNet101的Siam-DeepLabv3+网络。上述方法的数据集和实验环境与本文方法均一致。为直观地展示改进后的模型效果,选取典型的3块区域进行展示,各模型测试后的结果对比见图8。
图8 3个典型区域不同方法变化检测结果比较

Fig. 8 Comparison of detection results of different methods in 3 typical regions

对比图8中的实验结果,5种方法均能有效地检测出大场景目标的变化,从整体上看,本文提出的改进DeepLabv3+孪生的变化检测网络模型的效果最好,图8中红色方框展示了本文方法的优点。UNet-EF网络检测出的变化区域与标准变化图差异较大,生成的结果有比较大的缺口（区域1）,在检测的目标内部存在大的空洞,导致目标形态不完整,对小目标的检测中,存在漏检现象（区域2、区域3）。这是由于2幅影像叠加后输入神经网络的方法会造成不同时相的特征相互影响,使检测结果较差。FC-Siam-conc网络能较好地检测出目标的变化,同时内部区域相较UNet-EF也更加完整。可能原因是孪生神经网络通过2个输入端分别接收不同时相的影像,一定程度上减少了不同时相特征的相互影响,但同时也存在部分漏检和虚警现象（区域3）。Siam-DeepLabv3+网络对大目标的检测较为完整,但边界的检测较为粗糙（区域1）,同样存在漏检现象（区域2）。N-Siam-DeepLabv3+网络整体效果较Siam-DeepLabv3+网络好,对边界的处理更精细（区域1）,但也存在漏检现象（区域1、区域2）。本文方法能较好地检测到变化区域,不受背景复杂的影响,在对不同尺度目标的变化检测中均具有更好的发挥,且检测的边界更平滑,具有鲁棒性（区域2、区域3）。这是由于本文DenseASPP模型以密集连接的方式结合每个空洞卷积输出,使其具有更大的感受野,且A-FAM模型能减少特征不对齐引起的噪声影响,有效区分变化像素和伪变化像素。
对实验结果进行定量分析,表4列出了不同检测方法在测试集中的结果。如表4所示,本文方法的准确率和召回率均高于其他4种方法,与UNet-EF相比, R e c a l l、 P r e c i s i o n、 F 1和 O A值分别提升了14.8%、13.9%、15.2%、6%;与FC-Siam-conc相比,4项指标分别提升了12.6%、11.7%、13.1%、3.9%;与Siam-DeepLabv3+相比;各提升了1.5%、2.3%、1.9%、1.7%;与N-Siam-DeepLabv3+相比,4项指标分别提升了1.9%、1.7%、1.3%、0.5%。
表4 变化检测结果精度对比

Tab. 4 Accuracy comparison of change detection results

方法 评价指标
R e c a l l/% P r e c i s i o n/% F 1/% O A/% 参数量(M)
UNet-EF 72.5 76.3 73.2 90.4 7.76
FC-Siam-conc 74.7 78.5 75.3 92.5 1.55
Siam-DeepLabv3+ 85.8 87.9 86.5 94.7 40.30
N-Siam-DeepLabv3+ 85.4 88.5 87.1 95.9 59.30
本文方法 87.3 90.2 88.4 96.4 42.20
此外,本文网络的参数量42.2M,与Siam-DeepLabv3+网络相比参数量增加不多。这是由于本文的DenseASPP模块通过1×1卷积严格控制参数数量且本文的A-FAM模型2路并行通道内的全连接层参数共享,不额外增加参数量。相较N-Siam-DeepLabv3+网络,本文在参数量较少的情况下,检测精度更高,证明了本文改进方法较好的平衡了分割精度与效率。

3.5 模型间的消融实验

为验证密集空洞空间金字塔池化模型(DenseASPP)、基于注意力机制的特征对齐模型(A-FAM)对网络整体性能的影响,在CDD数据集上进行逐层的消融实验。实验将Siam-Deeplabv3+网络作为基础网络,其他实验条件均保持一致,以 R e c a l l、 P r e c i s i o n、 F 1和 O A值为评价指标,实验结果如表5所示。
表5 模型间的消融实验精度对比

Tab. 5 Accuracy comparison of ablation experiments between models

DenseASPP A-FAM R e c a l l/% P r e c i s i o n/% F 1/% O A/%
实验1 - - 85.8 87.9 86.5 94.7
实验2 √ - 86.2 89.1 87.4 95.8
实验3 - √ 86.7 88.4 87.1 95.6
实验4 √ √ 87.3 90.1 88.4 96.4
通过对比表5中实验1、实验2结果可以看出,使用密集空洞空间金字塔池化模型（DenseASPP）代替原模型ASPP模型后, R e c a l l、 P r e c i s i o n、 F 1和 O A值分别提升了0.4%、1.2%、0.9%、1.1%。这表示该模型相比ASPP不仅含有大尺度范围的语义信息,而且以非常密集的方式覆盖该范围,有效地扩大输入特征图的感受野,提升了网络对于变化特征信息提取能力,降低了模型的漏检率。通过对比表5中实验1、实验3结果可以看出,加入基于注意力机制的特征对齐模型（A-FAM）后, R e c a l l、 P r e c i s i o n、 F 1和 O A值分别提升了0.9%、0.5%、0.6%、0.9%%。这是由于A-FAM利用注意力机制有效结合不同层级的信息,使模型精度提高。综合分析表5,本文网络在遥感影像变化检测任务上的效果要好于基准网络,且相较另一改进网络[20],模型精度有所提升,体现了本文改进方法的有效性。

3.6 模型推广应用实验

为研究本文方法的泛化能力,本文另外选择在第五届中科星图杯大赛提供的公开数据集（Fifth Zhongke Xingtu Cup Competition, FZCD）进行实验验证。该数据集主要来源于国产高分、海丝、吉林等中高分辨率遥感卫星影像,影像大小为512像元×512像元,主要变化内容为该地区的建筑物。为保证实验顺利进行,将影像裁剪为256像元×256像元大小,用训练好的改进DeepLabv3+孪生网络模型对测试样本进行测试。
从测试结果中选取典型的3块区域进行展示,测试结果如图9所示。从图9中可看出,本文方法整体效果较好,特别是对小目标变化结果的检测,边界检测也较为平滑,但也存在部分像素误检及虚警问题(区域1和区域3)。可能原因是2个数据集变化内容相差较大,而本文方法并没有针对特定地物变化进行训练。本文方法在测试集的定量评价指标 R e c a l l、 P r e c i s i o n、 F 1和 O A值分别为85.1%、80.4%、81.2%、90.3%。
图9 3个典型区域变化检测结果比较

Fig. 9 Comparison of 3 typical regional change detection results

4 结论与展望

本文基于DeepLabv3+网络提出一种改进的DeepLabv3+孪生网络模型,用于检测不同时相遥感影像的变化信息。研究以公开的遥感影像变化检测数据集CDD为数据源,通过改进的DeepLabv3+孪生网络提取不同时相遥感影像中的变化信息,并与UNet-EF、FC-Siam-conc、Siam-DeepLabv3+和N-Siam-DeepLabv3+网络结果做对比。同时,为验证本文方法的泛化能力,本文选择公开数据集FZCD进行验证。结果表明：
（1）本文引入密集空洞空间金字塔池化模型和基于注意力机制的特征对齐模型对DeepLabv3+孪生网络进行改进,通过逐层融合特征信息,使模型具有更大的感受野并优化特征通道权重,改善特征融合效果,较原网络模型 R e c a l l、 P r e c i s i o n、 F 1和 O A值分别提高了1.5%、2.3%、1.9%、1.7%。结果表明本文改进方法有助于多尺度地物的变化检测,提高了模型对边界像素检测的敏感性,在不同尺度目标变化检测及边界像素分割中更具有优势。
（2）本文改进的DeepLabv3+孪生网络、UNet-EF、FC-Siam-conc、Siam-DeepLabv3+和N-Siam-DeepLabv3+网络5种方法比较中,本文方法在精确率、召回率、F1值和总体精度上达到87.3%、90.2%、88.4%、96.4%,较上述方法F1值分别提高了15.2%、13.1%、1.9%、1.3%,证明了本文方法在遥感影像变化检测中具有优势。
（3）在模型推广应用中,模型对于与训练数据集相似的影像效果较好,但由于本文网络模型参数量较大,训练数据单一,因此对于与训练数据集相差较大的影像检测能力不高,后续在训练数据中要增加更多不同地物的变化样本,增强模型的泛化能力。
本文改进的DeepLabv3+孪生网络模型还存在一些不足,改进后的模型参数量相较基础网络有所增加,训练速度较慢。下一步研究将对网络结构进行压缩、剪枝,减少训练时长,同时增加复杂背景下地物的变化样本,进一步提高本文方法的时空可拓展性。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
Shi W, Min Z, Zhang R, et al. Change detection based on artificial intelligence: state-of-the-art and challenges[J]. Remote Sensing, 2020, 12(10):1688. DOI: 10.3390/rs12101688

DOI

[2]
Tewkesbury A P, COMBER A J, Tatenj, et al. A critical synthesis of remotely sensed optical image change detection techniques[J]. Remote Sensing of Environment, 2015, 160:1-14. DOI: 10.1016/j.rse.2015.01.006

DOI

[3]
Kaiyu L, Zhe L, Sheng F. Siamese NestedUNet Networks for Change Detection of High Resolution Satellite Image[C]. CCRIS 2020:2020 International Conference on Control, Robotics and Intelligent System, 2020, 10:42-48. DOI: 10.1145/3437802.3437810

DOI

[4]
眭海刚, 冯文卿, 李文卓, 等. 多时相遥感影像变化检测方法综述[J]. 武汉大学学报·信息科学版, 2018, 43(12):1885-1898.

[ Sui H G, Feng W Q, Li W Z, et al. A review of change detection methods in multitemporal remote sensing imagery[J]. Journal of Wuhan University (Information Science Edition), 2018, 43(12):1885-1898. ] DOI: 10.13203/j.whugis20180251

DOI

[5]
F Bovolo, Bruzzone L. A theoretical framework for unsupervised change detection based on change vector analysis in the polar domain[J]. IEEE Transactions on Geoscience & Remote Sensing, 2006, 45(1):218-236. DOI: 10.1109/TGRS.2006.885408

DOI

[6]
Celik T. Unsupervised change detection in satellite images using principal component analysis and k-Means clustering[J]. IEEE Geoscience & Remote Sensing Letters, 2009, 6(4):772-776. DOI: 10.1109/LGRS.2009.2025059

DOI

[7]
Gao F, Dong J, Li B, et al. Change detection from synthetic aperture radar images based on neighborhood-based ratio and extreme learning machine[J]. Journal of Applied Remote Sensing, 2016, 10(4):046019. DOI: 10.1117/1.JRS.10.046019

DOI

[8]
吴瑞娟, 何秀凤, 王静. 结合像元级与对象级的滨海湿地变化检测方法[J]. 地球信息科学学报, 2020, 22(10):2078-2087.

DOI

[ Wu R J, He X F, Wang J. Coastal wetlands change detection combining pixel-based and object-based methods[J]. Journal of Geo-information Science, 2020, 22(10):2078-2087. ] DOI: 10.12082/dqxxkx.2020.190417

DOI

[9]
Lin T Y, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017:936-944. DOI: 10.1109/CVPR.2017.106

DOI

[10]
He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 37(9):1904-1916. DOI: 10.1007/978-3-319-10578-9_23

DOI

[11]
王昶, 张永生, 王旭, 等. 基于深度学习的遥感影像变化检测方法[J]. 浙江大学学报(工学版), 2020, 54(11):2138-2148.

[ Wang C, Zhang Y S, Wang C, et al. Change detection method of remote sensing image based on deep learning[J]. Journal of Zhejiang University (Engineering Edition), 2020,54( 11):2138-2148. ] DOI: 10.3785/j.issn.1008-973X.2020.11.009

DOI

[12]
程文胜. 基于语义分割的高分辨率遥感图像变化检测[D]. 武汉: 武汉大学, 2020.

[Cheng W S. Change detection in high resolution remote sensing images based on semantic segmentation[D]. Wuhan: Wuhan University, 2020. ] DOI: 10.27379/d.cnki.gwhdu.2020.000080

DOI

[13]
张翠军, 安冉, 马丽. 改进U-Net的遥感图像中建筑物变化检测[J]. 计算机工程与应用, 2021, 57(3):239-246.

[ Zhang C J, An R, Ma L. Improved U-Net for building change detection in remote sensing images[J]. Computer Engineering and Applications, 2021, 57(3):239-246. ] DOI: 10.3778/j.issn.1002-8331.2005-0331

DOI

[14]
王民水, 孔祥明, 陈学业, 等. 基于随机补片和DeepLabv3+的建筑物遥感图像变化检测[J/OL]. 吉林大学学报(地球科学版), 2021:1-7.

[ Wang M S, Kong X M, Chen X, Y, et al. Change detection of building remote sensing image based on random patch and DeepLabv3+[J/OL]. Journal of Jilin University (Earth Science Edition), 2021:1-7. ] DOI: 10.13278/j.cnki.jjuese.20200159

DOI

[15]
Zhu B, Gao H, Wang X, et al. Change detection based on the combination of improved SegNet neural network and Morphology[C]. 2018 IEEE 3rd International Conference on Image, 2018:55-59. DOI: 10.1109/ICIVC.2018.8492747

DOI

[16]
李紫薇, 于晓鹏, 丁婷婷. 基于编码-解码神经网络遥感图像语义分割应用研究[J]. 智能计算机与应用, 2021, 11(1):106-113.

[ Li Z W, Yu X P, D T T. Research on semantic segmentation of remote sensing image based on encoding-decoding neural network[J]. Intelligent Computers and Applications, 2021, 11(1):106-113. ] DOI: 10.3969/j.issn.2095-2163.2021.01.024

DOI

[17]
Zhan Y, Fu K, Yan M, et al. Change detection based on deep siamese convolutional network for optical aerial images[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10):1845-1849. DOI: 10.1109/LGRS.2017.2738149

DOI

[18]
Daudt R C, Saux B L, Boulch A. Fully Convolutional Siamese Networks for Change Detection[C]. 2018 25t IEEE International Conference on Image Processing (ICIP), 2018:4063-4067. DOI: 10.1109/ICIP.2018.8451652

DOI

[19]
Chen J, Yuan Z, Peng J, et al. DASNet: dual attentive fully convolutional siamese networks for change detection of high resolution satellite images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 14:1194-1206. DOI: 10.1109/JSTARS.2020.3037893

DOI

[20]
付威福. 基于深度学习的遥感影像变化检测算法研究[D]. 成都: 电子科技大学, 2021:1-75.

[ Fu W F. Research on change detection algorithm of remote sensing image based on deep learning[D]. Chengdu: University of Electronic Science and Technology of China, 2021:1-75. ] DOI: 10.27005/d.cnki.gdzku.2021.001673

DOI

[21]
孟俊熙, 张莉, 曹洋, 等. 基于DeepLabv3+的图像语义分割算法优化研究[J/OL]. 激光与光电子学进展, 2021:1-15.

[ Meng J X, Zang L, Cao Y, et al. Research on optimization of image semantic segmentation algorithm based on DeepLabv3+[J/OL]. Advances in Lasers and Optoelectronics, 2021:1-15. ] DOI: 10.3788/lop59.1610009

DOI

[22]
Yang M, Yu K, Chi Z, et al. DenseASPP for semantic segmentation in street scenes[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018:3684-3692. DOI: 10.1109/CVPR.2018.00388

DOI

[23]
Chen L C, Zhu Y, Papandreou G, et al. Encoder-Decoder with atrous separable convolution for semantic image segmentation[C]. European Conference on Computer Vision, 2018:833-851. DOI: 10.1007/978-3-030-01234-2_49

DOI

[24]
F Yu, Koltun V. Multi-Scale Context Aggregation by Dilated Convolutions[J]. Computer Science, 2015. DOI: 10.48550/arXiv.1511.07122

DOI

[25]
倪良波, 卢涵宇, 卢天健, 等. 基于孪生残差神经网络的遥感影像变化检测[J]. 计算机工程与设计, 2020, 41(12):3451-3457.

[ Ni L B, Lu H Y, Lu T J, et al. Change detection of remote sensing image based on siamese residual neural network[J]. Computer Engineering and Design, 2020, 41(12):3451-3457. ] DOI: 10.16208/j.issn1000-7024.2020.12.023

DOI

[26]
李頔, 王艳, 马宗庆, 等. 基于DenseASPP模型的超声图像分割[J]. 四川大学学报(自然科学版), 2020, 57(4):741-748.

[ Li D, Wang, Y, Ma Z Q, et al. Ultrasound image segmentation based on DenseASPP model[J]. Journal of Sichuan University (Natural Science Edition), 2020, 57(4):741-748 ] DOI: 10.3969/j.issn.0490-6756.2020.04.018

DOI

[27]
Wang P, Chen P, Yuan Y, et al. Understanding convolution for semantic segmentation[C]. 2018 IEEE Winter Conference on Applications of Computer Vision, 2018:1451-1460. DOI: 10.1109/WACV.2018.00163

DOI

[28]
王红君, 季晓宇, 赵辉, 等. SENet优化的DeepLabv3+淡水鱼体语义分割[J]. 中国农机化学报, 2021, 42(2):158-163.

[ Wang H J, Ji X Y, Zhao H, et al. SENet-optimized DeepLabv3+ freshwater fish body semantic segmentation[J]. Chinese Journal of Agricultural Machinery, 2021, 42(2):158-163. ] DOI: 10.13733/j.jcam.issn.2095-5553.2021.02.024

DOI

[29]
Lebedev M A, Vizilter Y V, Vygolov OV, et al. Change detection in remote sensing images using conditional adversarial networks[J]. Remote Sensing and Spatial Information Sciences, 2018:565-571. DOI: 10.5194/isprs-archives-XLII-2-565-2018

DOI

[30]
袁洲, 郭海涛, 卢俊, 等. 融合UNet++网络和注意力机制的高分辨率遥感影像变化检测算法[J]. 测绘科学技术学报, 2021, 38(2):155-159.

[ Yuan Z, Guo H T, Lu J, et al. A change detection algorithm for high resolution remote sensing image integrating UNet++ network and attention mechanism[J]. Journal of Surveying and Mapping Science and Technology, 2021, 38(2):155-159. ] DOI: 10.3969/j.issn.1673-6338.2021.02.008

DOI

Options
文章导航

/

〈 〉