EN中文

地球信息科学学报 >

2023 , Vol. 25 >Issue 12: 2487 - 2500

DOI: https://doi.org/10.12082/dqxxkx.2023.230432

遥感科学与应用技术

用于遥感影像建筑物变化检测的多尺度交叉对偶注意力网络

  • 张建兵 , 1, 2, * ,
  • 严泽枭 1, 2 ,
  • 马淑芳 1, 2
展开
  • 1.中国石油大学(北京) 信息科学与工程学院，北京 102249
  • 2.中国石油大学（北京）石油数据挖掘北京市重点实验室，北京 102249

张建兵（1974— ），男，湖北洪湖人，博士，讲师，硕士生导师，主要研究方向为网格GIS、分布式计算、数字地球、空间无线信息搜索引擎、深度学习。E-mail:

收稿日期: 2023-07-28

  修回日期: 2023-10-06

  网络出版日期: 2023-12-05

基金资助

国家自然科学基金项目(61972414)

国家重点研发计划项目(2016YFC0303707)

收起

Multi-scale Cross Dual Attention Network for Building Change Detection in Remote Sensing Images

  • ZHANG Jianbing , 1, 2, * ,
  • YAN Zexiao 1, 2 ,
  • MA Shufang 1, 2
Expand
  • 1. College of Information Science and Engineering, China University of Petroleum, Beijing 102249, China
  • 2. Beijing Key Laboratory of Petroleum Data Mining, China University of Petroleum, Beijing 102249, China
*ZHANG Jianbing, E-mail:

Received date: 2023-07-28

  Revised date: 2023-10-06

  Online published: 2023-12-05

Supported by

National Natural Science Foundation of China(61972414)

National Key Research and Development Program of China(2016YFC0303707)

Fold

摘要

本文提出了一种用于遥感影像变化检测的多尺度交叉对偶注意力网络MSCDAN（Multi-Scale Cross Dual Attention Network），该神经网络模型利用改进的ResNet18网络提取原始遥感影像中的多尺度低级特征，并通过结合交叉注意力和对偶注意力2种注意力机制的CDA（Cross Dual Attention）模块提取注意力特征信息。CDA模块可以加强输入数据中不同视角或特征图之间的关联、融合时空信息、捕捉地表变化的时间序列特征、识别周期性变化和持续性变化等时序相关的变化模式。MSCDAN模型通过全转置卷积上采样模块FTCUM（Fully Transposed Convolution Upsampling Module）对特征图中的每个点进行局部的特征融合，由神经网络判别变化边界，避免了像双线性插值等传统方法带来的模糊和锯齿等问题，且实现了端到端的训练和优化，从而能够更好地适应遥感影像变化检测任务需求。相较于现有主流方法DTCDSCN（Dual-Task Constrained Deep Siamese Convolutional Network），本文提出的方法在DSIFN数据集上的准确度提高了5.13%，在WHU-CD数据集上的准确度提高了1.3%。同时，本文方法在这两个数据集上的表现也优于现有方法ChangeNet以及LamboiseNet，在CDD数据集上的表现优于改进DeepLabv3+和SRCD-Net。这些结果表明本文方法在不同数据集上均具有良好的性能，对进一步研究遥感影像变化检测具有重要参考价值。

关键词： 遥感影像; 深度学习; 变化检测; 残差卷积; 多尺度特征; 交叉注意力; 对偶注意力; 全转置卷积上采样

本文引用格式

张建兵 , 严泽枭 , 马淑芳 . 用于遥感影像建筑物变化检测的多尺度交叉对偶注意力网络[J]. 地球信息科学学报, 2023 , 25(12) : 2487 -2500 . DOI: 10.12082/dqxxkx.2023.230432

Abstract

Remote sensing image change detection is a crucial technique that utilizes remote sensing technology to analyze and compare image data captured at different time periods or scenes. In practice, features at varying scales encompass diverse representation ranges, enabling the extraction of more comprehensive and detailed information. This paper proposes a Multi-Scale Cross Dual Attention Network (MSCDAN) method for building change detection in remote sensing images using the multi-scale Cross Dual Attention (CDA) mechanism and residual convolution neural network architecture. The proposed method leverages the characteristics of a residual network to extract change features of different dimensions from remote sensing images. For each feature dimension, a CDA module is created, which utilizes both cross attention and dual attention mechanisms. It combines spatiotemporal information to capture time-series features of surface changes and identifies time-series related change patterns, such as periodic and persistent changes. In this way, the multi-scale CDA module enhances the correlation between different perspectives or feature maps within the input data, which facilitates the exchange and fusion of information in multiple dimensions and enhances the model capability for complex change scenes, leading to improved change detection performance. A Fully Transposed Convolutional Upsampling Module (FTCUM) is introduced to perform local feature fusion for each point in the feature map, and the change boundary is identified by the neural network. This avoids the problems of blurring and jaggedness brought by traditional methods like bilinear interpolation and allows for end-to-end training and optimization, making the method more effective in meeting the requirements of change detection tasks. Extensive experiments are conducted on two benchmark datasets, namely WHU-CD and DSIFN, to evaluate the performance of the proposed method. Compared to the mainstream method, i.e., DTCDSCN (Dual-Task Constrained Deep Siamese Convolutional Network), our proposed method increases the accuracy by 5.13% on the DSIFN dataset and by 1.3% on the WHU-CD dataset. Additionally, for other exiting methods, the proposed method is also better than the ChangeNet and LamboiseNet on the three datasets and outperforms the improved DeepLabv3+ and SRCD-Net on the CDD Dataset. These exceptional findings across various datasets confirm the effectiveness of the proposed method in detecting changes in remote sensing images. Through the application of residual networks and attention mechanisms, our approach achieves superior results in intricate scenarios. This study shows that our proposed method performs remarkably well on various datasets. It serves as a reference for further comprehensive research on remote sensing image change detection using multi-scale cross-pairwise attention networks.

Key words： remote sensing; deep learning; change detection; residual convolution; multi-scale feature; cross-attention; dual attention; fully transposed convolution upsampling

1 引言

遥感影像变化检测是指利用遥感技术和图像处理方法，对同一地区在不同时间获取的遥感影像进行比较和分析，以识别和量化地表或地物在不同时间段内的变化情况。这些变化包括建筑物的新增或拆除、道路的变化、土地覆盖的变化等[1-2]。
常见的遥感影像变化检测方法主要分为像素级别[3]和对象级别[4] 2种。像素级别的方法通过比较不同时间点的遥感影像像素的灰度、光谱信息或其他特征，来检测是否发生变化。常见的方法包括灰度差异法、差异图法、阈值分割法等。而在对象级别的变化检测中，通过将遥感影像分割成不同的地物对象，然后比较和分析这些对象在不同时间点的特征差异，来检测变化。常见的方法包括基于目标提取和匹配的方法、基于时空数据的聚类方法等。虽然这些方法在提取变化信息、量化变化程度和分析变化趋势等方面提供了有力的支撑，但是复杂应用场景对变化检测的精度要求较高，这些方法的检测效果会受到一定限制。
目前，许多研究致力于通过融合不同波段和分辨率的遥感影像，以实现对地表变化信息更全面、准确的获取。近年来人工智能的不断发展推动了遥感影像变化检测的技术进步。Chen等[5]将Transformer Encoder + Decoder结构应用于遥感影像变化检测中，通过对图像特征进行扁平化处理，有效地利用了像素之间的长距离依赖关系和全局语义信息。Lv等[6]结合空间光谱注意力机制和多尺度膨胀卷积模块，设计了一个新的神经网络模型，从而进一步提高了遥感影像变化检测的精度。Liu 等[7]提出了一个超分辨率变化检测网络与堆叠注意力模块，通过对抗学习直接学习超分辨率图像，克服了双时图像之间的分辨率差异。这些方法分别从像素间位置关系、空间光谱信息、超分辨率等方面优化了遥感影像变化检测的准确性和适用范围。
然而，现有的遥感影像变化检测方法在面对复杂应用场景时仍面临一些挑战，当遥感影像变化发生在大尺度范围内时，现有的变化检测方法会忽略一些细节信息，导致检测结果不准确，而当变化发生在小尺度范围内时，这些方法又会受到遥感影像噪声和伪变化的影响，使得结果产生偏差。本文通过引入多尺度注意力网络结构，使神经网络模型能在不同感受野下感知变化信息，检测不同尺度的变化范围。同时针对传统上采样过程中使用数值插值导致的边界锯齿和模糊问题，本文还研究了以神经网络的方式实现上采样，以局部特征和网络权重的融合计算边界，分步分级的完成上采样操作。综上所述，本文的贡献如下：
（1）使用多尺度机制捕获多个粒度的变化信息，更有效的利用各个尺度的信息，提升模型的性能和鲁棒性。
（2）设计交叉对偶注意力模块，融合时域与空间信息，加强神经网络对于时序变化的理解，以达到提高神经网络准确度的目的。
（3）设计全转置卷积上采样模块，在上采样过程中融合周边像素，更准确的识别边界信息，解决边界不平整、模糊问题。

2 相关研究

2.1 传统的遥感影像变化检测方法

遥感影像变化检测一直以来都是国际遥感领域的重要研究课题。早期的研究主要专注于中低分辨率的遥感影像，通过简单的代数操作计算像素间的差异，寻找最优阈值来生成融合差值变化结果图[2]。Johansen等[8]开发了一个基于地理对象的分类系统，并比较了后分类比较法、图像差分法和变换法3种变化检测技术中基于地理对象的输入和每像素输入的变化图。黄维等[9]提出了一种基于PCA的变化向量分析法，通过利用局部最小错误率阈值确定的方式，提取遥感影像的变化信息。
此外，随着变化检测的不断兴起，机器学习方法逐渐被引入到变化检测领域，克服了早期仅利用简单像素运算的局限性，从而降低了错误误差的发生。通过采用更严谨的数学公式，机器学习方法进一步提升了变化检测的精度。Wu等[10]提出了一种融合不同分辨率的反向传播神经网络方法，克服了像素内的端元组合在低空间分辨率图像中被忽略的问题以及土地覆盖图中的信息处理不显著问题。黄晓君等[11]采用分类与回归树算法构建决策树，实现了对2014年沙地信息的自动提取，该自动识别模式具备沙漠化信息识别能力，不仅能够充分利用丰富的遥感信息，还能够有效地排除多余信息的干扰。

2.2 使用深度学习的遥感影像变化检测方法

使用深度学习的遥感影像变化检测是一种先进的技术，通过结合遥感影像分析和深度学习方法，可以自动检测和分析遥感影像中的变化信息，为遥感影像变化检测带来了新的机遇和挑战。随着遥感技术的发展和深度学习算法的进步，许多研究人员在遥感影像变化检测领域进行了改进，利用卷积神经网络[12]、UNet[13]、全卷积神经网络FCN[14]等网络结构取得了成功。
一类研究方法通过在神经网络模型中引入注意力机制，利用上下文信息，提高遥感影像变化检测的准确性。具体地，Liu等[15]提出了一种用于建筑物变化检测的双重任务约束深度孪生卷积神经网络模型。该模型通过双重任务约束，同时进行了像素级建筑物变化检测任务以及物体级的建筑物提取任务，优化了建筑物变化检测中边缘不完整、不规则的问题，然而一个变化检测网络加加上2个语义分割网络的设计致使总体模型过于臃肿，模型参数量显著增加。刘英等[16]设计了一个耦合注意力机制的UNet++高分辨率遥感影像变化检测网络，该网络能够抑制背景影响，增强编码器对显著特征的学习能力，但是忽略了对细微特征的关注，在样本不均衡时表现效果不佳。赵祥等[17]提出了一种基于改进DeepLabv3+孪生网络的遥感影像变化检测方法，在编码阶段利用共享权值的孪生网络提取特征，在特征融合中使用密集空洞空间金字塔池化模型提高了对不同尺度目标分割的精度，在解码阶段引入基于注意力机制的特征对齐模型提升了模型的鲁棒性，但是在变化范围的边界处理上依然不尽人意。
另一类研究方法通过提取双时相遥感影像的多尺度特征，利用多尺度方式可以使神经网络提取到丰富的特征信息。陈婕等[18]首先采用Canny算法和概率霍夫变换算法提取双时相影像中建筑物的直线边缘特征图作为图像结构特征；然后将双时相影像及其对应的边缘特征图输入到增强边缘信息的FCN中，这样的设计模式能相对优化边界信息，但是工作流程过于复杂，无法实现端到端的训练与优化。高建文等[19]提出了一种用于遥感影像变化检测的端到端局部-全局特征增强的编-解码网络模型，在编码部分提取了深层全局语义特征，在解码部分嵌入了语义增强模块连接解码特征与多尺度局部特征，实现了变化对象的准确定位与分割，在把编-解码器应用到变化检测过程中，需要把来自图片的信息转换成语义序列，语义序列不能完整的表示信息，且先输入的信息容易被稀释。宋文宣等[20]提出了一种可自动学习多层次特征图的改进全卷积网络变化检测方法，该方法可显著降低变化检测虚检率和漏检率，但是特征提取能力不强，对不同数据集没有普遍适用性。代云峰等[21]设计了一种基于改进混合卷积特征提取模块的变化检测模型，该模型结合了多切片思想和并行神经网络结构，融合了不同尺寸的卷积核获取丰富的多尺度特征，然而该方法没有充分利用提取后的高级特征。
注意力机制在特定特征信息提取方面具有显著的能力，尽管在某些情况下可能未能覆盖全部特征信息。同时，多尺度特征提取能够捕获完整的变化信息，但在深度和特征的利用方面尚有待改进。基于这些观察，认为将多尺度架构与注意力机制相结合，能显著增强模型对变化特征的全面提取和综合利用能力。

2.3 残差卷积神经网络

残差卷积神经网络中通常会存在多个残差块或残差分支，并且每个块或分支都有不同的层级和不同抽象程度的特征，通过特征融合的方式可以获取E具备空间结构信息和丰富语义信息的特征表示。Lin等[22]提出了一种自顶向下架构，通过横向连接在各个尺度上构建高级语义特征图。Zhang 等[23]介绍了一种多模态融合网络，用于融合不同模态的特征，以提取具有潜在价值的跨模态特征。Song等[24]提出了一种新的特征提取网络，通过融合不同深度的特征层构建特征金字塔，将全局信息与局部信息相结合，以更好地表达小目标的特征信息。这3种方法在特征连接、提取和融合上使用了残差网络的架构和思想。本文采用ResNet[25]作为神经网络模型的主干网络，ResNet是一种深度卷积神经网络架构，通过引入残差块来解决深度网络训练中的梯度消失和梯度爆炸问题，允许网络在数十甚至上百层时仍然能够训练和优化。每个残差块由两个主要路径组成：主路径和残差路径。残差路径跳过了至少一个卷积层，直接将输入特征传递到后面的层级，然后与主路径的输出相加，这就是“残差”的来源。ResNet的一个关键思想是跳过连接，它允许信息在网络层级之间更快地流动，有助于缓解梯度消失问题，并且梯度能更容易地传播回来，这也使得在训练非常深的网络时变得更加容易。

3 研究方法

3.1 模型总体结构

本文提出了一种多尺度交叉对偶注意力网络（Multi-Scale Cross Dual Attention Network，MSCDAN）用于遥感影像的变化检测，该神经网络模型充分利用了不同尺度下的特征信息，提高了模型对重要特征的关注程度，有效提高遥感影像变化检测效能。边继龙等[26]已将多尺度注意力网络应用于立体匹配研究。本文细化了多尺度注意力网络的分支并将其扩展为交叉对偶结构，灵活的整合时域和空域信息，充分利用时空信息的相互作用，并应用于遥感影像变化检测领域。通过融合不同尺度下的图像特征，模型能够在多尺度层面上预测变化模式，更加全面地理解大尺度范围内的变化情况，同时不会忽略小尺度上的变化细节，从而提高了变化检测的准确性。MSCDAN使用ResNet18神经网络提取双时相遥感影像的低级特征，使用交叉对偶注意力（Cross Dual Attention， CDA）模块中的交叉注意力来建立2个不同时相遥感影像视角之间的关联，通过计算它们之间的相似性和差异性来引导信息的传递。CDA模块通过对偶注意力将一个特征图映射到另一个特征图以捕捉特征图之间的差异，融合时空信息，捕捉地表变化的时间序列特征，更好地识别周期性变化、持续性变化等时序相关的变化模式，得到多尺度的差异特征图。MSCDAN模型使用全转置卷积上采样模块（Fully Transposed Convolution Upsampling Module， FTCUM）重建二分类变化结果图，在上采样过程中逐级连接、跃级拼接，充分利用变化信息，使结果更加清晰。区别于传统变化检测算法中的双线性插值上采样方法，全转置卷积上采样模块能有效的抑制噪声，过滤伪变化，更有效地将特征信息反应到差异图上，准确判别变化与未变化的边界。
MSCDAN模型采用ResNet18作为主干网络，用于提取遥感影像时相1和时相2的多维特征，其结构如图1所示。本文选用ResNet18的第二、三、四阶段的特征作为3个维度的原始特征信息。为了能在高级特征中保留像素之间的相对位置关系，本文引入位置编码器，通过计算正弦和余弦函数的值来表示不同位置的编码，以帮助模型更好地理解时相特征之间的位置关系。将不同时相、同一维度的2个低级特征经过位置编码后送入对应尺度的CDA模块中，获取对应时相的CDA注意力图，与原始特征融合后得到高级特征。特征融合共有3个计算分支，分别表示为 y 1 、 y 2 、 y 3，如下所示：
图1 多尺度交叉对偶注意力网络（MSCDAN）结构示意图

注: Conv为卷积操作，k为卷积核, s为步长，Max Pool为最大池化操作，BN为批次归- - 化操作，ACT为激活函数CDA为交叉对偶注意力模块，FTCUM为全转置卷积上采样模块。

Fig. 1 Schematic of the multi-scale cross dual attention network (MSCDAN) structure

x = x ' + a t t
y 1 = M a x P o o l 2 d x
y 2 = A v g P o o l 2 d x
y 3 = S i g m o d C o n c a t C o n v 1 x + C o n v 2 x  
y = y 1 ∙ w 1 + y 2 ∙ w 2 + y 3 ∙ w 3 + x ∙ w 4
式中： x '是来自ResNet网络的低级特征； a t t为由CDA得到的注意力图； M a x P o o l 2 d表示卷积核为3，步长为1的最大池化操作； A v g P o o l 2 d表示卷积核为3，步长为1的平均池化操作； C o n v 1表示卷积核分别为(1, 3, 3)的三层卷积操作； C o n v 2表示卷积核分别为(1, 3)的两层卷积操作； C o n c a t表示在 通道维度上拼接操作； S i g m o d为激活函数； w 1 、 w 2 、 w 3 、 w 4为融合权重。
影像经过FTCUM后最终获得了3个不同尺度的高级特征，第一个尺度的特征信息更关注信道特征[27-28]，第三个尺度的特征信息更关注空间特征[15]，而第二个尺度的特征信息在信道和空间上追求一个平衡。然后对3个尺度的高级特征信息分别进行残差连接的全转置卷积上采样操作，得到3个差异图，加权拼接后输入到分类器模块中，得到二分类变化图。
在遥感影像变化检测任务中，未发生变化样 本的数量通常大于发生变化的样本，正负样本的 分布并不均衡，由此，本文采用带L2正则化的 F o c a l   L o s s计算损失，通过降低易分类样本权重，是模型更加关注困难样本，提高模型对少数类别的学习能力，Focal Loss损失函数的计算公式为：
l o s s f o c a l = - 1 - p t γ ∙ l o g p t + λ ∙ ∑ p a r a m s p a r a m 2 2      
式中： p a r a m s表示模型的参数权重； p a r a m 2 2表示参数的 L 2范数的平方； γ是损失函数 F o c a l   L o s s的对易分类样本的惩罚系数； λ是 L 2正则化的系数。加入 L 2正则化以限制模型学习速度，抑制模型过拟合，提高模型的泛化能力。

3.2 交叉对偶注意力CDA

借鉴于刘春娟等[29]提出的多尺度互注意力模块思想和Chen等[30]提出的多尺度卷积神经网络思想，本文设计了一个多尺度的交叉对偶注意力模块，用以捕获输入数据中不同视角之间的相似性与差异性，加强特征图之间的关联。针对遥感影像变化检测任务中的双时相特征，传统的对偶注意力分别为每个时相特征在空间维度和信道维度之间建立联系，却没有利用双时相特征之间的交互信息。图2展示了CDA模块的结构，它同时将时相1和时相2的交互特征信息送入神经网络中，分别以时相1和时相2的特征信息为主导，融合另一时相的特征信息，在空间上提取不同时相之间的变化模式，在信道上提取单一时相的语义特征，经过对偶注意力后对信道注意力权重和空间注意力权重进行特征融合。CDA模块以点积注意力的形式计算空间相关的注意力权重和信道相关的注意力权重，并在注意力机制中加入了多头结构，同时提取多层次注意力图，获取更加丰富、细致的高级语义特征。CDA模块分别在信道维度和空间维度上展开特征图，使用时相之间的原始特征相互提取信道注意力权重和空间注意力权重，并叠加到原始特征上，该结构在空间、信道上对偶，在时相上对称。
图2 交叉对偶注意力（CDA）模块结构示意图

Fig. 2 Schematic of Cross Dual Attention (CDA) module structure

给定2个时相的特征信息 f e a t a, f e a t b，形状为 N , D , W , H,其中 N为批次大小， D为对应尺度的大小，每个信息经过线性变换后得到3种特征，分别为查询特征（query）记作 q，键特征（key）记作 k，以及值特征（value）记作 v。计算空间相关的注意力权重的方式是将 f e a t a的特征 q与 f e a t b特征 k的转置相乘，得到形状为 N , W ∙ H , W ∙ H的矩阵 P， P的每个元素 p i , j表示查询位置 i与键位置 j在空间上的关联程度，对 P进行缩放操作以限定注意力的范围，即 P = P d k，其中 d k表示每个注意力头中的隐藏维度。为了获取空间注意力的输出，将矩阵 P与 f e a t b特征 v相乘，得到空间注意力权重 O p，这部分网络关注不同特征中对象的差异性，学习特征间的变化模式。类似地，计算信道相关的注意力权重时，将 f e a t b的特征 k的转置与 f e a t b的特征 q相乘，得到形状为 ( N , D , D )的矩阵 C， C的每个元素 c i , j表示键位置 i与查询位置 j在信道上的关联程度，同样地，对 C进行缩放操作，即 C = C d k。通过 f e a t b的特征 v与标准化的信道注意力权重 C相乘，得到信道注意力 O C的计算结果，这部分网络关注特征图中不同通道的相关性，提高特征的表达能力。最后，为了融合空间注意力输出 O P和信道注意力输出 O C，引入了一组可学习的权重参数。将空间注意力输出和信道注意力输出逐元素相乘，然后通过线性变换和非线性激活函数，得到最终的CDA特征 O，并将 O作为特征融合的输入，得到该尺度上的高级特征。CDA注意力权重的计算公式为：
O p = s o f t m a x q ∙ k T d k ∙ v
O c = v ∙ s o f t m a x k T ∙ q d k
O = W O w p ⊙ O p + w c ⊙ O c
式中： q、 k、 v表示通过线性变换的查询特征（query）、键特征（key）、值特征（value）； d k为注意力头数量； s o f t m a x是归一化函数； w p、 w c分别为空间相关注意力权重和信道相关注意力权重参数； ⊙为矩阵的逐元素乘法。

3.3 全转置卷积上采样模块FTCUM

FTCUM采用了转置卷积块的结构，由多个DeConvBlock组成，其结构如图3所示。FTCUM通过逐层的操作将低分辨率的特征图上采样为与输入图像同分辨率的特征图。相比传统的通过重复像素值或插值的方式得到新像素的插值方法，FTCUM模块考虑了周边像素间的相互作用，对特征图中的每个点进行局部的特征融合，以揭示局部特征之间的细微联系，避免锯齿和模糊问题。FTCUM模块在上采样过程中逐层递进，跃级连接，提高特征信息传递效率的同时，通过反向传播来更新上采样模块的权重，自适应地进行上采样操作。这种可训练性使得FTCUM模块能够根据具体任务和数据进行优化，提高模型在变化检测任务上的性能。
图3 全转置卷积上采样模块（FTCUM）结构示意图

注: BN表示批次归一化操作，TC表示转置卷积操作，ACT表示激活函数，US表示上采样，inplanes表示输入通道, outplanes表示输出通道，stride表示步长。

Fig. 3 Schematic of Fully Transposed Convolution Upsampling Module (FTCUM) structure

在DeConvBlock块中，形状为 N , D , W , H的输入张量 X经过一次转置卷积后完成语义信息到像素特征的细化，得到形状为 N ,   D 2 ,   W ,   H的输出张量 X 1，再经过一次转置卷积后完成一次上采样操作，得到形状为 N ,   D 2 ,   2 ∙ W ,   2 ∙ H的输出张量 X 2， X与 X 2连接后得到单个DeConvBlock块的输出 X 3。 经过多个DeConvBlock块后，FTCUM最终得到 N , 64 , W o r i , H o r i的输出张量Y，其中 W o r i和 H o r i为原始影像的尺寸。这种在上采样过程中插入卷积操作的方式既能避免快速上采样产生的模糊问题，也能在上采样过程中充分考虑局部范围内的特征信息。

4 实验及结果分析

4.1 实验设计

为测试本文所提方法的性能，采用具有不同特征和场景的遥感图像数据集：LEVIR-CD[31]、WHU-CD[32]、DSIFN[33]以及CDD[34]，分别在这4个数据集上进行一系列的实验。
LEVIR-CD数据集在2020年被提出，主要用于大型遥感影像的变化检测，该数据集由637张大小为1 024像素×1 024像素的影像对组成，涵盖了各种类型的建筑，如高层公寓、别墅住宅和大小型车库等。其中双时相影像来自美国得克萨斯州几个城市的20个不同区域，图像数据的拍摄时间从2002—2018年不等。随机选取445张图片作训练集，64张图片作验证集，128张图片作测试集。该数据集在变化检任务上表现为变化对象较多，也比较集中，但单个变化对象的变化区域一般较小，即变化大多发生在小尺度范围上。
WHU-CD数据集由2012年4月获得的航空影像组成，包含20.5 km内的12 796座建筑物，在2016年，该数据集扩充到16 077座建筑物。裁剪后共有504张大小为1 024像素×像素1 024的图像对，按照4:1的比例，选取其中280张图片作训练集，70张图片作验证集，剩余154张图片作测试集。该数据集在裁剪后单张图片上平均包含3到4个变化对象，且变化发生在中等尺度变化范围上。
DSIFN是一个通用的变化检测数据集，由谷歌地球收集，该数据集包括中国6个城市（北京、成都、深圳、重庆、武汉、西安）的大型双时相高分辨率图像对。其中，除西安之外的5个图像对被裁剪成394个大小为512像素×512像素的子图像对。选取其中360个图像对用作训练集，其余34个图像对作验证集，将来自西安的遥感影像裁剪为48个大小为512像素×512像素的图像对，用作测试集。该数据集的平均变化发生在大尺度范围上，单张图片通常只包含1个变化对象。
CDD遥感影像变化检测数据集是一个开源数据集，它包含了11个图像分辨率为3~100 cm的原始图像对，其中7对是季节变化图像，4对是灾害变化图像，覆盖不同的地理区域和景观类型，每个图像对都包含了复杂的变化场景，如云层、阴影、光照、旋转等。
为提升模型对不同遥感影像的泛化能力，本文预先对训练集和验证集中的图片做预处理，具体流程如下：
（1）随机定义图片左上角坐标，裁剪图片大小为256像素×256像素。
（2）随机水平或者垂直翻转图片。
（3）以0.2的概率将像素转变为灰度像素。
（4）亮度在[-0.2, 0.2]范围内随机变化以调整图片明暗度。
（5）对比度在[1-0.2,1+0.2]范围内随机变化。
（6）饱和度在[1-0.2,1+0.2]范围内随机变化以增加或减少色彩强度。
（7）色调调整的范围为[-0.1, 0.1]，可通过随机调整像素的色调值来改变图像的颜色。
为了评估方法的整体性能，本文在LEVIR-CD、WHU-CD和DSIFN 3个数据集上进行了对比实验，并与ChangeNet[35]、LamboiseNet[36]、DTCTSCN[15]模型进行了比较。
如表1所示，呈现了ChangeNet、LamboiseNet、DTCTSCN模型以及本文所提MSCDAN模型在LEVIR-CD、WHU-CD和DSIFN 3个数据集上的最佳推理表现。采用精确率（Precision）计算模型预测成功的正样本占所有预测正样本的比率。采用召回率（Recall）衡量模型对正类样本的查全率。采用准确率（Accuracy）预测成功的样本占总样本的比率，它们的计算公式为
表1 不同方法在LEVIR-CD、WHU-CD和DSIFN数据集上的精确率（Pre.）、召回率（Rec.）、IoU、 F 1分数与准确率（OA）对比

Tab. 1 Comparison of Pre., Rec., IoU, F 1 score and OA of different methods on LEVIR-CD, WHU-CD and DSIFN dataset (%)

模型 LEVIR-CD WHU-CD DSIFN
Pre. Rec. IoU F1 OA Pre. Rec. IoU F1 OA Pre. Rec. IoU F1 OA
ChangeNet 69.81 50.15 68.71 78.30 96.62 81.60 58.66 72.15 83.45 97.51 78.16 85.69 71.45 81.75 86.20
LamboiseNet 80.51 94.14 77.37 85.66 97.12 65.24 83.22 60.68 69.99 93.54 77.54 78.35 64.32 77.83 79.93
DTCDSCN 88.53 86.83 78.05 87.67 98.77 63.92 82.30 56.19 71.95 97.42 53.87 77.99 46.76 63.72 84.91
MSCDAN 89.68 84.49 86.17 89.30 98.81 88.82 81.41 77.52 84.95 98.69 85.61 84.37 78.66 84.99 89.27
P r e c i s i o n = T P T P + F P
R e c a l l = T P T P + F N
A c c u r a c y = T P + T N T P + T N + F P + F N
式中：TP表示模型正确预测为变化的样本数量；FP表示模型错误的将未变化样本预测为变化样本的数量；TN表示模型正确预测为未发生变化的样本数量；FN表示模型错误的将变化样本预测为未变化样本的数量。
为了衡量分类模型在处理不平衡样本上的性能，本文采用 F 1指标验证模型对于错误分类和漏报问题的解决情况。 F 1值是精确率和召回率的调和平均值：
F 1 = 2 × P r e c i s i o n × R e c a l l P r e c i s i o n + R e c a l l
变化检测任务中，IoU指标可以衡量预测变化区域与真实变化区域的重叠程度，帮助了解模型不同尺度下的性能。IoU的表达式为
I o U = y p r e d ⋂ y t r u e y p r e d ⋃ y t r u e
式中： y p r e d表示模型预测的所有变化样本； y t r u e表示真实的变化样本。
结果显示，在LEVIR-CD数据集上，MSCDAN模型在精确率、IoU值、 F 1分数和准确率指标上的表现均优于其他方法。LamboiseNet模型在召回率上表现最佳，达到了94.14%，但其他指标相对较低。而ChangeNet模型的各项指标表现较差，DTCDSCN模型的各项指标表现效果也一般。
在WHU-CD数据集上，MSCDAN模型在各项指标上表现较好，精确率达到88.82%，召回率达到81.41%，IoU值数达到77.52%，F1分数达到84.95%，准确率达到了98.69%。然而，与LamboiseNet模型相比，MSCDAN模型的召回率稍低。ChangeNet模型和DTCDSCN模型在各项指标上的表现都较一般。
在DSIFN数据集上，MSCDAN模型在精确率、IoU值、F1分数和准确率方面表现最佳，分别达到了85.61%、78.66%、84.99%和89.27%。相比之下，ChangeNet模型在召回率上表现最佳，达到了85.69%，但在其他指标上稍逊一筹。LamboiseNet和DTCDSCN模型在各项指标上的表现效果一般。
实验表明DTCDSCN模型在3个数据集上都有不俗的表现，说明其对不同来源的数据集都具有较好的适用性，但它的表现均弱于本文提出的MSCDAN模型。MSCDAN模型在3个数据集上的综合评估指标（IOU、F1、OA）上均高于其他模型，表明该模型在检测小、中、大3种尺度上的变化范围的能力都强于其他模型，并且具有更加广泛的实用性，当变化发生在不同尺度范围时，MSCDAN的多尺度CDA结构能有效捕获跨尺度的变化信息，提取到更加丰富的特征表示，并且MSCDAN具有自顶向下的架构，即模型特征信息从高维语义信息逐渐向下传播，使得底层特征可以包含更多的空间结构特征，引导预测结果向输入数据的普适特性流动。因此尽管3个数据集在分辨率、光谱特性和地理环境等方面存在差异，MSCDAN模型都能适应数据集的特定特征，从而在不同的数据集上都能够表现优异。相较于自身，LamboiseNet在LEVIR-CD上表现最好，说明其更擅长检测小尺度上的变化；与之相反，ChangeNet则更擅长检测大尺度的变化范围。本文提出的MSCDAN方法在3个数据集上的综合表现最佳，但都没有在召回率一项上取得最高分，说明MSCDAN模型尚不能完全检出所有变化样本。实验结果表明了MSCDAN模型在遥感变化检测中的创新和应用价值，其多尺度CDA结构、FTCUM结构等有效提高了模型的性能，体现了该模型在变化检测领域的前景，为进一步的研究和应用提供了有力的支持。
同时，为了验证MSCDAN方法的适用性，本文还在数据集CDD（Change Detection Dataset）上做了实验并与改进Deep Labv3+孪生网络[17]和SRCD-Net[7]进行对比，CDD数据集中包含7对季节变化图像以及4对灾害变化图像，同时也不局限与建筑物变化，可以有效验证变化检测模型的适用性和泛化能力。表2为不同方法在CDD验证集上的表现，本文方法在精确率、召回率、IoU、 F 1分数和总体准确率上达到了93.7%、89.5%、88.7%、95.1%和97.9%，相较于DeepLabv3+孪生网络，精确率提高了7.3%，召回率提高了2.8%， F 1分数提高了5.4%，总体准确率提高了1.5%；相较于SRCD-Net，精确率提高了1.2%，IoU分数提高了2.1%， F 1分数提高了0.25%。
表2 不同方法在CDD数据集上的精确率（Pre.）、召回率（Rec.）、IoU、 F 1分数与准确率（OA）对比

Tab. 2 Comparison of Pre., Rec., IoU, F 1 score and OA of different methods on CDD dataset (%)

模型 Pre. Rec. IoU F1 OA
改进Deep Labv3+ 87.30 90.20 — 88.40 96.40
SRCD-Net 92.55 93.34 86.81 92.94 —
MSCDAN 93.68 92.80 88.74 93.18 97.92

4.2 性能分析

图4展示了MSCDAN模型在LEVIR-CD、WHU-CD和DSIFN 3个数据集上训练过程中各性能指标随epoch变化的情况。这些性能指标包括精确率、召回率、IoU值、 F 1分数、准确率和损失值。图4(a)—图4(f)分别对应着这些指标的变化趋势。其中，标记为上三角形的曲线代表该模型在LEVIR-CD数据集上的变化，标记菱形的曲线代表在WHU-CD数据集上的变化，标记为正方形的曲线代表在DSIFN数据集上的变化。
图4 MSCDAN在不同数据验证集上的训练过程

Fig. 4 Training process of MSCDAN on different data validation sets

从图4可看出，经训练后，模型最终达到了一个相对平稳的收敛状态。同时，快速的收敛速度也加快了实验进展。并且模型在LEVIR-CD数据集上表现最优，在WHU-CD数据集上表现也相对突出，而在DSIFN数据集上的表现性能稍逊一些。LEVIR-CD数据集的变化样本分布在数量较多的小范围对象中，而DSIFN数据集的变化样本往往是1个或2个大面积的变化对象。
实验表明本文提出的MSCDAN模型在检测大尺度变化上的性能弱于检测小尺度变化上的性能。这是由于MSCDAN模型的感受野依然不够大，无法辨别长距离的像素关系，同时，较深的神经网络也使得模型更加关注细粒度的特征，将更大范围变化转化为模型可以理解的3种尺度变化的叠加，而忽略了其自身变化模式。

4.3 消融实验

为验证多尺度CDA和FTCUM的有效性，本文设计了2个对比实验。分别比较了包含三层尺度的CDA网络结构和包含单尺度CDA的网络结构之间的性能以及双线性插值上采样方法和全转置卷积上采样模块FTCUM的效果。
图5验证了多尺度CDA模块的有效性，多尺度CDA可以兼顾不同尺度的变化范围，针对不同尺度的变化细节采用不同尺度的感受野。可以看出，相对于单尺度的CDA模块，多尺度的CDA模块明显提升了模型的整体性能，将模型在 F 1分数上的收敛值从91.3%提高到了93.2%。
图5 多尺度CDA和单尺度CDA在 F 1分数上的对比

Fig. 6 Multi-scale CDA versus single-scale CDA in F 1 scores

图6表明了在使用FTCUM后，模型在保持召回率不下降的同时，提高了模型的精确率。这是因为FTCUM模块在将卷积、池化等下采样操作后的高维特征重建到原始图片大小的过程中，保留并利用了更多的细节信息，使得变化像素与未变化像素之间的边界区分更加准确，减小了误报的可能性，且该过程不会对负类样本的区分造成干扰。
图6 FTCUM与双线性插值方法在精确率上的对比

Fig. 6 Comparative experiment between FTCUM and Bilinear interpolation methods

4.4 模型效果讨论

评价指标分数只能通过数据来反映模型训练过程中的遥感影像变化检测效果，无法直观地对比变化检测的效果。遥感影像变化检测的直观效果如图7所示。图7展示了4种模型在LEVIR-CD数据集、WHU-CD数据集和DSIFN数据集上的遥感影像变化检测可视化结果。
图7 MSCDAN模型等其他方法在LEVIR-CD、WHU-CD和DSIFN数据集上的遥感影像变化检测结果可视化效果

Fig 7 Visualization of MSCDAN and other methods in remote sensing image change detection results on LEVIR-CD dataset, WHU-CD dataset and DSIFN dataset

从真实地面标签中可以发现，LEVIR-CD数据集的变化范围更小，变化对象的数量更多，WHU-CD上的变化范围稍大，变化对象的数量有所减少，而DSIFN数据集上则为大面积变化。从图7中可见，MSCDAN模型在3个数据集上展现出了更加丰富和清晰的变化检测纹理和边缘细节，在小粒度、中等粒度和大粒度上都能有良好的表现，更加真实地反映遥感影像变化检测效果。这是由于MSCDAN模型的多尺度CDA模块增强了不同时相之间的关联性与差异性，关注更多层面上的粒度特征，捕捉到更细微的变化模式和特征，提高了变化检测精度；MSCDAN的多尺度特性也使得它能在不同的特征级别上根据实际的变化细节动态进行模型权重分配，减少了漏判的情况；此外，模型的FTCUM模块能够有效降低遥感影像中的噪声和伪变化，减少了误判和漏判的情况，进一步提升了变化检测的可靠性。在结果上ChangeNet模型在WHU-CD和DSIFN 2个数据集上的表现效果相对较好，但在LEVIR-CD数据集上的效果略显逊色。LamboiseNet模型在3个数据集上的表现相近，表明该模型具有一定的泛化能力，并且具有较高的性能表现。DTCDSCN模型在LEVIR-CD数据集上的表现较好，但在另外2个数据集上的表现效果较差。而本文提出的MSCDAN模型对真实的变化样本和未变化样本的检出率更高，能全面且准确地检测出正变化样本。

5 结语

针对遥感影像变化检测中提取复杂场景下不同维度广泛、详细的特征信息等问题，本文提出了一种多尺度交叉对偶注意力的卷积神经网络模型及其相应的技术方法。该模型以多头点积注意力机制为基础，交叉提取时相1和时相2的空间关联信息和信道关联信息，使用CDA模块并时相1和时相2的原始特征与这两类信息连接，进行加权特征融合，得到一个关于时相1和时相2之间差异的特征差异图，以此来加强输入数据中不同视角或特征图之间的关联。本文同时设计了一个全转置卷积上采样模块，利用转置卷积将高维特征回归到低维变化检测差异图上，提升模型的精度和泛化能力。本文MSCDAN模型在特征提取、特征融合、结果重建等一系列操作上均采用神经网络搭建，实现端对端的训练和优化，并且模型整体参数量少于其他主流方法，训练更加快速，硬件要求更低。本文提出的方法虽然在不同尺度上都优于其他现有方法，却依然没有解决像素间的长距离依赖关系，在处理大尺度变化对象的过程中，会将大尺度的变化对象分割成可理解的不同尺度变化对象并处理，而无法捕捉大尺度变化的特性，因此在大尺度变化上的检测效果弱于小尺度上的变化效果，本文方法在大尺度变化数据集DSIFN上的准确度为89.27%，小于其在小尺度变化数据集的准确度98.81%和中尺度变化数据集的准确率98.69%，也证实了这一观点。且本文提出的方法依赖于单一分辨率的遥感影像数据，但随着多种数据源的可用性增加，下一步将探索如何将不同数据源的信息融合到变化检测中，从而扩展遥感影像变化检测的数据来源范围。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
张良培, 武辰. 多时相遥感影像变化检测的现状与展望[J]. 测绘学报, 2017, 46(10):1447-1459.

DOI

[ Zhang L P, Wu C. Advance and future development of change detection for multi-temporal remote sensing imagery[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10):1447-1459. ] DOI:10.11947/j.AGCS.2017.20170340

[2]
张钰屏, 刘籽琳, 陈天其. 遥感影像变化检测研究进展[J]. 电脑与信息技术, 2023, 31(2):15-18.

[ Zhang Y P, Liu Z L, Chen T Q. Research progress in remote sensing image change detection[J]. Computer and Information Technology, 2023, 31(2):15-18. ] DOI:10.3969/j.issn.1005-1228.2023.02.005

[3]
杨洋, 李轶鲲, 杨树文, 等. 基于空间模糊C均值聚类和贝叶斯网络的高分一号遥感影像变化检测[J]. 测绘与空间地理信息, 2023, 46(4):34-37,42.

[ Yang Y, Li Y K, Yang S W, et al. Change detection of GF-1 remote sensing image based on spatial fuzzy C-means clustering and bayesian network[J]. Geomatics & Spatial Information Technology, 2023, 46(4):34-37,42. ] DOI:10.3969/j.issn.1672-5867.2023.04.010

[4]
Zhang L, Hu X Y, Zhang M, et al. Object-level change detection with a dual correlation attention-guided detector[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 177:147-160. DOI:10.1016/j.isprsjprs.2021.05.002

[5]
Chen H, Qi Z P, Shi Z W. Remote sensing image change detection with transformers[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60:1-14. DOI:10.1109/TGRS.2021.3095166

[6]
Lv Z Y, Wang F J, Cui G Q, et al. Spatial-spectral attention network guided with change magnitude image for land cover change detection using remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60:1-12. DOI:10.1109/TGRS.2022.3197901

[7]
Liu M X, Shi Q, Marinoni A, et al. Super-resolution-based change detection network with stacked attention module for images with different resolutions[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60:1-18. DOI:10.1109/TGRS.2021.3091758

[8]
Johansen K, Arroyo L A, Phinn S, et al. Comparison of geo-object based and pixel-based change detection of riparian environments using high spatial resolution multi-spectral imagery[J]. Photogrammetric Engineering & Remote Sensing, 2010, 76(2):123-136. DOI:10.14358/pers.76.2.123

[9]
黄维, 黄进良, 王立辉, 等. 基于PCA的变化向量分析法遥感影像变化检测[J]. 国土资源遥感, 2016, 28(1):22-27.

[ Huang W, Huang J L, Wang L H, et al. Remote sensing image change detection based on change vector analysis of PCA component[J]. Remote Sensing for Land & Resources, 2016, 28(1):22-27. ] DOI:10.6046/gtzyyg.2016.01.04

[10]
Wu K, Du Q, Wang Y, et al. Supervised sub-pixel mapping for change detection from remotely sensed images with different resolutions[J]. Remote Sensing, 2017, 9(3):284. DOI:10.3390/rs9030284

[11]
黄晓君, 颉耀文, 卫娇娇, 等. 基于变化检测-CART决策树模式自动识别沙漠化信息[J]. 灾害学, 2017, 32(1):36-42.

[ Huang X J, Xie Y W, Wei J J, et al. Automatic recognition of desertification information based on the pattern of change detection-CART decision tree[J]. Journal of Catastrophology, 2017, 32(1):36-42. ] DOI:10.3969/j.issn.1000-811X.2017.01.008

[12]
田青林, 秦凯, 陈俊, 等. 基于注意力金字塔网络的航空影像建筑物变化检测[J]. 光学学报, 2020, 40(21):2110002.

[ Tian Q L, Qin K, Chen J, et al. Building change detection for aerial images based on attention pyramid network[J]. Acta Optica Sinica, 2020, 40(21):2110002. ] DOI:10.3788/AOS202040.2110002

[13]
Huang J H, Fu Q, Wang X, et al. Remote sensing building change detection based on improved U-Net[C]// 2022 3rd International Conference on Big Data, Artificial Intelligence and Internet of Things Engineering (ICBAIE). IEEE, 2022:772-775. DOI:10.1109/ICBAIE56435.2022.9985853

[14]
Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2015:3431-3440. DOI:10.1109/TPAMI.2016.2572683

[15]
Liu Y, Pang C, Zhan Z Q, et al. Building change detection for remote sensing images using a dual-task constrained deep siamese convolutional network model[J]. IEEE Geoscience and Remote Sensing Letters, 2021. DOI:10.1109/LGRS.2020.2988032

[16]
刘英, 何雪, 李单阳, 等. 注意力引导全尺度连接网络的高分辨率影像变化检测[J]. 遥感学报, 2022.

[ Liu Y, He X, Li D Y, et al. CBAM UNet+++: Attention mechanism to guide change detection study of full-scale connected networks[J]. National Remote Sensing Bulletin, 2022. ] DOI:10.11834/jrs.20221548

[17]
赵祥, 王涛, 张艳, 等. 基于改进DeepLabv3+孪生网络的遥感影像变化检测方法[J]. 地球信息科学学报, 2022, 24(8):1604-1616.

DOI

[ Zhao X, Wang T, Zhang Y, et al. Remote sensing image change detection based on improved DeepLabv3+ siamese network[J]. Journal of Geo-information Science, 2022, 24(8):1604-1616. ] DOI:10.12082/dqxxkx.2022.220029

[18]
陈婕, 刘纪平, 徐胜华. 增强边缘信息的全卷积神经网络遥感影像建筑物变化检测[J]. 测绘通报, 2023(6):61-67.

DOI

[ Chen J, Liu J P, Xu S H. Building change detection in remote sensing images with fully convolutional neural network enhanced edge information[J]. Bulletin of Surveying and Mapping, 2023(6):61-67. ] DOI:10.16383/j.aas.c180122

[19]
高建文, 管海燕, 彭代锋, 等. 基于局部-全局语义特征增强的遥感影像变化检测网络模型[J]. 地球信息科学学报, 2023, 25(3):625-637.

DOI

[ Gao J W, Guan H Y, Peng D F, et al. Local-global semantic feature enhancement model for remote sensing imagery change detection[J]. Journal of Geo-information Science, 2023, 25(3):625-637. ] DOI:10.12082/dqxxkx.2023.220809

[20]
宋文宣, 彭代锋. 一种改进全卷积网络的遥感影像变化检测[J]. 遥感信息, 2022, 37(6):130-136.

[ Song W X, Peng D F. An improved fully convolutional network for remote sensing imagery change detection[J]. Remote Sensing Information, 2022, 37(6):130-136. ] DOI:10.3969/j.issn.1000-3177.2022.06.019

[21]
代云锋, 刘丽娜. 结合改进混合卷积模型的遥感影像变化检测[J]. 遥感信息, 2022, 37(6):53-59.

[ Dai Y F, Liu L N. Change detection in remote sensing image based on deep convolutional neural network with improved hybrid convolution[J]. Remote Sensing Information, 2022, 37(6):53-59. ] DOI:10.3969/j.issn.1000-3177.2022.06.009

[22]
Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017:936-944. DOI:10.1109/CVPR.2017.106

[23]
Zhang G T, Yan H, Yu Z L. Adaptive group fusion module for improving feature fusion of multi-modality lumbar spine MRI[C]// 2021 3rd International Academic Exchange Conference on Science and Technology Innovation (IAECST). IEEE, 2022:373-377. DOI:10.1109/IAECST54258.2021.9695606

[24]
Song Z Y, Zhang Y, Liu Y, et al. MSFYOLO: Feature fusion-based detection for small objects[J]. IEEE Latin America Transactions, 2022, 20(5):823-830. DOI:10.1109/TLA.2022.9693567

[25]
He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016:770-778. DOI:10.1109/CVPR.2016.90

[26]
边继龙, 王厚博, 李金凤. 基于多尺度注意力网络的立体匹配方法[J]. 北京邮电大学学报, 2021, 44(3):27-34.

DOI

[ Bian J L, Wang H B, Li J F. Stereo matching method based on multiscale attention network[J]. Journal of Beijing University of Posts and Telecommunications, 2021, 44(3):27-34. ] DOI:10.13190/j.jbupt.2020-204

[27]
Jiang H W, Hu X Y, Li K, et al. PGA-SiamNet: Pyramid feature-based attention-guided Siamese network for remote sensing orthoimagery building change detection[J]. Remote Sensing, 2020, 12(3):484. DOI:10.3390/rs12030484

[28]
Peng X L, Zhong R F, Li Z, et al. Optical remote sensing image change detection based on attention mechanism and image difference[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(9):7296-7307. DOI:10.1109/TGRS.2020.3033009

[29]
刘春娟, 乔泽, 闫浩文, 等. 基于多尺度互注意力的遥感图像语义分割网络[J]. 浙江大学学报(工学版), 2023, 57(7):1335-1344.

[ Liu C J, Qiao Z, Yan H W, et al. Semantic segmentation network for remote sensing image based on multi-scale mutual attention[J]. Journal of Zhejiang University (Engineering Science), 2023, 57(7):1335-1344. ] DOI:10.3785/j.issn.1008-973X.2023.07.008

[30]
Chen W, Shi K. Multi-scale attention convolutional neural network for time series classification[J]. Neural Networks, 2021, 136:126-140. DOI:10.1016/j.neunet.2021.01.001

PMID

[31]
Chen H, Shi Z W. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection[J]. Remote Sensing, 2020, 12(10):1662. DOI:10.3390/rs12101662

[32]
Ji S P, Wei S Q, Lu M. Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(1):574-586. DOI:10.1109/TGRS.2018.2858817

[33]
Zhang C X, Yue P, Tapete D, et al. A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 166:183-200. DOI:10.1016/j.isprsjprs.2020.06.003

[34]
Lebedev M A, Vizilter Y V, Vygolov O V, et al. Change detection in remote sensing images using conditional adversarial networks. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2018, XLII-2:565-571. DOI:10.5194/isprs-archives-XLII-2-565-2018

[35]
Varghese A, Gubbi J, Ramaswamy A, et al. ChangeNet: A deep learning architecture for visual change detection[M]// Lecture Notes in Computer Science. Cham: Springer International Publishing, 2019:129-145. DOI:10.1007/978-3-030-11012-3_10

[36]
Heloise L, Antoine L, Pierre S. Change detection in satellite imagery using deep learning[D]. Louvain-la-Neuve: Ecole polytechnique de Louvain, 2020:40-45.

Options
文章导航

/

〈 〉