遥感科学与应用技术

基于卷积神经网络的遥感影像建筑物提取方法综述

  • 杨明旺 ,
  • 赵丽科 , * ,
  • 叶林峰 ,
  • 蒋华伟 ,
  • 杨震
展开
  • 河南工业大学信息科学与工程学院,郑州 450001
*赵丽科(1990— ),女,河南新乡人,副教授,主要从事遥感影像智能信息提取方面的研究。 E-mail:

杨明旺(2000— ),男,河南新乡人,硕士生,主要从事遥感影像智能信息提取方面的研究。E-mail:

收稿日期: 2024-01-24

  修回日期: 2024-03-05

  网络出版日期: 2024-05-24

基金资助

国家自然科学基金项目(41901276)

国家自然科学基金项目(41901265)

河南省科技攻关项目(232102320348)

河南省科技攻关项目(232102321057)

河南工业大学自科创新基金(2021ZKCJ18)

河南工业大学青年骨干教师培育计划(21420198)

A Review of Convolutional Neural Networks Related Methods for Building Extraction from Remote Sensing Images

  • YANG Mingwang ,
  • ZHAO Like , * ,
  • YE Linfeng ,
  • JIANG Huawei ,
  • YANG Zhen
Expand
  • College of Information Science and Engineering, Henan University of Technology, Zhengzhou 450001, China
*ZHAO Like, E-mail:

Received date: 2024-01-24

  Revised date: 2024-03-05

  Online published: 2024-05-24

Supported by

National Natural Science Foundation of China(41901276)

National Natural Science Foundation of China(41901265)

The Science and Technology Research Project of Henan Province(232102320348)

The Science and Technology Research Project of Henan Province(232102321057)

The Self-Science Innovation Fund of Henan University of Technology(2021ZKCJ18)

The Cultivation Programme for Young Backbone Teachers in Henan University of Technology(21420198)

摘要

建筑物提取作为遥感影像处理领域备受关注的研究方向之一,对于城市规划、灾害管理、智慧城市建设等方面具有重要意义。近年来,随着遥感技术的不断突破和深度学习算法的迅速发展,卷积神经网络凭借强大的特征提取能力成为从遥感影像中提取建筑物的新兴解决方案。本文对基于卷积神经网络的建筑物提取方法进行系统总结,并将相关文献的方法针对模型结构、多尺度特征差异性、边界信息缺失以及模型复杂度的优化策略进行归纳分析。随后,我们阐述了典型的建筑物数据集以及当前数据集存在的问题,并根据数据集上的实验结果对相关方法的精度及参数量进行详细分析,旨在帮助读者更好地理解各种方法的性能和适用范围。最后,立足于领域的研究现状,面向人工智能高质量发展的新时代,从Transformer与CNN的结合、深度学习与强化学习的结合、跨模态数据融合、无监督或半监督学习方法、基于大规模遥感模型的实时提取、建筑物实例分割和建筑物轮廓矢量提取等方面对建筑物提取的未来研究方向进行了展望。

本文引用格式

杨明旺 , 赵丽科 , 叶林峰 , 蒋华伟 , 杨震 . 基于卷积神经网络的遥感影像建筑物提取方法综述[J]. 地球信息科学学报, 2024 , 26(6) : 1500 -1516 . DOI: 10.12082/dqxxkx.2024.240057

Abstract

Building extraction is one of the important research directions that has attracted great attention in the field of remote sensing image processing. It refers to the process of accurately extracting building information such as the location and shape of buildings by analyzing and processing remote sensing images. This technology plays an irreplaceable and important role in urban planning, disaster management, map production, smart city construction, and other fields. In recent years, with the advancement of science and technology, especially the continuous evolution of earth observation technology and the rapid development of deep learning algorithms, Convolutional Neural Networks (CNNs) have become an emerging solution for extracting buildings from remote sensing images because of their powerful feature extraction capability. The aim of this paper is to provide a comprehensive and systematic overview and analysis of building extraction methods based on convolutional neural networks. We conduct a comprehensive literature review to summarize the building extraction methods from perspectives of model structure, multi-scale feature differences, lack of boundary information, and model complexity. This will help researchers to better understand the advantages and disadvantages of different methods and the applicable scenarios. In addition, several typical building datasets in this field are described in detail, as well as the potential issues associated with these datasets. Subsequently, by collecting experimental results of relevant algorithms on these typical datasets, a detailed discussion on the accuracy and parameter quantities of various methods is conducted, aiming to provide a comprehensive assessment of performance and applicability of these methods. Finally, based on the current research status of this field and looking forward to the new era of high-quality development in artificial intelligence, the future directions for building extraction are prospected. Specifically, this paper discusses the combination of Transformers and CNNs, the combination of deep learning and reinforcement learning, multi-modal data fusion, unsupervised or semi-supervised learning methods, real-time extraction based on large-scale remote sensing model, building instance segmentation, and building contour vector extraction. In conclusion, our review can provide some valuable references and inspirations for future related research, so as to promote the practical application and innovation of building extraction from remote sensing images. This will fulfill the demand for efficient and precise map information in remote sensing technology and other related fields, contributing to the sustainable and high-quality development of human society.

1 引言

遥感影像中的建筑物信息对于土地资源利用、智慧城市建设、灾害应急响应等诸多领域都具有广泛的应用价值[1]图1展示了从遥感影像中提取建筑物的过程,其本质是一个语义分割问题,通过遍历整张遥感影像所有像素并分类,最终得到只包含建筑物和非建筑物的二值图像。随着深度学习技术的发展,传统的建筑物提取方法逐渐退出历史舞台,如基于对象分割方法[2]、基于建筑物特征的方法[3]、基于辅助信息的方法[4]等。这些方法都是由人工设计特征,并与传统的图像处理方法结合来提取建筑物。虽然传统方法可以有效利用遥感影像的光谱、纹理、形状等特征,精度较高且可解释性强,但只适用于具有相似特征的小规模影像数据,泛化能力较差,对于背景复杂、光照条件多变、建筑类型多样化的复杂城市场景时,效果往往不尽人意[5]。随着深度学习技术的快速发展,卷积神经网络[6](Convolutional Neural Network, CNN)、图卷积神经网络[7](Graph Convolutional Network, GCN)、长短时记 忆网络[8](Long Short-Term Memory, LSTM)以及Transformer[9]等技术开始受到广泛关注。这些技术以其独特的特点,在各个领域中展现出了巨大的潜力。其中卷积神经网络因其强大的特征捕捉能力而被广泛应用于计算机视觉领域的各种任务,如图像分类[10]、目标检测[11]、语义分割[12]、实例分割[13]等。近年来,也有学者开始将其应用于建筑物提取任务中,并取得了显著的成果[14]
图1 高分辨率遥感影像建筑物提取的示意图

Fig. 1 Schematic diagram of building extraction from high-resolution remote sensing images

为了获得完整的基于卷积神经网络的建筑物提取方法资料,在中国知网(CNKI)以“建筑物提取”、“建筑物识别”、“建筑物检测”与“卷积”并含为主题关键词检索;在Web of Science核心合集中,以“building extraction”、“building footprint extraction”、“building detection”与“convolutional”并含为主题关键词检索,统计近8年(2016—2023年)所发表论文数目。如图2所示,近8年中国知网收录的有关基于卷积神经网络的建筑物提取的论文共有406篇,其中2019年发表在《测绘学报》上的一篇文章被引用160次[15];Web of Science核心合集收录675篇论文,其中2019年发表在期刊《IEEE Transactions on Geoscience and Remote Sensing》上的一篇论文被引高达736次[16]。纵观该领域的发展历程,2013年,Mnih[5]发布了第一个大规模数据集马萨诸塞州建筑物数据集,并利用深度神经网络及条件随机场实现了建筑物自动提取。深度学习作为同时由数据驱动和技术驱动的方法,正是由于数据集及相关算法的发展,卷积神经网络被越来越多的研究人员应用于建筑物提取中。2015年,Satio等[6]利用Mnih发布的马萨诸塞州建筑物数据集进行了深入研究,优化了卷积核维度,并提出CIS损失函数代替Softmax函数,提高了提取准确率。同年,全卷积神经网络[12](FCN)被提出,基于卷积神经网络的建筑物提取方法如雨后春笋般涌现。2017年,法国国家信息与自动化研究所[14]发布了Inria航空图像标注数据集,为相关研究提供了更多数据支持。2019年,武汉大学季顺平教授团队[15]公开了WHU建筑物数据集,并提出了SU-Net,其性能达到了领先水平,极大地推动了建筑物提取相关研究的发展。至此,建筑物提取研究达到了新的高度,国内外众多学者针对不同的任务特点和应用场景设计出各种模型,方法创新层出不穷,百花齐放。从图2可以看出,近8年(2016—2023年)该领域的发文量基本呈递增趋势,因此基于卷积神经网络的遥感影像建筑物提取方法仍是当前学者们追踪和研究的热点领域。
图2 2016—2023年基于卷积神经网络的建筑物提取相关论文收录数量

Fig. 2 Number of papers related to building extraction based on convolutional neural networks from 2016 to 2023

通过分析所检索文献,将目前应用于建筑物提取的卷积神经网络根据针对模型结构、多尺度特征差异性、边界信息缺失以及模型复杂度这4个方面的优化策略分为以下4个类别。
(1)非对称网络结构[17-19]:不同于常见的U型结构,非对称结构具有高度的灵活性,可以根据需要堆叠具备不同特点的模块,以提取不同类型的特征。
(2)多尺度特征融合[20-22]:针对建筑物之间尺度、形态、纹理等差异,学者们通过多尺度融合策略使网络能同时感知全局和局部特征并加以融合,从而得到更全面的特征表示。
(3)边界优化[23-25]:边界不完整一直是建筑物提取所面临的挑战之一,国内外学者为此进行了大量的研究,通过设计提取边界信息的模块或施加边界约束等方式,使建筑物边界轮廓更加清晰。
(4)轻量化网络结构[26-28]:个别应用场景会受到硬件设备的限制并对推理速度有所要求,轻量化网络应运而生。其能在保持较高性能表现的同时,大幅减少模型复杂度,对推动建筑物提取算法的实际应用至关重要。

2 基于卷积神经网络的建筑物提取方法

近年来,卷积神经网络的迅速发展引起了国内外众多学者的浓厚兴趣,其卓越的自动特征提取能力在数据分析、计算机视觉、医学影像分割等领域得到广泛应用[29-31]。尤其在遥感图像解译领域,卷积神经网络因其强大的特征拟合能力极大推动了建筑物提取方法的创新与进步,为基于遥感影像的建筑物提取问题提供了更多创新性的解决方案[32]。其应用不仅提高了建筑物提取的精确度和效率,同时也为遥感技术在城市规划、资源管理以及灾害监测等领域的实际应用带来更加广阔的前景[33]
全卷积神经网络[12](Fully Convolutional Networks,FCN)作为一个具有里程碑意义的分割方法,其“全卷积”的思想为学者利用卷积神经网络进行建筑物提取的研究推开了大门。受益于“全卷积”的启发,目前绝大多数基于卷积神经网络的建筑物提取方法的核心思想是使用去除全连接层的CNNs作为编码器来提取多级分层特征,如VGG-16[34]、ResNet[35]、MobileNet[36]、EfficientNet[37]等,而解码器则采用反卷积、最临近插值法、双线性插值法等上采样方法重建图像并还原至原始尺寸大小,这种编码器-解码器结构的优势在于可以接受不同尺寸大小的图像作为输入,经过模型的映射变换,最终生成具有相同分辨率的预测图像。此外,该结构具有较好的可扩展性,其中以经典的编解码网络U-Net[38]为代表,很多研究人员在此基础上进行改进,设计出不同效果的模块添加至网络之中,以提升网络的学习能力。
本文对现有建筑物提取方法进行了系统的分析,将主流的方法归纳为非对称网络结构、多尺度特征融合、边界优化、轻量化网络结构4个类别。这4个类别分别对应于不同的技术挑战和实际应用需求,共同推动了建筑物提取技术的进步。

2.1 非对称网络结构

非对称网络结构是一种与对称结构(如U型结构)不同的网络结构。在对称结构中,网络的编解码器2个部分相似,通常具有相同的模块和跳跃连接。而在非对称结构中,网络的不同部分可以具有不同的模块、连接方式,通过引入不同层级的信息交互和特征变换,增强模型对于图像细节、形状等特征的感知能力,进而创建出一种多样化和灵活性更高的结构。
崔卫红等[39]针对VGG-16在提取任务时存在空洞现象提出了VPU网络,首先将原始输入影像依次进行4、16、64、256共4个等级的下采样,然后依次馈入到VGG16主干中与相应尺度的特征相加,并且在解码器中采用SegNet中的上采样方法,有效解决了建筑物提取不完整的问题。在HRNet[40]的启发下,张玉鑫等[41]提出了多路径网络MPRSU-Net,首先设计了RSU模块,然后在编码器中并行的3条路径上串联RSU模块,使得网络减少了连续下采样所导致的信息丢失,保持较高分辨率的特征,在编码器中先对各个尺度的特征进行预测,随后将3个尺度的预测结果上采样至输入大小进行融合得到最终的网络输出,取得了不错的效果。同时,Zhu等[42]也提出了具有自适应多尺度融合以及空间增强模块的多路径网络MAP-Net,与MPRSU-net不同的是,每条路径上特征相互独立且仅在末尾通过注意力模块融合并进一步通过空间池化增强特征表示,从而优化预测结果。此外,胡明洪等[43]设计了包含压缩激励模块的深度残差结构SE-ResNet,并以此构建SER-UNet,替换掉MAP-Net中的Gen block和Conv block,增强网络的抑制不相关特征能力,有效地改善了微小建筑物漏检现象。Chen等[44]提出的CFENet以ResNet-101为骨干,首先将1、2层低级通过包含不同空洞率的扩张卷积的空间融合模块进行融合,其次将3、4层高级输入至包含不同卷积核大小的非对称卷积的聚焦增强模块加以融合,随后将两个模块的输出馈入特征解码模块,得到最终的建筑分割结果,显著提高了建筑物提取的准确性。与CFENet结构类似, Li等[45]以EfficientNet为骨干,设计了附带结构线索引导特征对齐网络SCGFA-Net,将1、2层低级特征通过空间注意力进行融合,将3、4、5层高级特征通过金字塔池化和通道注意力进行融合,随后将2个分支的特征馈入至特征对齐模块中,利用偏移量对高层特征进行校正并输出预测结果,获得了更准确的语义信息表示。
非对称网络结构通常具备高度灵活的网络架构,能够自由添加注意力机制等模块,从而有针对性的改善建筑物提取效果。然而,非对称网络结构也存在一些缺陷,如模块过多而导致网络相对复杂,使得训练和调试的难度增加,且在处理大规模数据时可能会导致较大的计算资源消耗。尽管该类方法适用于对精度要求较高的建筑物提取任务,并可以针对特定需求灵活添加所需模块,但在资源受限或对推理速度要求较高的场景下不太适用。

2.2 多尺度特征融合

在遥感影像中,建筑物在不同尺度下具有不同的形态、纹理、颜色等特征,且大小、形状各不相同[46]。因此为了更好地捕捉这些差异,需要融合不同尺度的特征,使网络同时感知到全局(如形态、结构)和局部(如颜色、纹理)的语义信息,从而提高建筑物提取的准确性[47]
与单一尺度的特征相比,多尺度特征融合不仅能够产生更具区分度的特征以增强特征表示,还可以提高算法的鲁棒性,使得算法对于不同光照条件和噪声的影响具有更好的适应性[48]。多尺度特征融合作为建筑物提取算法优化的关键策略之一,能够有效地提升建筑物提取算法在复杂场景中的性能表现,对于提高模型精度和鲁棒性至关重要[49]
为了增强对小型和不规则建筑的提取能力,罗松强等[50]在空洞空间金字塔池化(ASPP)的基础上设计了Dense ASPP,将原有的5个分支由并联改为串联,并以更密集的形式连接起来,将前一层的输出跨层作为后一层的输入,扩大感受野,以更好地适应建筑物在图像中的多样性和复杂性。针对遥感影像中建筑物尺度变化大等问题,张华等[51]在浅层编码器中加入了不同尺度的原始影像信息,并受Inception-V2的启发设计了多尺度特征增强模块(MFEM),通过组合不同空洞率的空洞卷积以及非对称卷积,在不显著增加参数量的情况下扩大感受野,同时有效地捕捉多尺度上下文特征。而冯凡等[52]提出了SA-Net,在利用多输入多输出结构实现特征融合的同时,设计了残差金字塔池化,4个分支均包含2个尺度不同的路径以建立非恒等残差连接,增强了对不同尺度建筑物的自适应能力。同时,于明洋等[53]提出了AFP-Net,设计了特征金字塔注意力(FPA),不同分支采用不同大小的卷积核,逐层融合不同尺度特征,有效地避免了采样过程中的特征损失。Shao等[54]提出了BRR-Net,将网络输出的单通道预测结果作为残差细化模块(RRM)的输入,通过级联6个空洞率分别为1、2、4、8、16、32的卷积层并逐层相加多尺度特征,进一步修正网络预测与标签的差异,提高建筑物提取准确性。另外,Gong等[55]提出了C3Net,将由ASPP输出的多尺度特征输入至上下文感知模块,挖掘空间上下文信息以增强特征表示,并在RRM的基础上进一步融合空间注意力模块,有效地改善了不规则建筑物提取。
多尺度特征融合方法通过聚合不同层级的多尺度特征,显著增强了网络对尺度差异较大的建筑物特征的捕捉能力,使其在建筑物尺度变化较大、复杂区域下执行建筑物提取任务时表现出卓越的性能。尽管这类方法提升了算法对于复杂场景的适应性,但多尺度特征融合策略也不可避免地增加了参数量及运算量。此外,在算法设计过程中需要着重考虑平衡不同尺度特征的权重以及如何有效地将其融合。

2.3 边界优化

边界模糊、锯齿等问题一直是建筑物提取所面临的挑战之一,精准的边界识别不仅可以提高提取结果的准确性,而且能够更好地反映建筑物的实际形态和结构[56]。在使用卷积神经网络进行图像分割时,由于遥感影像中的建筑物通常具有各种不规则形状,边界部分往往容易受到噪声、遮挡或低对比度等因素的影响,导致分割结果的边界不完整或不准确[57]。针对该问题,需要结合卷积神经网络的优势与传统图像处理技术的经验,不断探索创新方法,以达到更精确的边界提取结果。
罗壮等[58]提出了一种强化边界提取的建筑物提取网络,首先对标签进行形态学操作,生成建筑边界和建筑分割线两类辅助标签,然后改进了性能较优的ICT-Net网络,增加了针对边界的损失函数,充分考虑边界在网络训练中的重要性,又借助分水岭算法进一步优化边界轮廓,实现了较为接近真实标签的提取结果。而赫晓慧等[59]在U-Net的基础上,设计了边缘特征检测子网,用以输入由Sobel算子计算出的边界图像,并与分割子网特征进行融合,丰富边界信息,从而很好地解决了建筑物边界缺失的情况。高贤君等[60]针对建筑物漏检以及边界缺失的问题,以U-Net为基础架构,通过融入连续空洞空间金字塔模块以及在跳跃连接中引入卷积块注意力模块,并在每一层解码器的末尾对分割结果和边界进行输出并计算损失,实现多层级联合约束,获得了较好的边界提取结果。Jung等[61]提出了一种可应用于多种主干网络架构的边界增强方法,通过附着在每层编码器末尾的整体嵌套边缘检测模块(HED)来提取逐层的边缘特征并作为辅助损失,拼接后与最后一层解码器的输出作为边缘增强模块(BE)的输入,最终增强分割结果中的边界预测。Zhou等[62]在Attention U-Net的基础上构建了基于边界优化和多尺度感知的BOMSC-Net,首先在编解码器之间嵌入了基于图推理模块设计的MSCAM来捕捉全局语义信息,随后在解码器末尾添加了方向特征优化模块(DFOM),通过在所构建的每个像素的方向场中多次迭代像素至最近的边界像素的方向向量来逐渐进行边界校正,实现了更为精确的建筑物边界分割。Zhang等[63]提出了MMB-Net,首先通过多尺度增强模块将特征进行聚合,然后引入空间增强模块对聚合后的高级特征采用Sigmoid操作并像素取反,从而得到可作为空间互补信息的边界特征,与低级特征融合后进行输出,在优化边界方面取得了不错的效果。此外,Cao等[64]所提出的IBCO-Net,在后处理阶段采用多策略检测建筑物边界及角点,并将每个角点周围8个像素视为潜在角点,以避免角点检测的误差,进一步对特征像素重分类,实现了对于建筑物边界的优化以及角点的精准定位。
边界优化方法的优势在于其有效解决了建筑物提取结果中存在的边界信息缺失等问题,从而实现了更为精确的边界定位,显著提升了建筑物提取结果的质量。然而,边界优化方法往往需要与传统图像处理技术(如Sobel算子、Canny算子、建筑物角点、分水岭算法等)结合使用,这将导致算法复杂度的增加。因此,尽管该类方法适用于对建筑物边界准确性要求较高的提取任务,但在实现过程中需要注意如何平衡边界优化和计算效率之间的关系。

2.4 轻量化网络结构

在对遥感影像进行建筑物提取任务时,因为受到硬件设备等计算资源的限制,且需要考虑模型推理速度的影响,设计轻量化的网络结构就变得尤为重要[65]。轻量化网络结构的主要目标是在保持模型性能的同时,减少模型的参数数量和计算复杂度。这对于在计算资源受限的环境中进行建筑物提取非常关键[66]。一些常见的轻量化网络结构包括MobileNet[36]、EfficientNet[37]等,它们采用了一系列创新的设计思路,以达到更高的计算效率。
在轻量化网络的设计中,研究者们普遍采用深度可分离卷积、组卷积、非对称卷积以及网络剪枝等策略,旨在提高网络运行效率并减少模型的复杂性[67]。具体而言,深度可分离卷积通过将标准卷积分解为深度卷积和逐点卷积,显著减少了参数量和计算量,使得网络轻量化。组卷积将输入特征图和输出特征图分为n组,每个组只处理特征通道的一个子集,由于参数和计算分布在n组中,因此参数量减少为原来的1/n。而非对称卷积则通过将n×n的卷积核分解为n×1和1×n共2个卷积核,将乘法运算的数量从n×n降低至2×n,从而在保持性能的同时大幅降低卷积操作的运算量。网络剪枝技术则通过移除神经网络中权重较小的通道或神经元节点,减少了网络的冗余,实现了网络稀疏化,进而达到轻量化的效果。
在这些轻量化策略的基础上,研究人员进行了深入的实验研究,并取得了一系列的成果[68-70]。如Lin等[71]提出了一种高效的ESFNet,以附带空洞率的深度可分离非对称卷积为基础设计了残差模块SFRB,并以SFRB为基本模块构建了整个网络,在取得了与其他几种先进的网络相似精度的同时,所需的计算成本及时间消耗明显减少。而Liu等[72]对ESFNet进一步地优化,提出了ARC-Net,将每个SFRB中的一对深度可分离非对称卷积扩展到了 2对,并在编解码器之间添加了空洞空间金字塔池化(ASPP),有效地增加了网络的感受野,取得了比ESFNet更精确的分割结果。
Sheikh等[73]基于ResU-Net提出了IRU-Net,在残差网络模块中的残差分支增加了1×1卷积和BN操作,并用一条采用卷积操作将特征从编码器传递到解码器的路径替换掉U-Net直接将两部分特征图拼接的跳跃连接,减少了编解码器特征之间的语义鸿沟,在取得更高精度的同时且具有更低的复杂度。Qiu等[74]提出的MSL-Net以MobileNetV2为骨干,首先将每个反向残差结构中的第二个BN层替换为GN层,以避免数据集分布偏差导致模型退化,然后在编解码器之间添加了空洞空间金字塔池化(ASPP),并在解码器最后一层添加了可变形卷积以适应建筑物形状的多样性,在参数量和精度之间取得了很好的平衡。You等[75]提出了基于U-Net的建筑物提取方法EfficientUNet+,采用Efficient-b0作为编码器,在解码器中引入了空间和通道压缩激励(scSE),在通道和空间2个维度上过滤非必要特征,减少了建筑物的漏检及误检现象,还针对边界模糊的问题设计了边界加权交叉熵损失函数对边界施加约束,提高了建筑物边界的清晰度。
尽管轻量化网络结构具备较快的推理速度,十分适用于对计算资源和推理速度要求较高的建筑物提取场景,但在追求网络轻量化的过程中,往往会面临一定精度和泛化能力的牺牲。因此在设计轻量化网络时,如何平衡模型轻量化和精度之间的关系才是重中之重。

3 典型建筑物数据集

在深度学习中,数据集对于模型的训练、验证和测试都起着关键作用,它帮助模型理解任务、提高泛化能力并获得更好的性能。在本节,将介绍建筑物提取领域常用的3个数据集(马萨诸塞州建筑物数据集、WHU建筑物数据集、Inria航空图像标注数据集)以及2个覆盖区域均为中国地区图像的数据集,表1列出了这些数据集的详细信息。
表1 建筑物提取数据集

Tab. 1 Dataset for building extraction

数据集 分辨率/m 大小/像素×像素 图片数量/张
马萨诸塞州数据集[5] 1.0 1 500×1 500 151
WHU航空影像数据集[15] 0.3 512×512 8 189
Inria航空图像标注数据集[14] 0.3 5 000×5 000 180
中国典型城市建筑物实例数据集[76] 0.29 500×500 7 260
中国农村地区建筑物样本及标注无人机影像数据集[77] 0.010 2~0.077 6 256×256 6 060

3.1 马萨诸塞州建筑物数据集

马萨诸塞州建筑物数据集[5](Massachusetts Buildings Dataset):该数据集包含了美国波士顿地区的151张1 500像素×1 500像素大小的航拍图像,空间分辨率为1 m,大约覆盖面积为340 km2,其中训练集137张,验证集4张,测试集10张。该数据集主要涵盖了城市和郊区的各种规模的建筑物,包括住宅区、商业区、工业区等。数据集的下载地址为: https://www.cs.toronto.edu/~vmnih/data/。数据集的示例如图3所示。
图3 马萨诸塞州数据集的示例

Fig. 3 An example of the Massachusetts dataset

3.2 WHU建筑物数据集

WHU建筑物数据集[15-16](WHU Building Dataset):该数据集因覆盖范围广、空间分辨率高、数据量大等优点,成为建筑物提取领域非常流行的数据集(其在中国知网和Web of Science这2个数据库的引用量分别为160和736)。数据集包含航空影像数据集和卫星数据集2个子集,其中航空影像数据集是研究人员较为常用的,其覆盖了新西兰Christchurch市约450 km2的面积,包含约22万栋独立的建筑物,原始分辨率为0.075 m,由于原始影像尺寸较大,便将其下采样至0.3 m的分辨率,并裁剪成 8 189个512×512的瓦片。其中4 736个瓦片用于训练,1 036个瓦片用于验证,2 416个瓦片用于测试。数据集的下载地址为: http://gpcv.whu.edu.cn/data/building_dataset.html。数据集的示例如图4所示。
图4 WHU建筑物数据集的示例

Fig. 4 An example of the WHU building dataset

3.3 Inria航空图像标注数据集

Inria航空图像标注数据集[14](Inria Aerial Image Labeling Dataset):该数据集由覆盖了不同城市的360张5 000像素×5 000像素大小的正射RGB影像组成,分辨率为0.3 m,覆盖面积约为810 km2,包括180张有标签的图像和180张没有标签的图像。为了方便定量分析,研究者通常选择有标签的180张图像作为数据集,这些图像覆盖了奥斯汀、芝加哥、基萨普、蒂罗尔、维也纳5个城市,涵盖了从人口密集的繁华都市到人口稀疏的高山城镇等不同特征的建筑类型。根据官方的建议,应取出每个城市的前五张图像作为测试集,因此整个数据集包含155张训练图像,25张测试图像。数据集的下载地址为: https://project.inria.fr/aerialimagelabeling/。数据集的示例如图5所示。
图5 Inria数据集的示例

Fig. 5 An example of the Inria dataset

3.4 中国典型城市建筑物实例数据集

中国典型城市建筑物实例数据集[76]:该数据集由中国地质大学的研究团队所构建,是首个公开的完全由国内城市的遥感影像组成的数据集。数据集包含了北京、上海、深圳、武汉4个城市的卫星图像,分辨率为0.29 m,覆盖面积共约120 km2。数据集包含了7 260张500像素×500像素大小的图像,其中训练集5 985张,测试集1 275张,共63 886栋独立的建筑物。数据集的获取地址为: https://doi.org/10.11922/sciencedb.00620。数据集的示例如图6所示。
图6 中国典型城市建筑物实例数据集的示例

Fig. 6 An example of a dataset of building instances of typical cities in China

3.5 中国农村地区建筑物样本及标注无人机影像 数据集

中国农村地区建筑物样本及标注无人机影像数据集[77]:该数据集数据源为2017—2020年在陕西、江苏、四川、广东、新疆、吉林等省/区农村地区用无人机航拍图像,其中不同地区的航拍图像空间分辨率不同,空间分辨率范围为1.02~7.76 cm。数据集原始影像共有2 020张,经过数据增强之后共有6 060张256像素×256像素大小的图像。因为该数据集图像采集区域较多,且基本涵盖了我国农村地区建筑物的大部分建筑及结构类型,因此可适用于农村地区建筑物自动化提取的相关研究工作,原始数据集的下载地址为: https://www.doi.org/10.11922/sciencedb.j00001.00226。数据集的示例如图7所示。
图7 中国农村地区建筑物样本及标注无人机影像数据集的示例

Fig. 7 An example of building sampling and labeling dataset of UAV images in rural China

3.6 建筑物提取数据集现状分析

除上述几个数据集之外,当前还存在许多用于遥感影像建筑物提取的数据集,但这些数据集在实际应用中仍然存在一些问题。
首先,现有数据集的覆盖范围和样本数量有限,无法完全涵盖全球各个地区的建筑物特征。从通用性和多样性来看,受地理、经济、宗教、文化等因素影响,全球各地区建筑物存在较大特征差异,且建筑物数据样本在全球空间范围内主要分布在中国、欧洲、新西兰、美国等国家和地区[78]。特别是针对发展中国家和偏远地区的建筑物,数据集的覆盖程度相对较低,这导致在这些地区的建筑物提取任务中,模型的泛化能力和性能可能受到限制。因此,进一步构建大规模且具有代表性的建筑物数据集对该领域发展具有重要意义。
其次,现有数据集中的标注质量和准确性也是一个重要问题。标注人员的主观认知差异可能导致不同标注者对同一建筑物的标注结果存在差异,这种数据标注过程中存在的主观误差和不一致性,将会影响模型的训练效果和性能评估结果的准确性[79]。因此,领域内需建立更加全面和准确的标注标准,以提高数据集的标注质量,从而为建筑物提取算法的研究和应用提供更可靠的数据基础。
另外,当前的建筑物提取数据集多数为RGB影像,但对于某些场景或特定对象,RGB 3个波段可能无法提供足够的信息来进行准确识别,且容易受到阴影遮挡及地物相似性的困扰[80]。随着遥感技术的发展和数据获取手段的多样化,将RGB影像与红外影像、雷达影像、数字表面模型、数字高程模型等多模态数据进行结合,可以提供更丰富的信息来辅助建筑物提取,将有助于提高建筑物提取的准确性和鲁棒性。
综上所述,未来建筑物提取数据集的发展方向应该是大规模、高精度、多样化。通过不断地完善数据集的规模和质量,可以进一步推动建筑物提取技术的发展及应用。

4 实验结果分析

在前面的章节对一些提取方法的优化策略进行了描述,但是并没有直观地对比这些方法的实验结果,在这一部分把以上所描述的提取方法在数据集上的实验结果以及模型复杂度以表格的形式汇总起来,并进行了分析。

4.1 实验精度分析

通过对近年来所发表文献的广泛调研,我们发现虽然大部分方法是在已公开的数据集上进行测试的,但是也有很多方法是在非公开的数据集上进行测试的,这就给不同方法之间的比较增加了困难,并且由于每位研究者所使用的实验设备有所差异,导致超参数的设置(如批次大小、迭代轮次等)也有所不同,即使使用相同的数据集,实验结果之间也会存在差异。不过这些方法在原论文中都与U-Net[38]、SegNet[81]、DeepLabv3+[82]等方法进行了比较,这给我们的实验精度分析增加了一定的可参考性。本文选取了马萨诸塞州数据集、WHU数据集、Inria数据集上的总体准确率(Overall Accuracy,OA)、精确率(Precision)、召回率(Recall)、F1得分(F1-score,F1)、交并比(Intersection over Union,IoU) 5项评价指标来进行实验结果的汇总,每种 方法的各项精度结果均引自原论文,实验结果如 表2表4所示,其中“A、B、C、D”分别代表非对称网络结构、多尺度特征融合、边界优化、轻量化网络结构,“-”代表原论文中没有该项数据。
表2 马萨诸塞州数据集实验结果

Tab. 2 Experimental results of the Massachusetts dataset (%)

类别 方法 准确率 精确率 召回率 F1-score IoU
A CFENet[44] 96.26 82.77 - 83.04 74.86
SCGFA-Net[45] - 83.20 87.10 85.00 74.10
B SA-Net[52] - 86.78 82.70 84.69 73.45
BRRNet[54] - - - 85.36 74.46
C3Net[55] - 82.45 83.27 82.86 70.74
C VAF-Net[59] - 82.10 82.50 82.30 -
BOMSC-Net[62] 94.71 86.64 83.68 85.13 74.71
D IRU-Net[73] 96.61 93.16 91.41 92.34 -
MSL-Net[74] 93.60 81.90 84.10 83.00 70.90
表3 WHU数据集实验结果

Tab. 3 Experimental results of WHU dataset (%)

类别 方法 准确率 精确率 召回率 F1-score IoU
A MPRSU-Net[41] - 95.65 95.11 95.38 91.17
MAP-Net[42] - 95.62 94.81 95.21 90.86
SER-UNet[43] - 95.67 95.87 95.65 91.46
CFENet[44] 98.71 93.70 - 92.62 87.22
SCGFA-Net[45] 96.00 94.60 95.30 90.90
B SU-Net[15] - 95.20 93.00 - 88.80
ResUNet+[50] - 96.13 95.14 95.63 -
MAEU-CNN[51] - 95.73 95.45 95.58 91.54
SA-Net[52] - 95.27 93.80 94.53 89.62
AFP-Net[53] 96.68 94.90 - - 87.02
C BOMSC-Net[62] 98.20 95.14 94.50 94.80 90.15
MMB-Net[63] - 95.75 94.98 95.37 91.14
D ESFNet[71] - - - - 85.34
ARC-Net[72] 97.50 96.40 95.10 95.70 91.80
MSL-Net[74] 98.90 95.10 94.80 95.00 90.40
表4 Inria数据集实验结果

Tab. 4 Experimental results of Inria dataset (%)

类别 方法 准确率 精确率 召回率 F1-score IoU
A MPRSU-Net[41] - 88.63 88.29 88.46 79.31
SER-UNet[43] - 92.75 91.68 92.42 82.61
B SU-Net[15] - 84.30 84.90 - 73.30
ResUNet+[50] - 90.81 90.11 90.46 -
C3Net[55] - 86.94 85.95 86.42 76.21
C ICT-Net[58] - 87.30 86.90 87.10 77.20
BOMSC-Net[62] 95.31 87.93 87.58 87.75 78.18
D ARC-Net[72] 92.50 89.60 86.80 87.50 77.90
MSL-Net[74] 96.80 89.30 89.90 89.60 81.10
通过对比表2表4的实验结果,可以发现马萨诸塞州数据集上的F1-score和IoU相对另外2个数据集都明显偏低。这主要是由于马萨诸塞州数据集的空间分辨率较低,为1.0 m,而WHU航空影像数据集和Inria数据集的分辨率均为0.3 m。分辨率越低,影像中包含的空间信息就越有限,网络能够学习的特征也就越少。因此,在这3个数据集上,马萨诸塞州数据集的精度相对较低。而WHU数据集和Inria数据集虽然具有相同的分辨率,但由于Inria包含了不同城市不同特征的建筑类型,这会对算法的鲁棒性提出更高的要求,且WHU数据集的标注质量优于Inria数据集,因此这些方法在WHU数据集上的整体精度更高。
选取CFENet和SCGFA-Net 作为A类中的典型方法并与U-Net进行对比(根据文献[45]的实验结果,U-Net在马萨诸塞州和WHU数据集的F1-score分别为80.70和92.40),可以发现在表2表3中, 2种方法的精度相比于对称网络U-Net都有不同程度的提升,表明非对称网络结构可以通过自由组合具有不同效果的模块,进而提高模型精度。而在这2种方法之间,SCGFA-Net在马萨诸塞州数据集的F1分数比CFENet高出1.96%,而IoU却要低0.76%。这表明,在低分辨率的图像上,CFENet的像素分类准确性有待提高,尽管其预测结果与标签的重叠度较高,但也从另一个角度证明了CFENet中所采用的多尺度特征融合策略的有效性;而在WHU数据集上SCGFA-Net的F1分数和IoU分别高出CFENet 2.62%和3.68%,这有力地说明了利用像素偏移量对特征进行纠正,并同时结合边界优化的相关策略可以使网络学习到更准确的特征表示。
在B类中,选取表3中的MAEU-CNN和SA-Net进行对比,MAEU-CNN的F1分数和IoU较SA-Net分别提高了1.05%、1.92%。由于2种方法均在编码器部分融合了不同尺度的原始特征,并且都包含多尺度特征增强模块,因此,进一步比较了2种方法原论文在WHU建筑物数据集上的消融实验结果。结果显示,MAEU-CNN的多尺度特征融合策略使得该方法的F1分数提升了0.91%,而SA-Net的多尺度特征融合策略则提升了0.61%,这一差异表明MAEU-CNN的多尺度特征融合策略可能更加有效。此外,MAEU-CNN还在网络末尾采取了边界优化策略,SA-Net仅使用密集连接的卷积层来细化特征,这表明将多种优化策略相互结合比采用单一优化策略更加有效。随后将表3中的MAEU-CNN与SCGFA-Net进行对比,顾及多尺度特征差异性以及边界缺失问题的前者的F1分数和IoU较后者分别提高了0.28%、0.64%,进一步证明了结合多种优化策略效果更好。
在C类中,选取了BOMSC-Net与ICT-Net作为典型方法。这2种方法相较于未采用边界优化策略的方法,能够生成更清晰的建筑物边界轮廓,从而证明了边界优化策略的有效性。在表4中,BOMSC-Net的F1分数和IoU较ICT-Net分别提高了0.65%和0.98%。其中BOMSC-Net采用像素级方向优化模块细化边界信息,而ICT-Net则使用分水岭后处理算法优化边界,有效地证明了基于像素的边界优化可以获得比基于区域的边界优化更好的特征表示。此外,在ICT-Net原论文中,作者通过消融实验探索了应用边界损失以及分水岭算法的提升效果。实验结果显示,应用边界损失函数监督网络训练使F1分数提高了0.7%。在此基础上,采用分水岭算法进行后处理可以进一步提高精度,并在视觉效果上表现更为明显。这验证了对网络施加边界损失约束以及与传统图像处理算法结合等边界优化策略能够实现更为准确和可靠的特征提取结果。
选取ESFNet、ARC-Net、MSL-Net作为D类中的典型方法进行分析,可以发现,该类方法虽然属于轻量级网络,但在精度方面同样有着不俗的表现。例如,表3中,经过对ESFNet进行改进,ARC-Net的IoU相较于ESFNet提高了6.46%,这有力地证明了适量地堆叠深度可分离非对称卷积以及增加ASPP模块可以有效地缓解提取特征不充分的现象;而表4中,MSL-Net的F1分数和IoU相较于ARC-Net分别要高出2.10%和3.20%,F1分数在全部方法中居第三位,IoU排名第二。进一步地,MSL-Net原论文中的消融实验结果显示,通过在网络中添加可变形卷积层,使得MSL-Net的F1分数和IoU分别提高了0.1%和0.2%。这一实验结果有效验证了可变形卷积能够在建筑物形状复杂多变的Inria数据集上充分发挥其自适应调整的特性,进而提高模型对于不规则建筑物的特征提取能力。随后将MSL-Net与C类的BOMSC-Net进行对比发现,前者在WHU和Inria数据集上均取得了更好的结果,而后者在马萨诸塞州数据集中表现较好。这说明在分辨率较低的场景中,可变形卷积无法充分发挥自身特性,而后者中的方向优化模块通过逐像素建立方向场迭代向量,因此受分辨率影响较小。

4.2 模型复杂度分析

考虑到建筑物提取算法的应用场景有时会受硬件设备等计算资源的限制,所以在顾及精度的同时还需要考虑模型复杂度。模型复杂度是指模型所需的计算资源和内存需求,包括浮点运算量(FLOPs)和参数量(Parameters)。在建筑物提取任务中,过大的模型会消耗过多的计算资源,导致运行速度缓慢,甚至无法在资源有限的环境中运行,因此模型复杂度对于实际应用非常重要。在此将文中所涉及的一些方法的浮点运算量以及参数量进行汇总并分析,值得一提的是,为了更直观地观察模型的复杂度以及精度的平衡性,选取了这些方法在WHU数据集上的IoU作为精度指标来评价模型,如表5所示,表格中的数据均摘自原论文中,其中“A、B、C、D”分别代表非对称网络结构、多尺度特征融合、边界优化、轻量化网络结构。
表5 模型复杂度对比结果

Tab. 5 Comparison results of model complexity

类别 方法 影像尺寸/(像元×像元) FLOPs/G Parameters/M IoU/%
A MPRSU-Net[41] 512×512 81.60 13.80 91.17
MAP-Net[42] 512×512 48.09 24.00 90.86
SER-UNet[43] 512×512 135.00 72.05 91.46
B SA-Net[52] 256×256 - 7.13 89.62
AFP-Net[53] 256×256 27.95 48.76 87.02
BRRNet[54] 256×256 - 17.30 -
C BOMSC-Net[62] 256×256 - 129.32 90.15
MMB-Net[63] 512×512 - 54.46 91.14
D ESFNet[71] 512×512 2.51 0.18 85.34
IRU-Net[73] 256×256 11.11 6.01 -
MSL-Net[74] 512×512 - 6.00 90.40

注:G和M分别代表计算机的计量单位,G=109,M=106

表5中,可以看到各种方法的浮点运算量和参数量,通过对比这些数据,可以评估不同方法的模型复杂度和精度之间的平衡性。例如,A类中的SER-UNet的IoU取得了最好的效果,但是其浮点运算量是最高的,且参数量也较高,因此该方法适合对精度要求较高的应用场景。而B类中,以SA-Net为例,虽然参数量被控制在了较低水平,但精度方面较其他方法偏低。C类中的方法由于顾及了边界信息,需要设计单独的模块优化边界,因此参数量较大。反观D类中3个轻量化网络的参数量及运算量相对于其他类别明显较少,很好地体现了轻量化策略对于复杂度的提升效果。而ESFNet虽然参数量较其他模型最少,但同时IoU也是最低的,因此该方法适合对推理速度要求较高的应用场景,在对精度要求高的应用场景不是一个好的选择。在所有方法中,只有MSL-Net在参数量较少的情况下取得了较高的精度,很好地实现了模型性能和复杂度之间的平衡,可以在实际应用中发挥很好的效果。

4.3 不同方法优缺点

通过对不同方法的精度及模型复杂度进行分析,可以发现,每种方法都有其独特的优点和缺点,这些特点也决定了它们适用的场景和条件。例如,SER-UNet[43]在提取准确率方面表现出色,但模型复杂度较高,需要更多的计算资源和时间来训练和推理;而ESFNet[71]则能够在计算资源有限的情况下表现出更快的推理速度,但可能会牺牲一定的准确性。因此,了解不同方法的优缺点对于后续开展相关研究和应用至关重要。在表6中,列出了各种方法的优缺点及其适用场景,以便读者能够更清晰地了解每种方法的特点和适用条件。这些信息将为研究人员在选择合适的方法时提供有益的参考,并有助于他们更好地应用于实际场景中。
表6 不同方法优缺点比较

Tab. 6 Comparison of advantages and disadvantages of different methods

类别 优点 缺点 适用场景 参考文献
非对称网络结构 结构灵活、自由堆叠模块 过度堆叠导致模型复杂度可能较高 对准确率要求高 [[41]-[45]
多尺度特征融合 特征捕捉能力强、鲁棒性
较好
需要平衡不同特征权重 建筑物尺度差异大的
复杂区域
[50]-[55]
边界优化 边界信息较为完整、边界
定位准确
需要与其他算法结合、运算量较大 对边界准确性要求
较高
[58]-[64]
轻量化网络结构 推理速度快、模型参数
较少、部署成本低
精度可能较低、特征表达能力受限 计算资源有限、对实时
性要求较高
[71]-[75]

5 展望

近年来,国内外学者针对基于卷积神经网络的高分辨率遥感影像建筑物提取方法进行了大量的研究与实验,且取得了许多重要的研究成果。尽管目前的建筑物提取方法已经取得了很好的效果,但阴影或树木的遮挡、形状或尺度的变化等因素仍会对解译影像中的纹理及光谱特征造成阻碍,因此仍需进行更加深入的研究。为此,本文尝试展望了未来可能的发展趋势:
(1)Transformer与CNN的结合:CNN虽然具有强大的图像特征提取能力,可以捕捉图像中的各种细节和纹理信息,但是在提取局部特征时可能忽略像素之间的相关性,而Transformer则可以通过自注意力机制来捕捉长距离依赖关系,将二者结合,可以相互取长补短,有助于提高建筑物提取准确性。
(2)深度学习与强化学习的结合:深度学习已经在图像识别和分类任务中取得了显著的成果,但在建筑物提取任务中,由于其复杂性和不确定性,仍然存在一些挑战。因此,将深度学习与强化学习相结合,利用强化学习的策略优化和决策过程帮助算法在不同场景下学习适应性策略,以提高建筑物提取的鲁棒性和泛化能力,这将是未来的一个重要研究方向。
(3)跨模态数据融合:现阶段大多数数据集都仅包含RGB影像,而将RGB影像与激光雷达、合成孔径雷达、数字表面模型等多模态的数据进行融合可以更好地识别和提取建筑物,因为跨模态数据可以为遥感影像提供光谱、形状、纹理等补充信息,但跨模态数据融合仍存在噪声较多、难以配准的问题,因此,探索一种高效、稳定的跨模态遥感数据建筑物提取方法尤为重要。
(4)无监督或半监督学习方法:由于遥感影像数据通常具有高维度和大规模的特点,标注这些数据需要大量的人力和时间成本。相对于传统的有监督学习方法,无监督或半监督学习可以更好地利用数据本身的特征和结构,提高分割精度和效率,此外,还可大大减少对大量有标签数据的需求,从而降低了数据标注成本,这也更符合遥感影像处理中的实际应用情况。因此,在建筑物提取中应用无监督或半监督学习方法将是未来一个重要的研究方向。
(5)基于大规模遥感模型的实时提取:随着自动驾驶、灾害监测和城市规划等领域对实时遥感信息的需求增加,建筑物提取算法需要更快的处理速度和实时性。研究人员需要利用数据融合、多任务学习等技术开发出能够满足多项下游遥感任务的大规模遥感基础模型。在未来的研究中,希望可以涌现出更多基于大规模遥感模型的实时建筑物提取方法。
(6)建筑物实例分割:建筑物实例分割是将建筑物提取与建筑物目标检测相结合,将不同建筑物视为独立的实例,并通过为每个实例分配不同的颜色或标识来进行区分。这种分割结果可以使后续的分析和处理更加高效,从而极大地提升了模型的应用价值。尽管目前建筑物实例分割的研究相对较少,但这一领域仍然具有巨大的潜力和广泛的应用前景。
(7)建筑物轮廓矢量提取:建筑物轮廓矢量提取旨在获取每栋建筑物的轮廓矢量信息。目前,主流的轮廓矢量提取方法是对建筑物语义分割结果的轮廓进行矢量化,而端到端生成建筑物轮廓矢量的方法相对匮乏,且准确率较低,无法满足地图制作等领域需求。因此,探索利用深度学习技术进一步提高端到端提取建筑物轮廓矢量的精度,对于地图制作等领域的蓬勃发展具有重要意义。
综上所述,遥感影像建筑物提取是一个充满挑战的研究领域,未来的研究应将继续致力于提高准确性、鲁棒性、推理速度以及自适应性。值得注意的是,当前人工智能已成为建筑物提取方法的关键技术支撑,而随着新一轮科技革命的突飞猛进,遥感影像建筑物提取必将迎来新的发展契机。结合更加前沿的人工智能技术,开发出更加高效可行的建筑物提取方法,以满足日益增长的应用需求,将成为未来的重要研究方向。

6 结论

回顾过往几十年的发展历程,建筑物提取技术的演进不仅是技术层面的发展,更是地理信息科学和遥感技术在实践中持续探索与应用的成果。从最初的目视解译到手工设计特征方法,再到如今基于深度学习的高度自动化方法,每一次技术的飞跃都标志着科技的不断进步和上游产业对数据需求的激增。随着卷积神经网络等深度学习技术的广泛应用,建筑物提取的精度和效率得到了极大的提升,使得在大规模遥感影像数据中进行建筑物提取变得更加可行和可靠。这种技术演进不仅对地图制作和城市规划等传统领域产生了深远影响,同时也为智慧城市建设等领域提供了强有力的数据支撑。可以预见,在未来几年内,随着技术的不断革新和数据处理能力的提升,建筑物提取将为城市的高质量发展和可持续发展带来更多创新和应用。
本文图文责任编辑: 蒋树芳 黄光玉
[1]
王振庆, 周艺, 王世新, 等. IEU-Net高分辨率遥感影像房屋建筑物提取[J]. 遥感学报, 2021, 25(11):2245-2254.

[Wang Z Q, Zhou Y, Wang S X, et al. House building extraction from high-resolution remote sensing images based on IEU-Net[J]. National Remote Sensing Bulletin, 2021, 25(11):2245-2254. ] DOI:10.11834/jrs.20210042

[2]
吴炜, 骆剑承, 沈占锋, 等. 光谱和形状特征相结合的高分辨率遥感图像的建筑物提取方法[J]. 武汉大学学报(信息科学版), 2012, 37(7):800-805.

[Wu W, Luo J C, Shen Z F, et al. Building extraction from high resolution remote sensing imagery based on spatial-spectral method[J]. Geomatics and Information Science of Wuhan University, 2012, 37(7):800-805. ] DOI:10.13203/j.whugis2012.07.022

[3]
吕凤华, 舒宁, 龚龑, 等. 利用多特征进行航空影像建筑物提取[J]. 武汉大学学报(信息科学版), 2017, 42(5):656-660.

[Lv F H, Shu N, Gong Y, et al. Regular building extraction from high resolution image based on multilevel-features[J]. Geomatics and Information Science of Wuhan University, 2017, 42(5):656-660. ] DOI:10.13203/j.whugis20140781

[4]
高贤君, 郑学东, 沈大江, 等. 城郊高分影像中利用阴影的建筑物自动提取[J]. 武汉大学学报(信息科学版), 2017, 42(10):1350-1357.

[Gao X J, Zheng X D, Shen D J, et al. Automatic building extraction based on shadow analysis from high resolution images in suburb areas[J]. Geomatics and Information Science of Wuhan University, 2017, 42(10):1350-1357. ] DOI:10.13203/j.whugis20150766

[5]
Mnih V. Machine learning for aerial image labeling[D]. Canada: University of Toronto, 2013.

[6]
Saito S, Yamashita T, Aoki Y. Multiple object extraction from aerial imagery with convolutional neural networks[J]. Journal of Imaging Science and Technology, 2016, 60(1):10402-1-010402-9. DOI:10.2352/j.imagingsci.technol.2016.60.1.010402

[7]
邓睿哲. 基于边缘感知GCN-FCN的高分遥感影像建筑物提取方法[D]. 武汉: 中国地质大学, 2022.

[Deng R Z. Spatial graph reasoning fully convolution network with decoupling boundary awareness for extracting buildings on high resolution remote sensing images[D]. Wuhan: China University of Geosciences, 2022. ] DOI:10.27492/d.cn ki.gzdzu.2022.000113.

[8]
庞世燕, 郝京京, 邢立宁, 等. 融合域自适应和弱监督策略的遥感影像建筑物提取算法[J]. 系统工程与电子技术, 2023, 45(6):1616-1623.

DOI

[Pang S Y, Hao J J, Xing L N, et al. Weakly supervised domain adaptation algorithm for building extraction from remote sensing images[J]. Systems Engineering and Electronics, 2023, 45(6):1616-1623. ] DOI:10.12305/j.issn.1001-506X.2023.06.04

[9]
王钰涵. 基于深度学习的高分辨率遥感影像建筑物提取研究[D]. 长春: 吉林大学, 2020.

[Wang Y H. Research on building extraction of high resolution remote sensing images based on deep learning[D]. Changchun: Jilin University, 2020. ] DOI:10.27162/d.cnki.gjlin.2020.006262

[10]
Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6):84-90. DOI:10.1145/3065386

[11]
Ren S Q, He K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6):1137-1149. DOI:10.1109/TPAMI.2016.2577031

PMID

[12]
Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4):640-651. DOI: 10.1109/TPAMI.2016.2572683

PMID

[13]
Li Y, Qi H, Dai J, et al. Fully convolutional instance-aware semantic segmentation[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017:4438-4446. DOI:10.1109/CVPR.2017.472

[14]
Maggiori E, Tarabalka Y, Charpiat G, et al. Can semantic labeling methods generalize to any city? the inria aerial image labeling benchmark[C]// 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2017:3226-3229. DOI:10.1109/IGARSS.2017.8127684

[15]
季顺平, 魏世清. 遥感影像建筑物提取的卷积神经元网络与开源数据集方法[J]. 测绘学报, 2019, 48(4):448-459.

DOI

[Ji S P, Wei S Q. Building extraction via convolutional neural networks from an open remote sensing building dataset[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(4):448-459. ] DOI:10.11947/j.AGCS.2019.20180206

[16]
Ji S P, Wei S Q, Lu M. Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(1):574-586. DOI:10.1109/TGRS.2018.2858817

[17]
Sun Y M, Chen J L, Huang X, et al. Multi-level perceptual network for urban building extraction from high-resolution remote sensing images[J]. Photogrammetric Engineering & Remote Sensing, 2023, 89(7):427-434. DOI:10.14358/pers.22-00103r1

[18]
Wu Y F, Xu L L, Chen Y H, et al. TAL: Topography-aware multi-resolution fusion learning for enhanced building footprint extraction[J]. IEEE Geoscience and Remote Sensing Letters, 2022,19:6506305. DOI:10.1109/LGRS.2022.3149709

[19]
吕少云, 李佳田, 阿晓荟, 等. Res_ASPP_UNet++:结合分离卷积与空洞金字塔的遥感影像建筑物提取网络[J]. 遥感学报, 2023, 27(2):502-519.

[Lv S Y, Li J T, A X H, et al. Res_ASPP_UNet ++: Building an extraction network from remote sensing imagery combining depthwise separable convolution with atrous spatial pyramid pooling[J]. National Remote Sensing Bulletin, 2023, 27(2):502-519. ] DOI:10.11834/jrs.20210477

[20]
Xu S J, Deng B W, Meng Y B, et al. ReA-net: A multiscale region attention network with neighborhood consistency supervision for building extraction from remote sensing image[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15:9033-9047. DOI:10.1109/JSTARS.2022.3204576

[21]
Li S M, Bao T R, Liu H, et al. Multilevel feature aggregated network with instance contrastive learning constraint for building extraction[J]. Remote Sensing, 2023, 15(10):2585. DOI:10.3390/rs15102585

[22]
江宝得, 黄威, 许少芬, 等. 融合分散自适应注意力机制的多尺度遥感影像建筑物实例细化提取[J]. 测绘学报, 2023, 52(9):1504-1514.

DOI

[Jiang B D, Huang W, Xu S F, et al. Multi-scale building instance refinement extraction from remote sensing images by fusing with decentralized adaptive attention mechanism[J]. Acta Geodaetica et Cartographica Sinica, 2023, 52(9):1504-1514. ] DOI:10.11947/j.AGCS.2023.20220322

[23]
Hosseinpour H, Samadzadegan F, Javan F D. A novel boundary loss function in deep convolutional networks to improve the buildings extraction from high-resolution remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15:4437-4454. DOI:10.1109/JSTARS.2022.3178470

[24]
Guo H N, Du B, Zhang L P, et al. A coarse-to-fine boundary refinement network for building footprint extraction from remote sensing imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 183:240-252. DOI:10.1016/j.isprsjprs.2021.11.005

[25]
李小祥, 黄亮, 朱娟娟, 等. 边缘增强的EDU-Net遥感影像建筑物提取[J]. 遥感信息, 2023, 38(2):134-141.

[Li X X, Huang L, Zhu J J, et al. Edge-enhanced EDU-net for remote sensing image building extraction[J]. Remote Sensing Information, 2023, 38(2):134-141. ] DOI:10.20091/j.cnki.1000-3177.2023.02.018

[26]
宋佳, 徐慧窈, 高少华, 等. 轻量化卷积神经网络遥感影像建筑物提取模型[J]. 遥感技术与应用, 2023, 38(1):190-199.

[Song J, Xu H Y, Gao S H, et al. Lightweight fully convolutional neural network based remote sensing image building extraction model[J]. Remote Sensing Technology and Application, 2023, 38(1):190-199. ] DOI:10.11873/j.issn.1004-0323.2023.1.0190

[27]
He J X, Cheng Y, Wang W, et al. A lightweight building extraction approach for contour recovery in complex urban environments[J]. Remote Sensing, 2024, 16(5):740. DOI:10.3390/rs16050740

[28]
Huang H G, Liu J B, Wang R S. Easy-net: A lightweight building extraction network based on building features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023,62: 4501515. DOI:10.1109/TGRS.2023.3348102

[29]
Yu T, Tang P P, Zhao B, et al. ConvBNet: A convolutional network for building footprint extraction[J]. IEEE Geoscience and Remote Sensing Letters, 2023,20:2501205. DOI:10.1109/LGRS.2023.3250091

[30]
Zhang X X, Zhu X F, Tang K, et al. DDTNet: A dense dual-task network for tumor-infiltrating lymphocyte detection and segmentation in histopathological images of breast cancer[J]. Medical Image Analysis, 2022,78:102415. DOI:10.1016/j.media.2022.102415

[31]
Elhassan M A M, Huang C X, Yang C H, et al. DSANet: Dilated spatial attention for real-time semantic segmentation in urban street scenes[J]. Expert Systems with Applications, 2021,183:115090. DOI:10.1016/j.eswa.2021.115090

[32]
Chen S L, Ogawa Y, Zhao C B, et al. Large-scale individual building extraction from open-source satellite imagery via super-resolution-based instance segmentation approach[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2023, 195:129-152. DOI:10.1016/j.isprsjprs.2022.11.006

[33]
Dong D H, Ming D P, Weng Q H, et al. Building extraction from high spatial resolution remote sensing images of complex scenes by combining region-line feature fusion and OCNN[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2023, 16:4423-4438. DOI:10.1109/JSTARS.2023.3273726

[34]
Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014: arXiv:1409.1556. http://arxiv.org/abs/1409.1556.pdf.

[35]
He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016:770-778. DOI:10.1109/CVPR.2016.90

[36]
Howard A G, Zhu M L, Chen B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[EB/OL]. 2017: arXiv:1704.04861. http://arxiv.org/abs/1704.04861.

[37]
Tan M X, Le Q V. EfficientNet: Rethinking model scaling for convolutional neural networks[EB/OL]. 2019: arXiv:1905.11946. http://arxiv.org/abs/1905.11946.pdf

[38]
Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2015:234-241. DOI:10.1007/978-3-319-24574-4_28.

[39]
崔卫红, 熊宝玉, 张丽瑶. 多尺度全卷积神经网络建筑物提取[J]. 测绘学报, 2019, 48(5):597-608.

DOI

[Cui W H, Xiong B Y, Zhang L Y. Multi-scale fully convolutional neural network for building extraction[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(5):597-608. ] DOI: 10.11947/j.AGCS.2019.20180062

[40]
Sun K, Xiao B, Liu D, et al. Deep high-resolution representation learning for human pose estimation[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019:5686-5696. DOI:10.1109/CVPR.2019.00584

[41]
张玉鑫, 颜青松, 邓非. 高分辨率遥感影像建筑物提取多路径RSU网络法[J]. 测绘学报, 2022, 51(1):135-144.

DOI

[Zhang Y X, Yan Q S, Deng F. Multi-path RSU network method for building extraction from high-resolution remote sensing images[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(1):135-144. ] DOI:10.11947/j.AGCS.2021.20200508

[42]
Zhu Q, Liao C, Hu H, et al. MAP-Net: Multiple attending path neural network for building footprint extraction from remote sensed imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(7):6169-6181. DOI:10.1109/TGRS.2020.3026051

[43]
胡明洪, 李佳田, 姚彦吉, 等. 结合多路径的高分辨率遥感影像建筑物提取SER-UNet算法[J]. 测绘学报, 2023, 52(5):808-817.

DOI

[Hu M H, Li J T, Yao Y J, et al. SER-UNet algorithm for building extraction from high-resolution remote sensing image combined with multipath[J]. Acta Geodaetica et Cartographica Sinica, 2023, 52(5):808-817. ] DOI:10.11947/j.AGCS.2023.20210691

[44]
Chen J, Zhang D, Wu Y, et al. A context feature enhancement network for building extraction from high-resolution remote sensing imagery[J]. Remote Sensing, 2022, 14(9):2276. DOI:10.3390/rs14092276

[45]
Li W B, Sun K M, Zhao H P, et al. Extracting buildings from high-resolution remote sensing images by deep ConvNets equipped with structural-cue-guided feature alignment[J]. International Journal of Applied Earth Observation and Geoinformation, 2022,113:102970. DOI:10.1016/j.jag.2022.102970

[46]
Chan S X, Wang Y, Lei Y J, et al. Asymmetric cascade fusion network for building extraction[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023,61:2004218. DOI:10.1109/TGRS.2023.3306018

[47]
Wang J C, Yan X, Shen L, et al. Scale-invariant multi-level context aggregation network for weakly supervised building extraction[J]. Remote Sensing, 2023, 15(5):1432. DOI:10.3390/rs15051432

[48]
Ran S H, Gao X J, Yang Y W, et al. Building multi-feature fusion refined network for building extraction from high-resolution remote sensing images[J]. Remote Sensing, 2021, 13(14):2794. DOI:10.3390/rs13142794

[49]
Zhao L K, Ye L F, Zhang M, et al. DPSDA-net: Dual-path convolutional neural network with strip dilated attention module for road extraction from high-resolution remote sensing images[J]. Remote Sensing, 2023, 15(15):3741. DOI:10.3390/rs15153741

[50]
罗松强, 李浩, 陈仁喜. 多尺度特征增强的ResUNet+遥感影像建筑物提取[J]. 激光与光电子学进展, 2022, 59(8):0828007.

[Luo S Q, Li H, Chen R X. Building extraction of remote sensing images using ResUNet+with enhanced multiscale features[J]. Laser & Optoelectronics Progress, 2022, 59(8):0828007. ] DOI:10.3788/LOP202259.0828007

[51]
张华, 郑祥成, 郑南山, 等. 基于MAEU-CNN的高分辨率遥感影像建筑物提取[J]. 地球信息科学学报, 2022, 24(6):1189-1203.

DOI

[Zhang H, Zheng X C, Zheng N S, et al. Building extraction from high spatial resolution imagery based on MAEU-CNN[J]. Journal of Geo-Information Science, 2022, 24(6):1189-1203. ] DOI:10.12082/dqxxkx.2022.210727

[52]
冯凡, 王双亭, 张津, 等. 基于尺度自适应全卷积网络的遥感影像建筑物提取[J]. 激光与光电子学进展, 2021, 58(24):459-470.

[Feng F, Wang S T, Zhang J, et al. Building extraction from remote sensing imagery based on scale-adaptive fully convolutional network[J]. Laser & Optoelectronics Progress, 2021, 58(24):459-470. ] DOI:10.3788/LOP202158.2428006

[53]
于明洋, 陈肖娴, 张文焯, 等. 融合网格注意力阀门和特征金字塔结构的高分辨率遥感影像建筑物提取[J]. 地球信息科学学报, 2022, 24(9):1785-1802.

DOI

[Yu M Y, Chen X X, Zhang W Z, et al. Building extraction on high-resolution remote sensing images using attention gates and feature pyramid structure[J]. Journal of Geo-information Science, 2022, 24(9):1785-1802. ] DOI:10.12082/dqxxkx.2022.210571

[54]
Shao Z F, Tang P H, Wang Z Y, et al. BRRNet: A fully convolutional neural network for automatic building extraction from high-resolution remote sensing images[J]. Remote Sensing, 2020, 12(6):1050. DOI:10.3390/rs12061050

[55]
Gong M G, Liu T F, Zhang M Y, et al. Context-content collaborative network for building extraction from high-resolution imagery[J]. Knowledge-Based Systems, 2023,263:110283. DOI:10.1016/j.knosys.2023.110283

[56]
Jin Y W, Xu W B, Zhang C, et al. Boundary-aware refined network for automatic building extraction in very high-resolution urban aerial images[J]. Remote Sensing, 2021, 13(4):692. DOI:10.3390/rs13040692

[57]
Lin H J, Hao M, Luo W Q, et al. BEARNet: A novel buildings edge-aware refined network for building extraction from high-resolution remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2023,20:6005305. DOI:10.1109/LGRS.2023.3272353

[58]
罗壮, 李明, 张德朝. 结合边界约束网络和分水岭分割算法的建筑物提取[J]. 遥感学报, 2022, 26(7):1459-1468.

[Luo Z, Li M, Zhang D Z. Building detection based on a boundary-regulated network and watershed segmentation[J]. National Remote Sensing Bulletin, 2022, 26(7):1459-1468. ] DOI:10.11834/jrs.20219335

[59]
赫晓慧, 邱芳冰, 程淅杰, 等. 基于边缘特征融合的高分影像建筑物目标检测[J]. 计算机科学, 2021, 48(9):140-145.

DOI

[He X H, Qiu F B, Cheng X J, et al. High-resolution image building target detection based on edge feature fusion[J]. Computer Science, 2021, 48(9):140-145. ] DOI:10.11896/jsjkx.200800002

[60]
高贤君, 冉树浩, 张广斌, 等. 基于多特征融合与对象边界联合约束网络的建筑物提取[J]. 武汉大学学报(信息科学版):1-19.

[Gao X J, Ran S H, Zhang G B, et al. Building extraction based on multi-feature fusion and joint object boundary constraint networks[J]. Geomatics and Information Science of Wuhan University:1-19. ] DOI:10.13203/j.whugis20210520

[61]
Jung H, Choi H S, Kang M. Boundary enhancement semantic segmentation for building extraction from remote sensed image[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021,60:5215512. DOI:10.1109/TGRS.2021.3108781

[62]
Zhou Y, Chen Z L, Wang B, et al. BOMSC-net: Boundary optimization and multi-scale context awareness based building extraction from high-resolution remote sensing imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022,60:5618617. DOI:10.1109/TGRS.2022.3152575

[63]
Zhang H, Zheng X C, Zheng N S, et al. A multiscale and multipath network with boundary enhancement for building footprint extraction from remotely sensed imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15:8856-8869. DOI:10.1109/JSTARS.2022.3214485

[64]
Cao Y G, Zhang S, Sui B K, et al. IBCO-net: Integrity-boundary-corner optimization in a general multistage network for building fine segmentation from remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023,61:5619819. DOI:10.1109/TGRS.2023.3310534

[65]
Aleissaee A A, Kumar A, Anwer R M, et al. Transformers in remote sensing: A survey[J]. Remote Sensing, 2023, 15(7):1860. DOI:10.3390/rs15071860

[66]
Huang H G, Chen Y P, Wang R S. A lightweight network for building extraction from remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021,60:5614812. DOI:10.1109/TGRS.2021.3131331

[67]
何家峰, 陈宏伟, 骆德汉. 深度学习实时语义分割算法研究综述[J]. 计算机工程与应用, 2023, 59(8):13-27.

DOI

[He J F, Chen H W, Luo D H. Review of real-time semantic segmentation algorithms for deep learning[J]. Computer Engineering and Applications, 2023, 59(8):13-27. ] DOI:10.3778/j.issn.1002-8331.2210-0144

[68]
Wang M M, Zhu B, Zhang J C, et al. A lightweight change detection network based on feature interleaved fusion and bistage decoding[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2023, 17:2557-2569. DOI:10.1109/JSTARS.2023.3344635

[69]
Yang H P, Chen Y Y, Wu W, et al. A lightweight Siamese neural network for building change detection using remote sensing images[J]. Remote Sensing, 2023, 15(4):928. DOI:10.3390/rs15040928

[70]
Wang L B, Gao D Y, Li X, et al. LWCCNet: Lightweight remote sensing change detection network based on composite convolution operator[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2023, 16:8621-8631. DOI:10.1109/JSTARS.2023.3314133

[71]
Lin J B, Jing W P, Song H B, et al. ESFNet: Efficient network for building extraction from high-resolution aerial images[J]. IEEE Access, 2019, 7:54285-54294. DOI:10.1109/ACCESS.2019.2912822

[72]
Liu Y H, Zhou J, Qi W H, et al. ARC-net: An efficient network for building extraction from high-resolution aerial images[J]. IEEE Access, 2020, 8:154997-155010. DOI:10.1109/ACCESS.2020.3015701

[73]
Sheikh M A A, Maity T, Kole A. IRU-net: An efficient end-to-end network for automatic building extraction from remote sensing images[J]. IEEE Access, 2022, 10:37811-37828. DOI:10.1109/ACCESS.2022.3164401

[74]
Qiu Y, Wu F, Yin J C, et al. MSL-net: An efficient network for building extraction from aerial imagery[J]. Remote Sensing, 2022, 14(16):3914. DOI:10.3390/rs14163914

[75]
You D, Wang S X, Wang F T, et al. EfficientUNet+: A building extraction method for emergency shelters based on deep learning[J]. Remote Sensing, 2022, 14(9):2207. DOI:10.3390/rs14092207

[76]
吴开顺, 郑道远, 陈妍伶, 等. 中国典型城市建筑物实例数据集[J]. 中国科学数据, 2021, 6(1):182-190.

[Wu K S, Zheng D Y, Chen Y L, et al. A dataset of building instances of typical cities in China[J]. China Scientific Data, 2021, 6(1):182-190. ] DOI:10.11922/noda.2021.0013.zh

[77]
刘耀辉, 杨新月, 李嘉禾, 等. 中国农村地区建筑物样本及标注无人机影像数据集[J]. 中国科学数据, 2022, 7(2):182-194.

[Liu Y H, Yang X Y, Li J H, et al. A dataset of building sampling and labeling of UAV images in rural China[J]. China Scientific Data, 2022, 7(2):182-194. ] DOI:10.11922/noda.2021.0010.zh

[78]
Li J Y, Huang X, Tu L L, et al. A review of building detection from very high resolution optical remote sensing images[J]. GIScience & Remote Sensing, 2022, 59(1):1199-1225. DOI:10.1080/15481603.2022.2101727

[79]
Chen H, Shi Z W. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection[J]. Remote Sensing, 2020, 12(10):1662. DOI:10.3390/rs12101662

[80]
Zhou S P, Feng Y T, Li S W, et al. DSM-assisted unsupervised domain adaptive network for semantic segmentation of remote sensing imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023,61:5608216. DOI:10.1109/TGRS.2023.3268362

[81]
Badrinarayanan V, Kendall A, Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12):2481-2495. DOI:10.1109/TPAMI.2016.2644615

PMID

[82]
Chen L C, Zhu Y K, Papandreou G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]// Computer Vision - ECCV 2018:15th European Conference, Munich, Germany, September 8-14, 2018,Proceedings, Part VII. ACM, 2018:833-851. DOI:10.1007/978-3-030-01234-2_49

文章导航

/