EN中文

地球信息科学学报 >

2024 , Vol. 26 >Issue 12: 2741 - 2758

DOI: https://doi.org/10.12082/dqxxkx.2024.240488

遥感科学与应用技术

基于多模态特征提取与层级感知的遥感图像分割

  • 张银胜 , 1, 2, 3 ,
  • 单梦姣 2 ,
  • 陈昕 1 ,
  • 陈戈 2 ,
  • 童俊毅 2 ,
  • 吉茹 2 ,
  • 单慧琳 , 1, 2, 3, *
展开
  • 1.无锡学院江苏省集成电路可靠性技术及检测系统工程研究中心 无锡 214105
  • 2.南京信息工程大学电子信息与工程学院 南京 210044
  • 3.南京信息工程大学复杂环境智能保障技术教育部重点实验室 南京 210044
* 单慧琳（1981— ），女，江苏南京人，副教授，硕士生导师，主要从事人工智能和图像处理研究。E-mail:

张银胜（1975— ），男，江苏泰州人，教授，硕士生导师，主要从事遥感图像处理与深度学习研究。E-mail:

Office editor: 黄光玉

收稿日期: 2024-09-02

  修回日期: 2024-10-18

  网络出版日期: 2024-11-28

基金资助

国家自然科学基金项目(62071240)

国家自然科学基金项目(62106111)

江苏省产教融合型一流课程(2022-133)

无锡学院教改研究课题(XYJG2023010)

无锡学院教改研究课题(XYJG2023011)

收起

Remote Sensing Image Segmentation Based on Multi-modal Feature Extraction and Hierarchical Perception

  • ZHANG Yinsheng , 1, 2, 3 ,
  • SHAN Mengjiao 2 ,
  • CHEN Xin 1 ,
  • CHEN Ge 2 ,
  • TONG Junyi 2 ,
  • JI Ru 2 ,
  • SHAN Huilin , 1, 2, 3, *
Expand
  • 1. Jiangsu Integrated Circuit Reliability Technology and Testing System Engineering Research Center，Wuxi University, Wuxi 214105, China
  • 2. School of Electronic and Information Engineering, Nanjing University of Information Science and Technology, Nanjing 210044, China
  • 3. Key Laboratory of Intelligent Support Technology for Complex Environment, Ministry of Education, Nanjing University of Information Science and Technology, Nanjing 210044, China
* SHAN Huilin, E-mail:

Received date: 2024-09-02

  Revised date: 2024-10-18

  Online published: 2024-11-28

Supported by

National Natural Science Foundation of China(62071240)

National Natural Science Foundation of China(62106111)

The First-class Course of Industry-Education Integration in Jiangsu Province(2022-133)

The Teaching Reform Research Topic of Wuxi University(XYJG2023010)

The Teaching Reform Research Topic of Wuxi University(XYJG2023011)

Fold

摘要

高分辨率遥感图像中存在物体视觉特征模糊和同物异谱的问题，在单一模态下对相似地物和阴影遮挡的地物分割较为困难，因此本文提出了一种基于多模态特征提取与层级感知的遥感图像分割模型。本文引入了多模态特征提取模块来提 取不同模态的特征信息，并通过坐标注意力机制充分融合不同模态的特征。抽象特征提取模块采用具有双路径瓶颈块的MobileNetV3作为主干网络，并引入了层级感知网络来提取深层次的抽象特征，通过嵌入像素的场景感知来改进注意力机制，实现高效且准确的类级上下文建模。解码部分设计了多尺度聚合双重融合，将低级特征与高级抽象语义特征相结合，利用逐步上采样实现特征恢复。本文基于ISPRS Vaihingen和Potsdam数据集上的高分辨率遥感图像，实验结果表明： ① 在包括C3Net、AMM-FuseNet、MMFNet、CMFet、CIMFNet和EDGNet在内的一系列对比模型中，MFEHPNet在各项性能指标上得到了显著提高，验证了遥感图像的语义分割性能； ② MFEHPNet在ISPRS Vaihingen和Potsdam的总体精度为92.21%和93.45%、平均交并比为83.24%和83.94%、Kappa为0.85、频率加权交并比为89.24%和90.12%，显著提高了遥感图像的语义分割性能，能有效解决分割中的特征边界模糊和同物异谱等问题。

关键词： 遥感图像分割; 多模态特征提取; 双路径瓶颈块; 层级感知; 多尺度聚合; 双重融合

本文引用格式

张银胜 , 单梦姣 , 陈昕 , 陈戈 , 童俊毅 , 吉茹 , 单慧琳 . 基于多模态特征提取与层级感知的遥感图像分割[J]. 地球信息科学学报, 2024 , 26(12) : 2741 -2758 . DOI: 10.12082/dqxxkx.2024.240488

Abstract

In high-resolution remote sensing images, challenges such as blurred visual features of objects and different spectra for the same object arise. Segmenting similar ground objects and shaded ground objects in a single mode is difficult. Therefore, this paper proposes a remote sensing image segmentation model based on multi-modal feature extraction and hierarchical perception. The proposed model introduces a multi-modal feature extraction module to capture feature information from different modalities. Using the complementary information of IRRG and DSM, accurate pixel positions in the feature map are obtained, improving semantic segmentation of high-resolution remote sensing images. The coordinate attention mechanism fully fuses the features from different modalities to address issues of blurred visual features and different object spectra during image segmentation. The abstract feature extraction module uses MobileNetV3 with dual-path bottleneck blocks as the backbone network, reducing the number of parameters while maintaining model accuracy. The hierarchical perception network is introduced to extract deep abstract features, and the attention mechanism is improved by embedding scene perception of pixels. Leveraging the inherent spatial correlation of ground objects in remote sensing images, efficient and accurate class-level context modeling is achieved, minimizing excessive background noise interference and significantly improving the semantic segmentation performance. In the decoding module, the model uses multi-scale aggregation dual fusion for feature recovery, strengthening the connection between the encoder and the decoder. This combines low-level features with high-level abstract semantic features, enabling effective spatial and detailed feature fusion. Progressive upsampling is used for feature recovery, resolving the issue of blurred visual features and improving segmentation accuracy. Based on high-resolution remote sensing images from the ISPRS Vaihingen and Potsdam datasets, the experimental results demonstrate that MFEHPNet outperforms a series of comparison models, including C3Net, AMM-FuseNet, MMFNet, CMFet, CIMFNet, and EDGNet, across various performance indicators. In the ISPRS Vaihingen and Potsdam datasets, MFEHPNet achieves an overall accuracy of 92.21% and 93.45%, an average intersection ratio of 83.24 % and 83.94 %, and a Kappa coefficient of 0.85. The frequency-weighted intersection ratio is 89.24 % and 90.12%, respectively, significantly improving the semantic segmentation performance of remote sensing images and effectively addressing the issues of blurred feature boundaries and different spectra during segmentation.

Key words： remote sensing image segmentation; multi-modal feature extraction; Dual-path Bottleneck Block; hierarchical perception; multi-scale aggregation; dual fusion

1 引言

随着遥感卫星和高空平台的快速发展，高空间分辨率遥感图像的应用也变得越来越普遍[1]。遥感影像的语义分割在地貌特征的像素级分类方面具有重要意义，该技术已经在许多工业级图像中得到广泛应用[2⇓-4]。例如，环境灾害监测[5]、土地利用与土地覆盖制图[6-7]、农业资源管理[8]、滑坡识别[9]和交通管理[10⇓-12]等。遥感影像具有丰富的语义信息，但由于存在同物异谱和类间尺度不平衡的问题，使得语义分割任务具有挑战性。
随着人工智能技术的不断发展，全卷积神经网络(Fully Convolutional Networks, FCN）[13]将端到端的学习思想应用于图像分割。基于FCN的方法同样借助卷积来提取物体特征，例如，Unet[14]使用U型对称网络结构和多个跳跃连接；SegNet[15]提出了一种编码器-解码器结构；Deeplabv3+[16]利用级联解码器结构和空洞卷积来提取多尺度特征。除了方法和网络模型的选择，通过分析遥感影像数据形式和数据结构对语义分割的影响，发现单模态遥感影像数据只能从单一角度提供信息属性，难以获得较好的特征提取结果，引入多模态遥感数据来寻找高效、准确、鲁棒性更高的语义分割方法是可行的。
在多模态高分辨率遥感图像分割研究领域，遥感图像的双模态包括近红外、红、绿IRRG (Infrared、Red、Green)图像和数字表面模型DSM (Digital Surface Model)图像，其中IRRG图像具有纹理、颜色、形状等语义信息，语义信息一般指的是目标区域像素和周围区域像素之间的关联性[17]。DSM图像包含了三维空间的栅格化数据，以灰度图的形式体现不同物体的高度信息，高度信息差可以体现物体类别间的差异，可以作为IRRG图像的补充[18]。
为了在语义分割中应用多模态数据，Marcos等[19]简单的将IRRG图像和DSM图像结合作为输入，导致产生冗余信息。Audebert等[20]采用2个CNN网络对IRRG图像和DSM图像进行处理，并通过元素相加的方式进行模态特征融合，导致重要信息的丢失。FuseNet[21]分别提取IRRG和DSM，将多级深度特征自下而上地融合到编码器中，然而这忽略了对局部和全局信息的融合。为了减少冗余特征的引入并缓解图像噪声的影响，Cao等[22]提出了一种高效的C3Net，引入跨模态特征再校准模块，通过对相应模态特征进行转换，再将信息特征作为融合特征进行再校准和聚合，提高了多模态表征的质量；Ma等[23]提出了一种新型的动态深度网络AMM-FuseNet，该网络采用了通道注意机制和密集连接的空间金字塔池化来增强网络的表征能力；孙汉淇等[18]提出的MMFNet采用双输入流的方式同时获得了IRRG图像的光谱特征和DSM图像的高度特征；李钰等[24]，提出感知注意力块，利用RGB图像与深度图像在网络中的权重不同，凭借通道特征自适应选择的方式过滤掉冗余信息，以加权的方式获取它们的融合结果，实现深度信息对RGB信息的多级辅助。但过滤冗余信息会导致重要信息丢失，同时简单的加权融合忽略了不同模态间的差异性。Ma等[25]提出的CMFNet，通过跨模态多尺度变换器和多尺度上下文增强变换器来融合光学遥感图像的多尺度卷积特征图和数字表面模型数据。为了进一步融合多尺度信息， Zhou等[26]提出了CIMFNet，该网络引入了分层特征交互和金字塔池化模块提取多尺度上下文特征。尽管这些方法在模态融合策略方面做出了显著贡献，但缺乏对不同尺度特征信息的融合提取。因此， Jin等[27]提出了EDGNet，利用包含在边界中的空间信息来辅助多模态信息融合，将高层和低层特征之间的细节信息和语义信息相融合，以获得多模态融合特征。该方法专注于像素之间的关系，而忽略了对场景的感知。综上所述，多模态高分辨率遥感图像分割方面的应用研究已有较多成果，但仍存在一些不足。一方面多模态数据的简单结合，会导致产生过多的冗余信息及重要信息的丢失；另一方面由遥感图像种类丰富、多尺度的特点，使得模型缺乏对不同尺度特征信息的融合提取，而忽略了对局部和全局信息的融合，导致分割的精度下降。
为了更好地整合DSM并解决物体视觉特征模糊和同物异谱的问题，本文提出了一种基于多模态特征提取与层级感知（Multi-modal Feature Extraction and Hierarchical Perception, MFEHP）的遥感图像分割模型。该模型提取不同模态的特征信息，并引入了坐标注意力（Coordinate Attention, CA）将其融合；主干网络设计双路径降低参数量，结合层级感知网络（Hierarchical Perceptual Network, HPN）改进注意力机制；针对遥感图像中的多尺度问题，利用多尺度聚合（Multi-Scale Aggregation，MSA）融合高级和低级特征，强化特征提取能力。最后在ISPRS Vaihingen和Potsdam数据集[28]与已有分割模型进行对比，本文模型对图像类别的分割边界最清晰，并且对方差大的背景分类效果更稳定。

2 MFEHPNet模型结构

本文提出的MFEHPNet模型结构如图1所示。采用了编解码器结构，编码器部分为多模态特征提取模块（Multi-modal Feature Extraction Module, MEM）和抽象特征提取模块，模型输入的数据源采用IRRG和DSM图像，用于分别提取不同模态的特征信息，通过3×3卷积块来调整通道数，2×2的最大池化操作使得图片大小减半，提升模型的泛化能力，引入了坐标注意力机制将不同模态特征合并成一个整体，利用3×3的转置卷积，调整图像大小为224像素×224像素，并调整通道数为256个，最后利用卷积核大小为3×3和1×1的卷积调整通道数，保证输入主干网络的特征图大小为224像素×224像素×3通道，其中224为高和宽，利用DSM图像中的高程信息能有效克服模型前景物体光谱特征相似的问题。抽象特征提取模块，采用轻量级主干网络MobileNetV3来提取不同层次的语义信息，主干网络设计了双路径特征提取架构。为了更深层次的提取图像中的高级抽象语义特征信息，本文引入了层级感知网络HPN，将注意力与场景感知相结合，提出了场景感知注意力(Scene-Aware Attention，SAA)模块，通过嵌入像素的场景感知，促进相应模式的建模，并结合类中心生成模块（Class Center Generation，CCG），将像素通过引入局部类信息间接的与全局类信息相关联，促进相应物体的特征提取。解码器部分设计了多尺度聚合双重融合（Multi-Scale Aggregation Double Fusion，MSADF），选取对主干网络输出的中间层使用多尺度聚合来进一步提取低级特征，再与编码器输出的特征执行双重融合连接，利用3×3卷积获得细化的特征，并采用卷积核大小为4×4的转置卷积，将低分辨率的特征图放大到224像素×224像素，与输入图像的尺寸保持一致，以支持高精度的语义分割任务。
图1 MFEHPNet模型结构

Fig. 1 The model structure of MFEHPNet

2.1 多模态特征提取模块

多模态特征提取模块的结构如图2所示，各模块右侧的数字表示输出的通道数。利用不同模态的互补特性，减少图像分割过程中因同物异谱造成的分割边界模糊的问题。首先，特征提取通道是一个连体网络，它由2个相同的卷积神经网络组成，没有权重共享，将IRRG图像和DSM数据输入到特征提取通道结构中。该结构经过一个3×3深度卷积层，批归一化(Batch Normalization, BN)和ReLU激活函数，来提高模型的稳定性，避免过拟合。然后进行2×2的最大池化操作，特征图的大小变为原来的一半，再经过一个卷积块，输出IRRG特征图和DSM特征图。本文采用了通道连接将不同模态的特征进行融合，并通过坐标注意力加权处理，从而增强模型对多模态输入数据的表达能力和性能。模型中利用转置卷积操作来调整输出的图像尺寸大小，将加权后的特征图与上采样后的早期特征图串联，可以帮助减少伪像的出现，同时实现高层次抽象语义信息与低层空间细节信息的整合。最后，对融合后输出的特征图进行3×3深度卷积层和1×1卷积层的处理，调整模块最终输出通道数为3的特征图，对应于不同的语义信息，将输入数据经过一定处理后提取出的关键特征。
图2 多模态特征提取模块

Fig. 2 The model of multi-modal feature extraction

坐标注意力机制如图3所示。可将任何中间 特征张量 X = [ x 1 ,   x 2 , … ,   x C ] ∈ R C × H × W作为输入 并通过转换输出了相同大小同时具有增强表征的 Y = [ y 1 ,   y 2 ,   … ,   y C ]，在输入张量X的条件下，第C通道的步长可表示为：
Z c = 1 H × W ∑ i = 1 H   ∑ j = 1 W x c ( i ,   j )
图3 坐标注意力机制

Fig. 3 The mechanism of Coordinate Attention

式中：ZC是与第C通道相关的输出，输入X来自一个固定核大小的卷积层，是局部描述符xC的集合，H、W和C分别为特征表示的高度、宽度和维度。具体来说，首先使用尺寸为 ( H ,   1或 ( 1 ,   W )的池化核分别沿着水平坐标和垂直坐标对每个通道进行编码。因此，高度为h的第C通道的输出 Z c h ( h )可表示为：
Z c h ( h ) = 1 W ∑ 0 ≤ i < W x c ( h ,   i )
宽度为w的第c通道的输出 Z c w ( w )可写成:
Z c w ( w ) = 1 H ∑ 0 ≤ j < h x c ( j ,   w )
上述2种变换分别沿2个空间方向聚合特征，得到一对方向感知的特征图。对尺寸为 C × H × W输入特征分别按照X和Y方向进行池化，分别生成尺寸为 C × H × 1和 C × 1 × W的特征图。通过信息嵌入中的变换后，该生成的 C × 1 × W的特征图进行concat操作，公式如（4）所示。
f = δ ( F 1 ( [ z h ,   z w ] ) )
将 z h和 z w进行concat后进行F1操作（利用1×1卷积核进行降维）和激活函数δ，生成特征图 f ∈ R C / r × ( H + W ) × 1。沿着空间维度，再将f进行split操作，分成 f h ∈ R C / r × H × 1和 f w ∈ R C / r × 1 × W，其中r表示通道数的缩减比例，然后分别利用1×1卷积Fh、Fw进行升维操作，再结合sigmoid激活函数σ得到最后的注意力向量gh和gw，如式（5）、式（6）所示。
g h = σ ( F h ( f h ) )
g w = σ ( F w ( f w ) )
坐标注意力的最终输出 y c ( i ,   j )为：
y c ( i ,   j ) = x c ( i ,   j ) × g c h ( i ) × g c w ( j )
利用全连接层对通道进行加权，再将混合了通道信息的加权特征图分割为高度注意权值为H的空间注意图 A ∈ R C × H × 1和宽度注意权值为W的空间注意图 B ∈ R C × 1 × W。随后，将A和B分别应用于输入，通过矩阵广播乘法得到加权特征映射。坐标注意力机制不仅集成了多模态信息特征，还捕获了方向和位置敏感信息，使模型能够更准确地定位类别。

2.2 抽象特征提取模块

主干网络的输出特征需要通过多尺度抽象特征提取模块进一步映射为物体层面的抽象语义特征。为了降低网络参数，提高网路的推理速度，采用了具有双路径瓶颈块（Dual-path Bottleneck Block, DBB）的MobileNetV3作为该模型的主干网络，使得网络能够处理更加丰富复杂的特征，保留更多的纹理细节信息；同时引入了层级感知网络提取抽象的深层特征，嵌入像素的场景感知来利用地面目标的空间对应，解决遥感图像背景复杂的问题。
双路径瓶颈块结构如图4所示，为了保证提取特征信息的完整性，双路径采用不同大小的卷积核，来应对分割中的多尺度问题。其中，a路的输入特征图经过1×1卷积层、3×3深度卷积层和1×1卷积层。而b路中使用5×5深度卷积层进行处理。 2条路径的输出特征映射通过串联连接，模块使用点卷积（Pointwise Convolution, PWConv）构建过渡层来融合连接的特征图。
图4 双路径瓶颈块结构

Fig. 4 The structure of Dual-path Bottleneck Block

本文提出的基于MobileNetV3的详细网络结构如表1所示，主干网络中的部分瓶颈块采用参数量更低的双路径瓶颈块结构（DBB）代替。网络的第一层，有是一个标准的卷积层16个滤波器。网络中部由一系列bneck和DBB组成，网络通道数量逐渐增加。网络结构的最后一部分由平均池化层和标准卷积层组成。
表1 MobileNetV3网络结构

Tab. 1 The network structure of MobileNetV3

输入 操作 拓展大小 #out SE NL S
2242×3 conv2d - 16 - HS 2
1122×16 bneck，3×3 16 16 - RE 1
1122×16 DBB，3×3 64 24 - RE 2
562×24 bneck，3×3 72 24 - RE 1
562×24 DBB，5×5 72 40 √ RE 2
282×40 bneck，5×5 120 40 √ RE 1
282×40 bneck，5×5 120 40 √ RE 1
282×40 DBB，3×3 240 80 - HS 2
142×80 bneck，3×3 200 80 - HS 1
142×80 bneck，3×3 184 80 - HS 1
142×80 bneck，3×3 184 80 - HS 1
142×80 DBB，3×3 480 112 √ HS 1
142×112 bneck，3×3 672 112 √ HS 1
142×112 DBB，5×5 672 160 √ HS 2
72×160 bneck，5×5 960 160 √ HS 1
72×160 bneck，5×5 960 160 √ HS 1
72×160 conv2d，1×1 - 960 - HS 1
72×960 pool，7×7 - - - - 1
12×960 conv2d，1×1，NBN - 1280 - HS 1
12×1 280 conv2d，1×1，NBN - k - - 1

注: #out表示输出通道的数量；SE表示是否使用SE模块； NL表示非线性激活函数的类型，其中包括HS（H-Swish）和RE（ReLU）； S为步长，表示网络使用stride操作进行降采样； NBN表示没有BN操作；k表示卷积核的扩展因子。

遥感图像具有背景复杂、同物异谱的特点，而传统的注意机制由于密集的亲和操作过多地引入了背景噪声，难以处理相似光谱类别。考虑像素的全局背景以及其在注意力中的相对位置，可以促进相应物体的特征提取，本文提出层级感知网络如图5所示。主干网络的输出特征图作为该模块的输入R，并对R进行预分类，得到D。接着，类中心生成模块将R和D同时作为输入，计算全局类中心S，并将其裁剪为输出Sg。同样，对R和D裁剪得到的Rl和Dl进行处理，得到局部类中心Sl。随后，场景感知注意力模块将Rl、Sl、Sg作为输入，生成增强的特征表示Ra。恢复原始空间维度后，将Ra和R连接起来，得到输出特征表示RO。
图5 层级感知网络

Fig. 5 The model of Hierarchical Perceptual Network

为了说明本文层级感知网络的结构，一般形 式的注意机制如图6（a）所示，形式描述如下：给 定特征表示X Q, X K, X V ∈ R H × W × C ^，其中H、W和 C ^分别为特征表示的高度、宽度和维度，C表示通道数。注意机制应用3个不同的1×1卷积W Q, WK, WV ∈ R C ^ × C，得到q, k, v ∈ R H × W × C，其中 q = X Q W Q， k = X K W K, v = X V W V。每个输出元素Zi是输入元素{vj}的加权和，如式（8）所示。
Z i = ∑ j = 1 H × W α i j v j
式中：αij表示softmax函数对eij的权值。eij由式（9） 得到：
e i j = q i k j T C
图6 注意力模块结构

Fig. 6 The model structure of attention

在遥感图像中，通常采用空间注意机制的方法来聚合上下文信息，而忽略了像素的场景感知。因此，本文对空间注意机制进行了细化，提出了场景感知注意模块。
上下文信息嵌入。在遥感图像中，不同场景下地物之间的成对关系可能不同。例如，通常在城市地区与建筑物共存的道路可能在农村地区被农田包围。这表明嵌入上下文信息有利于像素级关系的建模，本文提出了一个上下文矩阵，并将前面的等式（9）重新表述为：
e i j = ( q i c ) k j T C
上下文矩阵c计算公式如下：
c = d i a g ( σ ( W 1 ( W 0 ( A v g P o o l ( Q ) ) ) + W 1 ( W 0 ( M a x P o o l ( Q ) ) ) ) )
式中：σ为sigmoid函数 W 0 ∈ R ( C ε ) × C、 W 1 ∈ R C × ( C ε )； ε是减速比； A v g P o o l和 M a x P o o l为平均池化和最大池化，本文为向量创建对角矩阵 d i a g，将汇总的上下文信息与输入特征连接起来。最后，上下文矩阵c将输入特征q进行上下文处理，这样注意力就可以根据给定的上下文进行调整。
位置信息嵌入。在遥感图像中，地物按照特定的内在模式在空间上分布，距离较近的对象通常会出现一定的组合，对象附近的像素可能表现出较高的相关性。一个像素对场景的感知依赖于它对相对位置的敏感性，这些相对位置被嵌入为：
e i j = ( q i c ) k j T + q i r i j T C
本文将一维序列中的信息扩展到二维平面中的像素，将它们的相对位置考虑为沿水平和垂直方向的组合效应。相对位置rij的编码定义如下：
r i j = P I x ( i ,   j ) ,   I y ( i ,   j )
式中： P ∈ R 2 ξ + 1 ) × ( 2 ξ + 1 ) × C是存储一组有索引的可训练向量； I x ( i ,   j ) = g ( x i - x j )和 I y ( i ,   j ) = g ( y i - y j )分别表示水平方向和垂直方向的下标，构成P的二维指标。g表示指标函数如下:
g ( x ) = m a x ( - ξ ,   m i n ( x ,   ξ ) )
式中：ξ为最大像素级距离。实际上，g(x)将距离映射为有限集合中的整数，大大减少了高分辨率遥感图像所需的参数数量和计算成本。
类中心生成模块CCG如图1所示，像素通过引入局部类信息间接的与全局类信息相关联。对注意力模块的输入X Q、X K、X V设置为给定的特征表示 R ∈ R C ^ × H × W，模块首先进行预分类，并得到相应的分布 D ∈ R K × H × W，其中K为类数。全局类中心S定义如式（15）所示，S表示 H × W × C ^的矩阵，而φ代表根据预分类生成的掩码，在原始特征映射中放置类中心的函数。接着，模块将R和D沿着空间维度进行分割，得到Rl和Dl，计算局部类表示Sl，如 式（16）所示。其中，h和w分别表示所选局部patch的高度和宽度， N h = H / h和 N w = W / w。同样地，S沿着空间维度分裂得到 S g ∈ R N h × N w × ( h × w ) × C ^。因此，注意模块的输入为：   X Q = R l， X K = S l， X V = S g。
S = φ ( D K × ( H × W ) ⊗ R ( H × W ) × C ^ ) )
S l = φ ( D l ( N h × N w ) × K × ( h × w ) ⊗ R l ( N h × N w ) × ( h × w ) × C )

2.3 解码模块

在解码模块中，一般使用4倍上采样直接恢复特征图以获得高级语义特征，但对于遥感图像容易丢失许多边界和细节信息。因此本文设计了双重融合结构，如图7所示。MSA输出的F3特征图大小为28×28×256，其中28为高和宽、256为通道数，与编码器输出的特征图经过卷积核大小为2×2的转置卷积进行连接操作，再进行一次相同的2倍上采样；之后与MSA输出的F2进行连接操作，以增强编码器和解码器之间的连接，将编码器中的两层低分辨率特征和高分辨率特征进行融合，拼接后的特征图通过1个1×1和2个3×3的卷积块，使得模型具有更好的特征映射能力来重建输入图像的分辨率，通过1×1的卷积调整通道数为3，最后利用4倍上采样，还原特征图大小为224×224×3，以获得更好的上下文信息和细节，有效地提升模型对图像中小目标物体的分割能力。
图7 双重融合结构

Fig. 7 The structure of dual fusion

为了改善编码器-解码器结构中空间等低级特征与高级抽象语义特征的融合效果，本文提出了一个多尺度特征聚合（Multi-Scale Feature Aggregation，MSA）模块，如图8所示，该模块用于处理主干网络输出的F2、F3和F4特征，将这些不同尺度的特征通过一个3×3，步幅为1的卷积来提取抽象 特征，经过自顶向下的上采样操作，卷积和大小为2×2。再将2倍上采样的结果与生成的相同大小的特征图进行融合。融合后的结果还会通过一个大小为3×3，步幅为2的卷积核来调整输出图像的大小，最终生成的特征图结果为F2和F3，以提升对图像物体的识别和分割能力。
图8 多尺度特征聚合模块

Fig. 8 The model of multi-scale-feature aggregation

3 数据处理与分析

为了提高模型的计算速度，本文采用随机梯度下降法（Stochastic Gradient Descent，SGD）进行训练。初始学习率设置为0.01，并使用动量衰减系数0.9和重量衰减系数0.000 1，每次训练使用的批量大小为16。实验环境的配置信息如表2所示。
表2 实验配置信息

Tab. 2 Experimental configuration information

配置名称 参数
CPU Intel(R) Core(TM) i9-12900KF
GPU NVIDIA GeForce RTX3090
操作系统 Windows 10
框架 Pytorch1.12.0
Memory 32 G
Video Memory 24 G

3.1 数据集

本文实验数据采用了ISPRS Vaihingen和Potsdam的高分辨率遥感图像进行验证。这些数据集涵盖了5个不同的语义类别，分别为建筑物、低矮植被、树木、汽车和不透明表面。Vaihingen数据集是来自德国Vaihingen的33幅高分辨率航空图像，平均图像大小为2 494像素×2 494像素，地面采样距离(Ground Sample Distance, GSD)为5 cm，每张图像包含IRRG图片以及一个相应的DSM数据。在实验中，本文选择了23个集合用于训练，另外10个集合用于测试。Potsdam数据集的遥感图像是通过航空摄影和卫星遥感技术获得的，覆盖了德国波茨坦市及其周边地区，该数据集有38幅6 000像素×6 000像素的精细分辨率图像，GSD为5cm，每张图像包含IRRG图片以及一个相应的DSM数据。在训练集中选取了26张图像，测试集中选取了12张图像，随机从这2组数据集中抽取了部分数据集进行实验验证，数据集具体示例如图9和图10所示。同时对数据集进行预处理操作，应用了滑动窗口裁剪，步幅为224像素。将图像裁剪为224像素×224像素，最终获得了3 135张Vaihingen图像，以及20 102张Potsdam图像，其中950张Vaihingen图像和 6 348张Potsdam图像是测试数据集。
图9 ISPRS Vaihingen数据集的示例

Fig. 9 Examples of ISPRS Vaihingen dataset

图10 ISPRS Potsdam数据集的示例

Fig. 10 Examples of ISPRS Potsdam dataset

在遥感图像中，当某些场景中的目标具有相似的光谱特征时，如图11(b)所示，光谱特征相似的蓝色框和黄色框对应“树木”和“低矮植被”这2个不同的类别。而在DSM图像中，高程信息可以更好地区分类别间的差异。而图11(a)中，2个框都是“背景”类别，但在DSM图像中高程信息呈现出几乎相同的外观。相比之下，在高分辨率图像的外观特征明显不同。因此，这表明在处理遥感图像时，利用多模态特征可以更有效地区分和识别不同的类别，尤其是当某些类别在单一模态下具有相似特征时。
图11 遥感图像分割的难点

Fig. 11 Difficulties of remote sensing image segmentation

3.2 实验结果

为了验证MFEHPNet对遥感图像分割的有效性，本文在ISPRS Vaihingen和Potsdam数据集上进行实验。首先，对各个模块分别进行对比实验。其次，为了评估提出的各个模块的重要性，进行了模块消融实验，并对消融实验的分割结果进行可视化对比。最后，将提出的MFEHPNet与其他模型进行对比。实验中采用总体精确率(Overall Accuracy，OA)、精确率（Precision，P）、召回率（Recall，R）、F1指数（F1）、平均交并比（Mean Intersection over Union，MIoU）、Kappa和频率加权交并比(Frequency Weighted Intersection over Union，FWIoU)、时间（Time）和每秒帧数（FPS）作为评价指标，以衡量遥感图像的分割效果。

3.2.1 多模态融合方式实验对比分析

为了验证所提出的多模态结构中特征融合的效果，该模块与不同的融合方式进行了实验对比。在多模态提取模块基础上，本文坐标注意力机制（CA）与相加融合（Add）[15]、Concat拼接操作[29]和Weighted Sum（WS）[30]的方法进行对比。不同融合方式的实验结果如表3所示。
表3 多模态融合方式实验对比(Vaihingen)

Tab. 3 Experimental comparison of multi-modal fusion methods (Vaihingen) (%)

融合方式 OA P R F1 MIoU
Add 88.74 89.06 82.42 85.91 80.97
Concat 90.21 89.78 86.16 87.63 82.66
WS 90.85 90.69 87.35 91.82 82.42
CA 91.66 92.14 89.83 92.55 82.89

注：加粗数值表示最优值。

由实验的数值结果可知。坐标注意力在特征空间内进行更深层次的交互和增强，可以根据实际问题的需求和数据的特点动态的调整注意力权重，因此在不同场景下能更好地适应多模态数据，但同时坐标注意力融合方式需要更多的计算来处理信息量丰富的遥感图像。与线性融合方法的Weighted Sum相比，MFEHPNet的准确率、F1指数和MIoU比Weighted Sum（WS）方法高0.81%、0.73%和0.47%，证明了通过引入坐标注意力机制，优化特征融合的过程，从而提升了分割精度和模型的整体性能。
为了验证输入DSM的效果，实验的数值结果如表4所示。DSM通过高度信息使得分割算法可以更准确地理解和划分不同地物的边界和结构，使得分割算法能够更准确、更全面地捕捉各类地物的特征。其输入效果指标明显优于单模态。另外，可视化了MFEHPNet输入IRRG单模态数据与输入双模态数据的分割结果，并用矩形框突出了改进的区域。如图12所示，DSM信息和IRRG图像具有互补性，能够反映地物的立体形态和空间布局，提供了额外的空间上下文，在图像边界上的噪声和误分类问题得到了改善，包括分割边界模糊(第一列)、被误分类为杂波、模糊区域扩散(第二列)、小目标汽车细节特征丢失（第三列）和被树木遮蔽(第四列)。实验结果表明，DSM的输入有助于提高地物的可分辨性，解决物体视觉特征模糊的问题，这得益于DSM提供的域不变性。
表4 输入不同模态的实验对比(Vaihingen)

Tab. 4 Experimental comparison of input different modes (Vaihingen) (%)

不同模态 OA P R F1 MIoU
单模态 90.24 90.77 80.32 84.23 82.46
多模态 92.21 92.66 80.51 87.94 83.24

注：加粗数值表示最优值。

图12 输入DSM可视化对比

Fig. 12 Comparison of input DSM effects

3.2.2 主干网络特征提取实验对比分析

为了验证MFEHPNet的主干网络在高分辨率遥感图像上进行特征提取的有效性，本文将其（DBB）与主干网络ResNet[31]和MobileNetV3（V3）[32]进行了对比实验。
实验结果如表5所示，瓶颈块中通过将输入特征映射均匀地分成2部分并分别处理，可以减少每个路径中的计算需求，在每秒帧数(FPS)指标上，DBB的速度最快为113.11帧/s。在模型大小方面，DBB为最小。双路径瓶颈块的设计考虑了不同卷积核大小的特性，实现了多路径信息的融合，能够有效地捕获和处理丰富复杂的特征，包括细节和全局结构，从而提升了分割精度，用来在有限的计算资源下实现良好的性能。在准确率上DBB为86.54%，分别提高了0.82%和1.1%。在MIoU上DBB为80.78%，分别提高了1.39%和3.87%。
表5 主干网络特征提取实验对比(Vaihingen)

Tab. 5 Comparison of backbone network feature extraction (Vaihingen)

网络 OA/% P/% R/% F1/% FPS/(帧/s) MIoU/%
ResNet 81.87 83.61 80.14 81.46 97.38 76.91
V3 85.44 86.03 81.89 82.90 106.21 79.39
DBB 86.54 87.21 82.73 84.92 113.11 80.78

注：加粗数值表示最优值。

3.2.3 抽象深层特征提取实验对比分析

随着模型在特征提取的过程中，语义信息的加强可以增进模型对各类别的理解。所提出的HPN模块与空间金字塔池化（Atrous Spatial Pyramid Pooling, ASPP）[15]和双重注意网络（Dual Attention Network, DANet）[33]中的Dual-ASPP（D-A）结构进行对比。
实验结果如表6可知，ASPP和Dual-ASPP专注于像素之间的关系，所提出的HPN模块注重对场景的感知，能够更全面地理解整体遥感图像的语义结构，从而准确地将像素分类到正确的类别中。其中MIoU提高了2.17%，F1指数提高5.92%。这些增强表明了所设计的HPN模块通过精细的类级上下文建模，提高了分割的精度和准确性。
表6 抽象深层特征提取实验对比(Vaihingen)

Tab. 6 Comparison of abstract deep feature extraction (Vaihingen) (%)

模块 OA P R F1 MIoU
ASPP 82.64 83.89 81.35 82.60 77.51
D-A 85.67 87.21 82.73 84.92 78.65
HPN 90.44 91.29 88.63 90.84 80.82

注：加粗数值表示最优值。

3.2.4 解码方式实验对比分析

本文提出的MSADF方法，与现有的直接4倍上采样（4U）和2次2倍上采样（D2U）进行了实验对比，结果如表7所示。
表7 解码方式提取实验对比(Vaihingen)

Tab. 7 Experimental comparison of decoding method extraction (Vaihingen) (%)

解码方式 OA P R F1 MIoU
4U 91.42 92.07 89.73 91.90 78.44
D2U 92.04 92.76 91.41 92.39 80.39
MSADF 92.14 93.60 92.08 92.73 81.91

注：加粗数值表示最优值。

由实验结果可知，多尺度聚合的方式充分利用了不同层次特征的信息，包括底层细节信息和高层抽象信息，将融合后的信息进行多组上采样，能够减少由于信息丢失而造成的分割精度损失，而在低分辨率和高分辨率特征融合中，可能会导致分割结果模糊不清，引入注意力会改善该问题，但同时也会大大加剧模型的参数量。本文提出的MSADF的各项指标均比其他上采样模块高，准确率分别提升了1.49%和0.87%。

3.2.5 消融实验

为了评估所提出的各个模型的重要性，分别逐步添加不同模块进行消融实验。本文选择多模态特征提取结合Deeplabv3+模型作为基线（B），将不同模态的特征图作为模型的多通道输入，再将通道输出的不同模态的特征进行像素相加，作为Deeplabv3+模型的输入。实验结果如表8所示。引入坐标注意力机制（C），网络能够自适应地调整每个模态特征的贡献度，可以实现模态间更有效的信息传递和互补，使实验精度提高了2.96%。采用改进后的主干网络（D），双路径的瓶颈块结构使用更少的参数来保持特征的丰富性，其FPS指标提升相对精度改进更快。在编码器中用HPN（H）进一步提取深层特征，该模块对于处理局部-全局间的累计上下文关系时效率更高，综合利用不同层次和尺度的语义信息的方式，在实验精度上提高了2.16%。最后加入MSADF（M）模块后，实验精度比基线提高了1.38%，解码模块聚合了多层次的语义信息，能更好地应对遥感图像复杂性和多样性，保留更多的目标位置和边界信息。消融实验结果证明了各模块在性能上都有所提升。
表8 各个模块的消融实验(Vaihingen)

Tab. 8 Ablation experiments of each module (Vaihingen)

模型 OA/% P/% R/% F1/% MIoU/% FPS/(帧/s) Kappa FWIoU/%
B 86.26 86.74 76.59 81.35 78.69 92.97 0.74 84.12
+C 88.95 89.31 78.26 83.42 81.12 97.14 0.77 85.03
+D 86.70 87.22 76.84 81.79 79.06 98.31 0.76 82.55
+H 88.42 88.84 77.87 82.90 80.22 96.82 0.79 86.87
+M 87.64 88.03 77.39 82.36 79.47 96.09 0.78 83.65
+CD 89.48 89.93 78.98 83.16 81.52 98.83 0.77 87.57
+CDH 90.42 90.71 79.48 83.85 81.93 108.48 0.79 87.72
+CHM 90.94 91.50 80.03 84.43 82.68 106.21 0.83 86.92
+CDHM 92.21 92.66 80.51 87.94 83.24 113.11 0.85 89.24

注：加粗数值表示最优值。

为了验证各模块分割效果，消融实验的可视化结果如图13所示。利用高程信息提高分辨力，所提出的多模态特征提取模块充分利用了不同模态间的互补特征，大大降低了阴影区域的噪声，减少错误分类的问题，例如红色框中所显示的区域。添加DBB结构后，对于“树木”类的分割形状更完整，位置更准确，如蓝色框中所示。由于建筑风格的不一致性，利用HPN模块改善了上下文关系，解决的光谱相似带来的边界分割不够精细或漏分割的情况，如蓝色框中所示。最终加入MSADF模块后，对图像分割的细节处理的更好，进一步规范了地面物体的形状，更好地预测出汽车等小物体。表明了本文模型的鲁棒性较强，增加了类的可分性。
图13 消融实验的可视化结果

Fig. 13 Visualization results of ablation experiments

3.2.6 HFESANet与其他模型对比实验分析

为了验证本文提出的MFEHPNet在图像分割任务中的性能，将其与当前先进的遥感图像分割模型C3Net、AMM-FuseNet（AMM）、MMFNet、CMFet、CIMFNet和EDGNet进行了比较。实验结果包括各类别的F1指数、总体精确率（OA）、Time、平均交并比（MIoU）、Kappa和FWIoU。在表9中说明了2个数据集上训练和测试的运行时间，所有模型均在相同的环境配置中进行训练，本文提出的模型需要最少的训练时间和测试时间。
表9 模型计算时间对比

Tab. 9 Comparison of model calculation time

模型 训练/h 测试/s
Vaihingen Potsdam Vaihingen Potsdam
C3Net 12 21 1.25 1.70
AMM 8 18 1.05 1.85
MMFNet 9.5 16.38 0.95 1.35
CMFet 8.5 13.5 0.85 1.25
CIMFNet 10.0 17.5 1.25 1.75
EDGNet 8.5 14.0 0.90 1.45
HFESANet 7.5 12.0 0.80 1.20

注：加粗数值表示最优值。

在遥感图像数据集类别间不平衡的情况下，模型越简单，模型收敛的效果越好，将DSM数据作为一个独立的通道来减少信息冗余，另外为了更有效的方式充分利用数据，在融合多模态特征时采用坐标注意机制，实现高效可靠的语义特征提取。EDGNet在特征提取阶段利用边缘检测引导模块，针对像素的光谱特征进行分类，缺乏对连续区域的识别能力。而提出的MFEHPNet嵌入像素的场景感知，使得每个像素能够更好地关联各类别与背景的关系。CIMFNet的空间金字塔池化，AMM-FuseNet中利用通道注意力的密集空间金字塔池化来提取全局多尺度上下文信息，这些方法侧重于捕获同质上下文依赖关系，而经常忽略类别差异，针对遥感图像多类别的特点则可能导致不可靠的上下文。本文HPN结合局部-全局来进行上下文建模，避免了过度引入背景噪声干扰。在多组模型中都选用ResNet作为主干网络，而其网络参数量大，为了减少残差块的计算量，基于MobileNetV3的轻量级网络，将输入特征映射分成2部分，利用过渡层实现特征融合。
在Vaihingen数据集中，不同模型对比实验结 果如表10所示。数据集包含5种不同类别，MFEHPNet对“低矮植被”分类的改善最为显著，比现有方法MAResU-Net提高了1.60%。此外，“建筑”类的分类准确率最高，达到93.89%，这种改进体现了DSM高程信息的优势。对于光谱相似的“树木”类别的分割，SAA模块通过嵌入上下文信息和位置信息，使得本文模型F1指数相比EDGNet模型提高了0.46%；本文模型各类别的F1指数相比EDGNet分别提升了0.24 %、1.60%、0.46%、0.93%和0.32%，总体精确率提升了2.27%，MIoU提高了0.93%。综合而言，所提出的模型在各项指标上取得了最佳结果，证明了该模型方法在精度提升方面的有效性。同时，模型在Potsdam数据集上进行了相同的对比，实验结果如表11所示。与EDGNet相比，各类别的F1指数分别提升了0.46%、0.75%、0.47%、1.23%和0.67%，总体精确率提升了1.88%，MIoU提高了1.37%。
表10 不同模型对比实验(Vaihingen)

Tab. 10 Comparative experiments of different models (Vaihingen)

模型 F1/% OA /% MIoU/% Kappa FWIoU/%
建筑物 低矮植被 树木 汽车 不透明表面
C3Net 89.04 80.52 85.53 84.77 88.92 86.50 78.41 0.65 82.56
AMM 89.63 82.29 86.51 85.46 89.35 87.44 79.68 0.70 84.37
MMFNet 90.55 82.79 86.83 85.54 89.53 88.01 78.93 0.78 82.69
CMFet 91.14 83.00 87.05 86.44 90.41 88.63 80.89 0.79 85.48
CIMFNet 92.37 83.74 87.26 87.72 90.64 89.38 80.42 0.82 84.82
EDGNet 93.65 84.11 88.68 88.85 90.87 89.94 82.31 0.80 86.68
HFESANet 93.89 85.71 89.14 89.78 91.19 92.21 83.24 0.85 89.24

注：加粗数值表示最优值。

表11 不同模型对比实验(Potsdam)

Tab. 11 Comparative experiments of different models (Potsdam)

模型 F1/% OA/% MIoU/% Kappa FWIoU
建筑物 低矮植被 树木 汽车 不透明表面
C3Net 92.89 86.86 88.01 89.45 90.45 90.07 79.21 0.71 83.50
AMM 92.35 86.13 87.76 89.14 89.34 89.89 80.04 0.70 85.37
MMFNet 93.23 87.39 88.90 89.02 90.68 90.34 79.92 0.74 84.42
CMFet 93.56 87.66 89.12 89.76 90.23 90.72 81.29 0.79 85.69
CIMFNet 94.17 88.30 90.08 90.08 90.91 91.21 81.66 0.78 86.41
EDGNet 94.55 88.67 89.83 90.56 91.64 91.57 82.57 0.84 88.62
HFESANet 95.01 89.42 90.30 91.79 92.34 93.45 83.94 0.85 90.12

注：加粗数值表示最优值。

进一步验证本文所提出的MFEHPNet模型的卓越性能，对该模型与AMM-FuseNet、CMFet、CIMFNet和EDGNet在Vaihingen和Potsdam数据集上进行了定性分析。图14、图15、图16展示了对Vaihingen数据集中不同类别分割的对比，图17展示了在Potsdam数据集上的分割结果。
图14 Vaihingen中低矮植被和树木分割结果

Fig. 14 Segmentation results of low vegetation and trees in Vaihingen

图15 Vaihingen中建筑物和背景分割结果

Fig. 15 Segmentation results of buildings and roads in Vaihingen

图16 Vaihingen中汽车分割结果

Fig. 16 Segmentation results of cars in Vaihinge

图17 Potsdam分割结果

Fig. 17 Segmentation results in Potsdam

在Vaihingen数据集中，各模型对低矮植被和树木的分割结果如图14所示。由于低矮植被和树木的边界特征模糊且场景相似，导致了较大的分割难度。在第一组分割图中，树木分布较为零散，其他模型存在边界模糊不清，导致在树木散落点的分割效果较差、分割边框差距大和漏检的问题。相比之下，本文提出的模型更好地解决了物体的视觉特征模糊，其边界形状与标签图最为符合。
各模型在Vaihingen数据集中对建筑物和背景的分割结果如图15所示。建筑物的像素与背景相似，具有同物异谱的特性，HPN模块将像素级别的特征与整体场景的语义信息进行嵌入，并利用全局类信息来指导每个像素的语义理解，从而提高了分割的准确性。在第一组分割图中，建筑物的边界与背景环境融为一体，其他模型存在不同程度的边界缺失问题；在第二和第三组图中，前4种模型在建筑物边界和存在树木遮挡的地方，会有错漏检或将建筑物误检为其他类别的问题。本文提出的模型对建筑物的分割更完整。
各模型在Vaihingen数据集中对汽车的分割结果如图16所示。由于汽车类型繁多且属于小目标物体，在分割中还存在阴影遮挡的问题。本文在解码模块中聚合多层次的信息保留更多的细节信息和抽象信息，在第一组分割图中，2辆白色汽车与背景像素有明显差异且无遮挡，模型很容易分割出汽车的准确位置，但会存在边界缺失和分割边界轮廓差距较大的问题。相比之下， MFEHPNet对汽车的分割边界形状更加准确；在第二组分割图中，上方的车辆与背景具有相似的场景特征，其他各模型分割出的汽车面积都偏小；在第三组分割图中，下方的车辆存在树木遮挡问题，在前4种模型中都未能完整地将汽车分割出来。可见，本文提出的模型在汽车的分割效果上表现最佳。
对Potsdam数据集的分割结果如图17所示，大范围遥感场景通常包含复杂的背景和多尺度的物体。图中五组分割结果分别以建筑物和背景为主、以树木和低矮植被为主、以汽车为主、以不透明表面为主。通过对比可知，本文模型不仅更好地保留了建筑物、低植被等语义对象的完整性和规律性，而且提高了汽车等小目标的分割性能。

4 结论与讨论

为了应对高分辨率遥感图像多尺度、物体特征模糊和同物异谱的问题，本文提出了一种基于多模态特征提取与层级感知的遥感图像分割模型MFEHPNet。
（1）利用IRRG和DSM的互补信息，获取特征图中精确的像素位置，改进高分辨率遥感图像的语义分割，解决图像在分割过程中存在的物体视觉特征模糊和同物异谱的问题。为了增强特征表示能力，引入坐标注意力机制，使得模型更好地关注每个通道中最重要的信息。
（2）主干网络中采用具有双路径瓶颈块DBB的MobileNetV3，在保证模型精确度的同时降低参数量。同时提出了场景感知注意力，利用遥感图像中地物的固有空间相关性，避免了过度引入背景噪声干扰的密集关注，显著提高了遥感图像的语义分割性能。
（3）在解码模块中，模型利用多尺度聚合双重融合进行特征恢复，增强了编码器和解码器之间的连接，实现了细节和空间等低级特征与高级抽象语义特征的有效融合，从而解决物体视觉特征模糊难以分割的问题。
（4）在ISPRS Vaihingen和Potsdam数据集上进行的实验表明，MFEHPNet在各种评价指标上优于其他模型。能够有效区分物体视觉特征模糊的地物和改善同物异谱的问题，如建筑物和背景、低矮植被和树木，并细化地物之间的区域边界，显著提高了高分辨率遥感图像语义分割的性能。
在研究中发现，虽然本文提出的MFEHPNet获得良好的分割性能。但仍存在一些不足。遥感分割的性能主要包括特征分割精度和模型的推理速度2个方面。目前改进的方法主要集中在调整模型架构上，然而在实际运用中，遥感数据类型和规模多样，因此模型可能无法完全适应所有复杂变化的情况，其在公开数据集上的测试结果可能不具有普适性。未来需进一步探索更具普适性的模型方法。在推理速度和模型鲁棒性方面还有进一步改进的空间。因此MFEHPNet还可以应用于其他机器视觉任务，未来还需继续改进模型，以处理更复杂的场景和高光谱图像。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
韦兴旺, 张雪锋, 薛云. 基于光谱和形状的遥感图像分割质量评估方法[J]. 地球信息科学学报, 2018, 20(10):1489-1499.

DOI

[Wei X W, Zhang X F, Xue Y. Remote sensing image segmentation quality assessment based on spectrum and shape[J]. Journal of Geo-information Science, 2018, 20(10):1489-1499.] DOI:10.12082/dqxxkx.2018.180183

[2]
Ahmed O S, Shemrock A, Chabot D, et al. Hierarchical land cover and vegetation classification using multispectral data acquired from an unmanned aerial vehicle[J]. International Journal of Remote Sensing, 2017, 38(8-10):2037-2052. DOI:10.1080/01431161.2017.1294781

[3]
Fan R Y, Feng R Y, Wang L Z, et al. Semi-MCNN: A semisupervised multi-CNN ensemble learning method for urban land cover classification using submeter HRRS images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13:4973-4987. DOI:10.1109/JSTARS.2020.3019410

[4]
Du S H, Du S H, Liu B, et al. Mapping large-scale and fine-grained urban functional zones from VHR images using a multi-scale semantic segmentation network and object based approach[J]. Remote Sensing of Environment, 2021, 261:112480. DOI:10.1016/j.rse.2021.112480

[5]
He Q B, Sun X, Yan Z Y, et al. Multi-object tracking in satellite videos with graph-based multitask modeling[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60:5619513. DOI:10.1109/TGRS.2022.3152250

[6]
张寅丹, 王苗苗, 陆海霞, 等. 基于监督与非监督分割评价方法提取高分辨率遥感影像特定目标地物的对比研究[J]. 地球信息科学学报, 2019, 21(9):1430-1443.

DOI

[Zhang Y D, Wang M M, Lu H X, et al. Compaaring supervised and unsupervised segmentation evaluation methods for extracting specific land cover from high-resolution remote sensong imagery[J]. Journal of Geo-information Science, 2019, 21(9):1430-1443.] DOI:10.12082/dqxxkx.2019.180628

[7]
李倩楠, 张杜娟, 潘耀忠, 等. MPSPNet和UNet网络下山东省高分辨耕地遥感提取[J]. 遥感学报, 2023, 27(2):471-491.

[Li Q N, Zhang D J, Pan Y Z, et al. High-resolution cropland extraction in Shandong province using MPSPNet and Unet network[J]. Journal of Remote Sensing, 2023, 27(2):471-491.] DOI:10.11834/JRS.20210478

[8]
Zhong B, Wei T F, Luo X B, et al. Multi-swin mask tra- nsformer for instance segmentation of agricultural fie- ld extraction[J]. Remote Sensing, 2023, 15(3):549. DOI:10.3390/rs15030549

[9]
蒋伟杰, 张春菊, 徐兵, 等. AED-Net:滑坡灾害遥感影像语义分割模型[J]. 地球信息科学学报, 2023, 25(10):2012-2025.

DOI

[Jiang W J, Zhang C J, Xu B, et al. AED-net: Semantic segmentation model for landslide recognition from remote sensing images[J]. Journal of Geo-information Science, 2023, 25(10):2012-2025.] DOI:10.12082/dqxxkx.2023.230171

[10]
Liu B H, Ding J H, Zou J, et al. LDANet: A lightweight dynamic addition network for rural road extraction from remote sensing images[J]. Remote Sensing, 2023, 15(7):1829. DOI:10.3390/rs15071829

[11]
Jiang Y N, Zhong C L, Zhang B T. AGD-linknet: A road semantic segmentation model for high resolution remote sensing images integrating attention mechanism, gated decoding block and dilated convolution[J]. IEEE Access, 2023, 11:22585-22595. DOI:10.1109/ACCESS.2023.3253289

[12]
Dong S J, Chen Z C. A multi -level feature fusion network for remote sensing image segmentation[J]. Sensors, 2021, 21(4):1267. DOI:10.3390/s21041267

[13]
Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4):640-651. DOI:10.1109/TPAMI.2016.2572683

PMID

[14]
Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science. Cham: Springer International Publishing, 2015:234-241. DOI:10.1007/978-3-319-24574-4_28

[15]
Badrinarayanan V, Kendall A, Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12):2481-2495. DOI:10.1109/TPAMI.2016.2644615

PMID

[16]
Chen L C, Zhu Y K, Papandreou G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[M]//Lecture Notes in Computer Science. Cham Springer International Publishong, 2018:833-851. DOI:10.1007/978-3-030-01234-2_49

[17]
张银胜, 吉茹, 童俊毅, 等. 基于双模态高效特征学习的高分辨率遥感图像分割[J]. 遥感学报, 2024, 28(2):481-493.

[Zhang Y S, Ji R, Tong J Y, et al. High resolution remote sensing image segmentation based on dual-modal efficient feature learning[J]. Journal of Remote Sensing, 2024, 28(2):481-493.] DOI:10.11834/jrs.20233162

[18]
Hazirbas C, Ma L N, Domokos C, et al. FuseNet: incorporating depth into semantic segmentation via fusion-based CNN architecture[M]//Lecture Notes in Computer Science. Cham Springer International Publishong, 2017:213-228. DOI:10.1007/978-3-319-54181-5_14

[19]
Marcos D, Volpi M, Kellenberger B, et al. Land cover mapping at very high resolution with rotation equivariant CNNs: Towards small yet accurate models[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 145:96-107. DOI:10.1016/j.isprsjprs.2018.01.021

[20]
Audebert N, Le Saux B, Lefèvre S. Beyond RGB: Very high resolution urban remote sensing with multimodal deep networks[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 140:20-32. DOI:10.1016/j.isprsjprs.2017.11.011

[21]
Cao Z Y, Diao W H, Sun X, et al. C3Net: Cross-modal feature recalibrated, cross-scale semantic aggregated and compact network for semantic segmentation of multi-modal high-resolution aeriala images[J]. Remote Sensing, 2021, 13(3):528. DOI:10.3390/rs13030528

[22]
Ma W L, Kaeakus O, Rosin P L. AMM-FuseNet: Attention-based multi-modal image fusion network for land cover mapping[J]. Remote Sensing, 2022, 14(18):4458. DOI: 10.3390/rs14184458

[23]
孙汉淇, 潘晨, 何灵敏, 等. 多模态特征融合的遥感图像语义分割网络[J]. 计算机工程与应用, 2022, 58(24):256-264.

DOI

[Sun H Q, Pan C, He L M, et al. Remote sensing image semantic segmentation network based on multimodal feature fusion[J]. Computer Engineering and Applications, 2022, 58(24):256-264.] DOI:10.3778/j.issn.1002-8331.2207-0010

[24]
李钰, 袁晴龙, 徐少铭, 等. 基于感知注意力和轻量金字塔融合网络模型的室内场景语义分割方法[J]. 华东理工大学学报(自然科学版), 2023, 49(1):116-127.

[Li Y, Yuan Q L, Xu S M, et al. Indoor scene semantic segmentation method based on perceptual attention and lightweight pyramid fusion network model[J]. Journal of East University of Science and Technology (Natural Science Edition), 2023, 49(1):116-127.] DOI:10.14135/j.cn ki.1006-3080.20210928002

[25]
Ma X P, Zhang X K, Pun M O. A crossmodal multiscale fusion network for semantic segmentation of remote sensing data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15:3463-3474. DOI:10.1109/JSTARS.2022.3165005

[26]
Zhou W J, Jin J H, Lei J S, et al. CIMFNet: Cross-layer interaction and multiscale fusion network for semantic segmentation of high-resolution remote sensing images[J]. IEEE Journal of Selected Topics in Signal Processing, 2022, 16(4):666-676. DOI:10.1109/JSTSP.2022.3159032

[27]
Jin J H, Zhou W J, Yang R W, et al. Edge detection guide network for semantic segmentation of remote-sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2023, 20:5000505. DOI:10.1109/LGRS.2023.3234257

[28]
Niemeyer J, Rottensteiner F, Soergel U. Contextual classification of lidar data and building object detection in urban areas[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 87:152-165. DOI:10.1016/j.isprsjprs.2013.11.001

[29]
Cao H C, Liu H, Song E M, et al. Dual-branch residual network for lung nodule segmentation[J]. Applied Soft Computing, 2020, 86:105934. DOI: 10.1016/j.asoc.2019.105934

[30]
Ma J Y, Yu W, Liang P W, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48:11-26. DOI:10.1016/j.inffus.2018.09.004

[31]
郑凯, 李建胜, 杨戬峰, 等. 天绘一号卫星遥感影像云雪检测的ResNet与DeepLabV3+综合法[J]. 测绘学报, 2020, 49(10):1343-1353.

DOI

[Zheng K, Li J S, Yang J, et al. ResNet and DeepLabV3+ comprehensive method for cloud and snow detection of tianhui-1 satellite remote sensing image[J]. Journal of Surveying and Mapping, 2020, 49(10):1343-1353.] DOI:10.11947/j.AGCS.2020.20190420

[32]
Weng Y B, Li Z C, Chen X H, et al. A railway track extraction method based on improved DeepLanV3+[J]. Electronics, 2023, 12(16):3500. DOI:10.3390/electronics12163500

[33]
Zhao S, Feng Z Z, Chen L, et al. DANet: A semantic segmentation network for remote sensing of roads based on dual-ASPP structure[J]. Electronics, 2023, 12(15):3243. DOI:10.3390/electronics12153243

Options
文章导航

/

〈 〉