EN中文

Journal of Geo-information Science >

2023 , Vol. 25 >Issue 8: 1699 - 1716

DOI: https://doi.org/10.12082/dqxxkx.2023.230058

Global-local Feature Adaptive Fusion Method for Small Sample Classification of Hyperspectral Images

  • ZUO Xibing ,
  • LIU Zhi , * ,
  • JIN Fei ,
  • LIN Yuzhun ,
  • WANG Shuxiang ,
  • LIU Xiao ,
  • LI Meilin
Expand
  • Institute of Geospatial Information, Information Engineering University, Zhengzhou 450001, China
*LIU Zhi, E-mail:

Received date: 2023-02-11

  Revised date: 2023-03-12

  Online published: 2023-07-14

Supported by

Natural Science Foundation of Henan Province(222300420387)

Fold

Abstract

Acquisition of labeled samples for hyperspectral image classification is usually a time- and labor- consuming task. How to effectively improve the classification accuracy using a small number of samples is one of the challenges in the field of hyperspectral image classification. Most of existing classification methods for hyperspectral images lack sufficient multi-scale information mining, which leads to unsatisfactory classification performance due to small sample numbers. To address the aforementioned issue, this paper designed an adaptive fusion method by integrating global and local features for hyperspectral image classification with small sample numbers. Based on the dynamic graph convolutional network and the depth wise separable convolutional network, a two-branch network structure was constructed to mine the potential information of hyperspectral images from the global and local scales, which realizes the effective usage of labeled samples. Furthermore, the polarization self-attention mechanism was introduced to further improve the expression of intermediate features in the network while cutting down the loss of feature information, and the adaptive feature fusion mechanism was adopted to carry out adaptive fusion of global and local features. Finally, the fusion features flow into the full-connection layer and are manipulated by softmax to obtain prediction labels for each pixel of the hyperspectral image. In order to verify the effectiveness of the proposed method, classification experiments were carried out on four hyperspectral image benchmark data sets including University of Pavia, Salinas, WHU-Hi-LongKou, and WHU-Hi-HanChuan. We discussed and analyzed the influence of model parameters and different modules on the classification accuracy. Subsequently, a comprehensive comparison with seven existing advanced classification methods was conducted in terms of classification visualization, classification accuracy, number of labeled samples, and execution efficiency. The experimental results show that the dynamic graph convolutional network, depth wise separable convolutional network, the polarization self-attention mechanism, and the adaptive feature fusion mechanism all contributed to the improvement of hyperspectral image classification accuracy. In addition, compared with traditional classifiers and advanced deep learning models, the proposed method considered both execution efficiency and classification accuracy, and can achieve better classification performance under the condition of small sample numbers. Specifically, on these four data sets (i.e., University of Pavia, Salinas, WHU-Hi-LongKou and WHU-Hi-HanChuan). The overall classification accuracy was 99.01%, 99.42%, 99.18% and 95.84%, respectively; the average classification accuracy was 99.31%, 99.65%, 98.89% and 95.49%, respectively; and the Kappa coefficient was 98.69%, 99.35%, 98.93% and 95.14%, respectively. The corresponding source code will be available at https://github.com/IceStreams/GLFAF.

Key words： hyperspectral image classification; small sample; deep learning; depth wise separable convolutional network; super pixel segmentation; dynamic graph convolutional network; polarized self-attention mechanism; adaptive feature fusion

Cite this article

ZUO Xibing , LIU Zhi , JIN Fei , LIN Yuzhun , WANG Shuxiang , LIU Xiao , LI Meilin . Global-local Feature Adaptive Fusion Method for Small Sample Classification of Hyperspectral Images[J]. Journal of Geo-information Science, 2023 , 25(8) : 1699 -1716 . DOI: 10.12082/dqxxkx.2023.230058

1 引言

作为遥感技术的前沿领域，高光谱遥感以更窄且连续的光谱通道记录了地物在不同电磁波频段的诊断性信息[1]。高光谱影像分类是高光谱影像从生产走向应用的重要环节，其目的是为影像的每一个像素标注唯一的地物类别，最终生成一幅反映待分类影像地物分布的分类专题图。然而，高光谱影像本身具备高维非线性数据结构、数据冗余量大、样本标记难度高等固有特性，这些特性给高光谱影像分类带来了巨大的挑战。如何在小样本条件下稳定地实现高光谱遥感影像地物的精细分类仍然是亟待解决的问题[2]。
传统的高光谱影像分类方法通常将影像的分类过程划分为手工特征提取和机器学习分类器两个阶段。常用的特征提取方法有主成分分析[3]（Principal Component Analysis，PCA）、线性判别分析[4]（Linear Discriminant Analysis，LDA）、拓展形态学属性剖面[5]（Extended Morphological Attribute Profile，EMAP）、局部二值模式[6]（Local Binary Pattern，LBP）和简单线性迭代聚类[7]（Simple Linear Iterative Clustering，SLIC）等。常用的机器学习分类器包括支持向量机[8]（Support Vector Machines, SVM）、最近邻[9]（Nearest Neighbor，NN）等。传统的分类方法具备原理简单、参数量少的优点，但是其参数的确定大多依赖于经验知识，模型缺乏鲁棒性且智能化水平较低。
深度学习技术的涌现与不断创新改变了现有的分类格局，许多传统的高光谱影像分类方法已被各种基于深度学习的分类模型所替代[10⇓⇓-13]。基于深度学习的方法通过堆叠一系列的层次结构自动地从原始影像数据中提取高层次的诊断性特征，利用这些诊断性特征可以有效地提升高光谱影像的分类精度[14]。根据深度学习模型处理的高光谱影像数据形式的不同，现有的深度学习模型可以划分为基于规则栅格数据形式的高光谱影像分类模型和基于图数据形式的高光谱影像分类模型。其中，基于规则栅格数据形式的高光谱影像分类模型将高光谱影像视作三维数据立方体，通过深度学习模型对影像进行特征提取与分类，这种方式本质上并没有改变高光谱影像的原始数据形式。常用的基于规则栅格数据形式的深度学习模型有堆栈式自编码器[15]（Stacked AutoEncoder, SAE）、深度置信网络[16]（Deep Belief Networks, DBN）、卷积神经网络[17]（Convolutional Neural Networks, CNN）、循环神经网络[18]（Recurrent Neural Network, RNN）、生成对抗网络[19]（Generative Adversarial Networks, GAN）和近期兴起的Transformer网络[20]。基于图数据形式的高光谱影像分类模型首先将高光谱影像视作图数据，其中图节点用于表示像素点，图中的边用于表示像素点之间的依赖关系。随后利用图神经网络[21]（Graph Neural Network，GNN）在图数据上进行特征提取，实现图节点的分类。目前用于高光谱影像分类的主流图神经网络为图卷积网络[22-23]（Graph Convolutional Network，GCN），此外，图注意力网络[24]（Graph Attention Network，GAT）、图采样和聚合网络[25]（Graph Sampling and Aggregation Networks，GraphSAGE）等典型图神经网络模型也被相继应用于高光谱影像分类中。
高光谱影像不同像素点在全局尺度和局部尺度均具有丰富的上下文信息，然而上述深度学习模型并没有充分挖掘影像的这种多尺度信息，导致在小样本条件下的分类精度较差。此外，卷积神经网络基于局部感受野的思想，在提取影像的局部特征方面具有较大优势。图卷积网络将影像视作图数据，打破了既有的欧氏空间规范，能够有效捕捉像素点之间的全局依赖关系。基于此，文献[26]提出了一种小批次的图卷积网络，并将其与卷积神经网络相结合，构建了监督分类模型 FuNet。文献[27]利用超像素分割、图编码和图解码对高光谱影像进行图构造，并结合动态图卷积网络和卷积神经网络，构建了一种半监督分类模型CEGCN，有效提高了影像的分类精度。然而，FuNet和CEGCN均没有关注特征的空间相关性和通道相关性，并且都采用元素求和与特征串联等线性方式进行特征融合，对不同特征之间的语义不一致性和尺度不一致性欠缺考虑。针对上述问题，本文设计了一种全局特征和局部特征的自适应融合方法。该方法利用动态图卷积网络和深度可分离卷积网络分别提取影像的全局特征和局部特征，同时引入极化自注意力机制提升特征表达，并采用特征自适应融合机制对全局特征和局部特征进行自适应融合，进一步提升了高光谱影像在小样本条件下的分类精度。

2 研究方法

2.1 深度可分离卷积网络

卷积神经网络在高光谱影像分类领域应用广泛。然而，高光谱影像波段数众多，导致基于常规卷积核的神经网络模型具有较多的参数。为了构建更为轻量化的模型结构，本文采用深度可分离卷积[28]（Depthwise Separable Convolution，DSC）提取高光谱影像的局部特征。
深度可分离卷积由点卷积（Pointwise Convolution）和深度卷积（Depthwise Convolution）组成。假设输入特征的尺寸为h×w×l，其中h、w和l分别表示特征的长、宽和通道数。点卷积采用n个尺寸为1×1，通道数为l的卷积核，捕获影像光谱通道之间的相关性。图1给出了常规二维卷积与深度卷积的示意图。常规二维卷积使用n个尺寸为k×k(k>1)，通道数为l的卷积核对输入特征图进行卷积。深度卷积定义l个尺寸为k×k(k>1)，通道数为1的卷积核，分别对输入特征的每一个通道进行卷积，然后将l个卷积核的输出进行拼接得到输出特征。常规二维卷积的计算量为hwk2nl，深度可分离卷积的计算量为hwk2l+hwnl，深度可分离卷积计算量与常规二维卷积计算量的比值为 1 n + 1 k 2。因此深度可分离卷积的计算效率远优于常规二维卷积。
图1 常规二维卷积与深度卷积

Fig. 1 Conventional two-dimensional convolution and depthwise convolution

2.2 动态图卷积网络

图卷积网络是一种能够直接处理图数据的网络结构。图数据由节点和边组成，图中的边用于描述各节点之间的连接关系，一般由邻接矩阵表示。参照文献[22]，在图卷积网络的第l层，以第l-1层得到的特征和邻接矩阵作为输入，则第l层输出特征的计算公式如下：
                                  H ( l ) = σ D - 1 2 A D - 1 2 H ( l - 1 ) W ( l )
式中： H ( l )是第 l层的输出； A代表邻接矩阵； D代表 A对应的度矩阵； σ ( * )代表激活函数。式(1)是图卷积网络的一般表达式，从中可以发现，随着网络层数的增加，邻接矩阵是固定不变的。然而，随着每层节点特征的更新，节点之间的邻接关系却是不断变化的，因此初始的邻接矩阵无法准确描述每个网络层中节点之间的关联。针对此问题，构建了一种动态变化的图卷积网络。具体地，根据每个网络层的输入特征动态更新邻接矩阵。第l层的邻接矩阵的计算方法如下：
              A l = S i g m o i d ( ( H l - 1 W ψ l ) ( H l - 1 W ψ l ) T ) ⊙ A + I
式中： A l代表第l层更新后的邻接矩阵； H l - 1代表第l-1层输出的特征； W ψ l表示待学习的权重参数；符号 ⊙表示矩阵对应元素相乘； I代表对角矩阵。 S i g m o i d激活函数使得更新后的边权重在(0,1)区间，可以保证边权重的稳定性。动态图卷积网络表达式如下：
H ( l ) = σ ( D l ) - 1 2 A l ( D l ) - 1 2 H ( l - 1 ) W ( l )
图卷积网络的输入为不规则的图数据，而高光谱影像为规则的格网数据，因此需要将影像数据转换为图数据。为此，首先采用LDA实现影像的降维。随后利用SLIC算法将影像划分为N个空间上相连的超像素块 S i ( i = 1,2 , ∙ ∙ ∙ , N )，并将超像素块中像素特征的平均值作为超像素的特征，其中 N = ( H × W ) / λ ( λ > 1 )。最后将超像素作为图节点，并根据超像素之间的空间邻近关系构造邻接矩阵，有效减少邻接矩阵的内存占用。
为便于实现超像素特征和像素特征之间的自由转换，参照文献[27]，在二者之间定义一个分配矩阵 Q ∈ R H W × N， Q的定义如下：
Q i , j = 1                 X i ~ ∈ S j 0                 其 他
式中： X i ~表示高光谱影像沿空间维展开后的第i个像素。定义分配矩阵 Q后，将像素特征转换为超像素特征（图编码过程）的公式如下：
V = E n c o d e r ( X , Q ) = Q ^ T X ˜
式中： V表示超像素特征； X ˜表示像素特征； Q ^代表 Q的列归一化矩阵。同理，将超像素特征转换为像素特征（图解码过程）的公式如下：
X ˜ = D e c o d e r ( V , Q ) = Q V

2.3 极化自注意力机制

自注意力机制用于描述输入信息内部元素之间的相关性，是注意力机制的改进。为了更好地捕获高光谱影像的空间相关性和通道相关性，引入极化自注意力机制[29]（Polarized Self-Attention，PSA），包括通道极化自注意机制和空间极化自注意力机制。相比于其他的注意力机制，极化自注意力机制对空间维度和通道维度的压缩较小，有效减少了信息损失。
图2(a)给出了通道极化自注意力机制的示意图，首先使用2个1×1卷积将输入特征 X转换为 Q和 V。其中 Q的通道维度被完全压缩，并经过Softmax函数对 Q的信息进行增强， V的通道维度被压缩一半。随后将增强后的 Q与 V进行矩阵乘法，并在后面连接1×1卷积，并通过层归一化（LayerNorm）将通道维度还原。最后通过Sigmoid函数使得输出的通道注意力中的所有元素保持在区间(0,1)。最终将通道注意力与输入特征相乘，得到输出特征 Z c h。通道极化自注意力机制的计算公式如下：
Z c h = F S G W z ( σ 1 ( W v 1 ( X ) ) ⊗ F S M ( σ 2 ( W q 1 ( X ) ) ) ⊙ c h X
式中： W q 1、 W v 1和 W z分别代表3种1×1卷积； σ 1和 σ 2代表2种张量Reshape操作； F S M和 F S G分别代表Softmax函数和Sigmoid函数； ⊗代表矩阵乘法； ⊙ c h代表通道维乘法。
图2 极化自注意力机制示意

Fig. 2 Schematic diagram of the polarized self-attention mechanism

空间极化自注意力机制的示意图如图2(b)所示，首先通过2个1×1卷积将输入特征 X转换为 Q和 V。其中 Q通过全局平均池化操作进行压缩，并经过Softmax函数进行增强。随后将增强的 Q与 V进行矩阵乘法，并连接Reshape操作和Sigmoid函数，得到空间注意力。最终将空间注意力与输入特征相乘，得到输出特征 Z s p。空间极化自注意力机制的计算公式如下：
Z s p = F S G σ 3 F S M ( σ 1 ( F G A P ( W q 2 ( X ) ) ) ) ⊗ σ 2 ( W v 2 ( X ) ) ⊙ s p X
式中： W q 2和 W v 2分别代表2种1×1卷积； F G A P代表全局平均池化； ⊙ s p代表空间维乘法。

2.4 特征自适应融合机制

特征融合将来自不同网络层或网络分支的特征进行组合。较为常用的特征融合方式包括元素求和与特征串联，然而这种线性融合方式并没有关注不同特征之间的语义不一致性和尺度不一致性，更不能保证融合后的特征适用于特定任务，使得模型表现受限。而特征自适应融合机制[30]（Adaptive Feature Fusion，AFF）利用可学习的权重参数，以一种非线性的方式对输入特征进行自适应融合。
特征自适应融合机制的示意图如图3所示。给定输入特征 X ∈ R C × H × W和 Y ∈ R C × H × W，首先通过元素相加得到初始融合特征 O，随后利用1×1卷积分别计算局部通道注意力 L ( O ) ∈ R C × H × W和全局通道注意力 G ( O ) ∈ R C × 1 × 1。 L ( O )的计算公式如下：
L ( O ) = F B N W 1 ( F R e L U ( F B N W 2 ( O ) ) )
式中： W 1和 W 2分别代表2种1×1卷积； F B N和 F R e L U分别代表批量归一化函数和ReLU激活函数。 G ( O )的计算公式如下：
G ( O ) = F L N W 4 ( F R e L U ( F L N W 3 ( F G A P ( O ) ) ) )
式中： F L N和 F G A P分别代表层归一化函数和全局平均池化。与 L ( O )的计算公式略有不同，在 G ( O )的计算过程中，为了获取全局的上下文信息，需要先经过全局平均池化进行空间压缩。另外，由于本文方法以整幅高光谱影像为输入，批尺寸（batch size）为1，因此在进行特征压缩后，相应的批量归一化函数需要替换为层归一化函数。
图3 特征自适应融合机制示意

Fig. 3 Schematic diagram of the adaptive feature fusion mechanism

计算得到 L ( O )和 G ( O )后，将二者进行求和，并经过Sigmoid函数得到融合注意力 M ( O )。其计算公式如下：
M ( O ) = F S G L ( O ) ⊕ G ( O )
式中： F S G代表Sigmoid激活函数； ⊕代表矩阵的增广求和。由于融合注意力 M ( O )的元素处于区间(0,1)，所以最终以 M ( O )和 1 - M ( O )作为权重，对输入特征 X和 Y做加权平均，得到融合特征 Z ∈ R C × H × W。具体计算公式如下：
Z = M ( O ) * X + 1 - M ( O ) * Y
式中： *表示矩阵对应元素相乘。在模型训练过程中，AFF可以自动学习到适应特定任务的融合权重，使高光谱影像的全局特征和局部特征能够更加有效地融合。

2.5 总体网络结构

为有效集成高光谱影像的全局特征和局部特征，本文设计了一种全局特征与局部特征自适应融合的端到端分类框架（简记为GLFAF），如图4所示。GLFAF由5个模块构成，分别为光谱特征提取模块（简记为SFE）、动态图卷积模块（简记为DGC）、深度可分离卷积模块（简记为DSC）、极化自注意力模块（简记为PSA）和特征自适应融合模块（简记为AFF）。SFE模块由BN层和2个1×1卷积层组成。DGC模块依次由图编码层、2个交替出现的BN层与图卷积层、ReLU层和图解码层组成。DSC模块包含2个网络层，每个网络层依次由BN、1×1卷积、ReLU层、5×5的深度卷积和ReLU层组成。PSA模块和AFF模块均按照图2和图3所示构建。
图4 总体网络结构示意

Fig. 4 The overall schematic diagram of the network

首先，以待分类的高光谱影像为输入，在SFE模块中，通过1×1卷积减少影像的光谱冗余，提升特征的鲁棒性。随后，将提取得到的特征分别输入2个网络分支。第1个网络分支包含DGC模块和PSA模块，第2个网络分支包含DSC模块和PSA模块。DGC模块用于提取影像的全局特征，DSC模块用于提取影像的局部特征，PSA模块由通道PSA和空间PSA构成，用于进一步增强特征表示。为减少模型参数量，2个网络分支的PSA模块实施权值共享。最后将2个网络分支得到的全局特征和局部特征分别输入AFF模块中，经过全连接层输出并施加Softmax操作以获取最终分类概率图。
GLFAF的部分网络参数如表1所示。其中Conv代表卷积核， W 1和 W 2分别代表不同的图卷积权重。H、W和C分别代表影像的长、宽和波段数，N为超像素个数。Ci (i=1,2,3,4)代表卷积核个数或者特征维度，1×1(C1)代表C1个1×1的卷积核。参照计算机视觉中网络结构设计的一般经验[31]，DGC模块和DSC模块中特征维度的大小按倍数递增，即C3=2C2=2C1。C4大小为地物类别数。
表1 GLFAF的部分网络结构参数

Tab. 1 The partial network structure parameters of GLFAF

模块 网络层 输入特征 输出特征 滤波器尺寸
SFE Conv1_1 C×H×W C1×H×W 1×1 (C1)
Conv1_2 C1×H×W C1×H×W 1×1 (C1)
DGC 图编码层 C1×H×W C1×N HW×N
W1 C1×N C2×N C1×C2
W2 C2×N C3×N C2×C3
图解码层 C3×N C3×H×W HW×N
DSC Conv2_1 C1×H×W C2×H×W 1×1 (C2)
Conv2_2 C2×H×W C2×H×W 5×5 (C2)
Conv2_3 C2×H×W C3×H×W 1×1 (C3)
Conv2_4 C3×H×W C3×H×W 5×5 (C3)
通道PSA Conv3_1 CC3×H×W C3/2×H×W 1×1 (C3/2)
Conv3_2 C3×H×W 1×H×W 1×1 (1)
Conv3_3 C3/2×1×1 C3×1×1 1×1 (C3)
空间PSA Conv4_1 C3×H×W C3/2×H×W 1×1 (C3/2)
Conv4_2 C3×H×W C3/2×H×W 1×1 (C3/2)
AFF Conv5_1 C3×1×1 C3×1×1 1×1 (C3)
Conv5_2 C3×1×1 C3×1×1 1×1 (C3)
Conv5_3 C3×H×W C3×H×W 1×1 (C3)
Conv5_4 C3×H×W C3×H×W 1×1 (C3)
全连接层 C3×H×W C4×H×W C3×C4
为验证本文方法的有效性，选取SVM[8]、CDCNN[32]、SSRN[33]、FDSSC[34]、DBDA[35]、RULBP+GCN[23]和CEGCN[27]这7种分类方法作为对比方法。其中SVM是传统的机器学习分类器。CDCNN、SSRN、FDSSC和DBDA均以卷积神经网络为基础构建深度学习模型。RULBP+GCN采用改进的局部二值模式和图卷积网络对影像进行半监督分类。与本文方法类似，CEGCN也将卷积神经网络与图卷积网络集成到端到端的分类框架，但该方法既没有关注特征之间的空间相关性和通道相关性，也没有考虑不同特征之间的自适应融合。

3 试验数据集

本文选取高光谱影像分类领域公开的4组基准数据集开展分类试验，分别为University of Pavia数据集（简记为UP）、Salinas数据集（简记为SA）、WHU-Hi-LongKou数据集（简记为LK）和WHU-Hi-HanChuan数据集（简记为HC）。选取的4组数据集具有较强的代表性。其中UP和SA数据集均为机载高光谱影像，分别代表了国外的城市和山谷场景。LK和HC数据集均为无人机载高光谱影像，影像的空间分辨率更高，代表了国内不同区域的农业场景。特别地，HC数据集中存在较多的阴影区域，使得影像分类器面临更大的挑战。在试验过程中，每组数据集每类地物随机选取50个标记样本用于模型训练，其中前40个样本用作训练样本集，后10个样本用作验证样本集，影像的所有标记样本作为测试样本集。
UP数据集是由德国的机载反射光学光谱成像仪(Reflective Optics Spectrographic Imaging System，ROSIS-03)在2003年对意大利帕维亚城成像的高光谱数据，光谱覆盖范围为430~860 nm，影像大小为610像素×340像素，地物标注的像素有42 776个，空间分辨率为1.3 m，去除受噪声影响的波段后，剩余103个波段可用于分类。该数据集对9种地物进行了标注。地物类别、选取的训练样本数量、验证样本数量和测试样本数量如表2所示。
表2 UP数据集地物类别与样本数量

Tab. 2 Category of ground objects and sample number of UP data set （个）

类别序号 类别名称 训练样本 验证样本 测试样本
1 沥青路面 40 10 6 631
2 草地 40 10 18 649
3 砂砾 40 10 2 099
4 树木 40 10 3 064
5 金属板 40 10 1 345
6 裸地 40 10 5 029
7 沥青屋顶 40 10 1 330
8 砖块 40 10 3 682
9 阴影 40 10 947
总计 360 90 42 776
SA数据集是AVIRIS光谱仪获取的美国加利福尼亚州萨利纳斯山谷区域的高光谱影像，影像大小为512像素×217像素，地物标注的像素有54 129个，空间分辨率为3.7 m，原始影像共有224个波段，去除受噪声影响的波段后，剩余204个波段可用于分类。该数据集对16种地物进行了标注。地物类别、选取的训练样本数量、验证样本数量和测试样本数量如表3所示。
表3 SA数据集地物类别与样本数量

Tab. 3 Category of ground objects and sample number of SA data set （个）

类别序号 类别名称 训练样本 验证样本 测试样本
1 花椰菜-绿地-野草-1 40 10 2 009
2 花椰菜-绿地-野草-2 40 10 3 726
3 休耕地 40 10 1 976
4 休耕地-荒地-犁地 40 10 1 394
5 休耕地-平地 40 10 2 678
6 茬地 40 10 3 959
7 芹菜 40 10 3 579
8 葡萄-未培地 40 10 11 271
9 土壤-葡萄园-开发地 40 10 6 203
10 谷地-衰败地-绿地-野草 40 10 3 278
11 生菜-莴苣-4周 40 10 1 068
12 生菜-莴苣-5周 40 10 1 927
13 生菜-莴苣-6周 40 10 916
14 生菜-莴苣-7周 40 10 1 070
15 葡萄园-未培地 40 10 7 268
16 葡萄园-垂直棚架 40 10 1 807
总计 640 160 54 129
LK数据集是武汉大学RSIDEA团队于2018年7月17日在中国湖北省龙口镇采集的高光谱影像数据，该影像由配备在无人机平台上的headwall纳米级成像光谱仪获取，光谱覆盖范围为400~1 000 nm，影像大小为550像素×400像素，地物标注的像素有204 542个，空间分辨率为0.463 m，去除受噪声影响的波段后，剩余270个波段可用于分类。该数据集对9种地物进行了标注。地物类别、选取的训练样本数量、验证样本数量和测试样本数量如表4所示。
表4 LK数据集地物类别与样本数量

Tab. 4 Category of ground objects and sample number of LK data set （个）

类别序号 类别名称 训练样本 验证样本 测试样本
1 玉米 40 10 34 511
2 棉花 40 10 8 374
3 芝麻 40 10 3 031
4 阔叶大豆 40 10 63 212
5 窄叶大豆 40 10 4 151
6 大米 40 10 11 854
7 水 40 10 67 056
8 道路和房屋 40 10 7 124
9 混合杂草 40 10 5 229
总计 360 90 204 542
HC数据集是武汉大学RSIDEA 团队于2016年6月17日在中国湖北省汉川市采集的高光谱影像数据，该影像由配备在无人机平台上的headwall纳米级成像光谱仪获取，光谱覆盖范围为400~ 1 000 nm，影像大小为1 217像素×303像素，地物标注的像素有257 530个，空间分辨率为0.109 m，去除受噪声影响的波段后，剩余274个波段可用于分类。该数据集对16种地物进行了标注。地物类别、选取的训练样本数量、验证样本数量和测试样本数量如表5所示。
表5 HC数据集地物类别与样本数量

Tab. 5 Category of ground objects and sample number of HC data set （个）

类别序号 类别名称 训练样本 验证样本 测试样本
1 草莓 40 10 44 735
2 豇豆 40 10 22 753
3 大豆 40 10 10 287
4 高粱 40 10 5 353
5 空心菜 40 10 1 200
6 西瓜 40 10 4 533
7 绿色植被 40 10 5 903
8 树 40 10 17 978
9 草地 40 10 9 469
10 红色屋顶 40 10 10 516
11 灰色屋顶 40 10 16 911
12 塑料 40 10 3 679
13 裸土 40 10 9 116
14 道路 40 10 18 560
15 明亮物体 40 10 1 136
16 水 40 10 75 401
总计 640 160 257 530

4 结果与分析

本文的试验均在配备AMD Ryzen 9 5900 HX，3.30 GHz的处理器、显卡为Nvidia GeForce RTX 3080和内存为32 GB的windows系统笔记本电脑上进行。所有的试验均基于Python编程语言实现。本文方法训练迭代1 000次，训练过程中采用交叉熵损失函数，学习率为0.000 5，保存验证集上损失函数值最小的模型为最佳模型。在对比试验中，随机产生10组训练样本集和验证样本集，不同方法开展10次试验，最终取10次试验中评价指标的平均值作为最终结果，以保证试验的公平性与可信度。涉及的评价指标包括每类地物的分类精度、总体分类精度（Overall Accuracy, OA）、平均分类精度（Average Accuracy, AA）和Kappa系数。

4.1 参数设置与分析

在深度学习模型中，不同的网络结构对应不同的特征表达能力，从而导致不同的分类表现。由表1可知，本文设计的网络结构主要由超像素个数N和特征维度Ci(i=1,2,3)决定，而N的取值由 λ决定，C3=2C2=2C1。因此，为确定较佳的网络结构，设置 λ和C1的候选集分别为{100, 200, 300, 400}和{32, 64,128, 256}。图5给出了不同参数组合情况下4组数据集对应的总体分类精度。可以发现，当 λ值固定时，随着C1的增加，总体分类精度大致呈现先上升后下降的趋势。这主要是因为较小的特征维度无法对影像特征进行充分表达，而较大的特征维度将导致模型参数量过大，并容易造成信息冗余，因此最终确定C1=C2=64，C3=128。确定特征维度后，取图5中4组高光谱影像最高分类精度对应的 λ值作为较优值，最终UP、SA、LK和HC对应的 λ值分别取300、400、200和200。此外，在SVM、CDCNN、SSRN、FDSSC、DBDA、RULBP+GCN和CEGCN这7种对比方法中，SVM采用高斯径向基核函数，其包含2个超参数，即最优正则化参数 ς和核参数γ，这2个参数分别在 ς 2 - 2 , 2 - 1 , ⋯ , 2 7 , 2 8和 γ = 2 - 2 , 2 - 1 , ⋯ , 2 7 , 2 8的范围内进行二交叉验证并优化。其余6种对比方法的参数均按照原始文献进行设置。
图5 4组数据集上不同网络结构对应的总体分类精度

Fig. 5 The overall classification accuracy corresponding to different network structures in the four data sets

4.2 分类精度比较与分析

图6—图9分别给出了4组数据集的假彩色影像（第10、50、100波段合成）、地物真实标记以及不同分类方法的分类图。通过观察可知，SVM对应的分类图有大量的点噪声，分类效果不佳。CDCNN、SSRN、FDSSC、DBDA和RULBP+GCN虽然有效减少了分类图中的噪声，但是仍然存在地物误分类以及分类边界膨胀的现象。如LK数据集上DBDA、对混合杂草的误分类现象较为严重，SA数据集、、上RULBP+GCN分类边界的膨胀现象较为明显。CEGCN融合了影像的全局特征和局部特征，因此分类图有较好的视觉效果。相比于CEGCN，GLFAF产生的分类图更加平滑，并进一步减少了分类噪声和误分类的现象的存在。例如，UP数据集中的金属板，SA数据集中的葡萄-未培地和葡萄园-未培地，LK数据集中的道路和房屋，HC数据集中的塑料。这也定性地表明了本文采用的全局特征与局部特征自适应融合方法能够进一步避免信息损失，融合后的高层次特征有利于地物的精细分类。
图6 UP数据集上不同分类方法的分类结果

Fig. 6 The classification result of different classification methods on the UP data set

图7 SA数据集上不同分类方法的分类结果

Fig. 7 The classification result of different classification methods on the SA data set

图8 LK数据集上不同分类方法的分类结果

Fig. 8 The classification result of different classification methods on the LK data set

图9 HC数据集上不同分类方法的分类结果

Fig. 9 The classification result of different classification methods on the HC data set

表6—表9分别给出了4组数据集上不同方法的分类结果，表中加粗的部分对应每一行的最佳值。由表中数据可知，相比于传统的SVM分类器，基于深度学习的网络结构能够取得更高的分类精度。在深度学习方法中，设计不同的网络模型和采取不同的学习策略将导致不同的分类结果。CDCNN采用多尺度的二维卷积核提取影像的上下文信息，取得了高于SVM的分类精度。SSRN、FDSSC和DBDA均采用三维卷积核提取影像特征，在此基础上，SSRN引入残差连接结构以提升特征鲁棒性；FDSSC使用稠密连接结构对高光谱影像的空谱联合特征进行有效建模；DBDA利用空间自注意力机制和通道自注意力机制构建了双分支的网络结构。三者均取得了高于CDCNN的分类精度，既展现了三维卷积核在高光谱影像特征提取方面的优势，也表明了残差连接结构、稠密连接结构和注意力机制在高光谱影像分类领域的有效性。RULBP+GCN使用RULBP提取得到影像的局部纹理特征，随后使用轻量化的图卷积网络捕捉影像像素点之间的全局关联，在网络训练过程中有效地利用了标记样本与非标记样本，因此在小样本条件下取得了与SSRN、FDSSC、DBDA相近的分类结果。在7种对比方法中，CEGCN取得了较高的分类精度，表明融合高光谱影像的全局特征和局部特征能有效改善小样本条件下的分类表现。
表6 UP数据集上不同分类方法的分类结果

Tab. 6 Classification results of different classification methods on the UP dataset

类别序号 SVM CDCNN SSRN FDSSC DBDA RULBP+GCN CEGCN GLFAF
1 91.92 94.82 99.28 99.12 99.02 97.33 99.06 99.10
2 94.25 97.23 99.25 98.93 99.21 99.35 96.54 98.76
3 66.97 71.53 83.40 81.75 89.06 85.67 98.79 99.96
4 72.40 89.24 95.91 93.76 91.28 92.07 97.67 97.62
5 95.68 99.46 100.00 99.99 99.89 99.98 100.00 100.00
6 61.17 64.76 89.05 94.13 91.61 92.99 99.65 99.79
7 58.70 69.60 91.78 95.18 98.24 80.78 99.95 99.90
8 82.78 86.23 91.36 87.63 92.15 94.06 96.96 98.72
9 99.96 89.05 99.66 99.29 98.88 90.64 99.92 99.93
OA/% 81.70 86.15 95.55 95.58 96.05 95.48 97.81 99.01
AA/% 80.43 84.66 94.41 94.42 95.48 92.54 98.73 99.31
Kappa/% 76.64 82.24 94.17 94.20 94.83 94.08 97.16 98.69

注：加粗数值表示表格中每一行的最佳值。

表7 SA数据集上不同分类方法的分类结果

Tab. 7 Classification results of different classification methods on the SA dataset

类别序号 SVM CDCNN SSRN FDSSC DBDA RULBP+GCN CEGCN GLFAF
1 99.88 99.49 98.35 100.00 100.00 99.83 100.00 100.00
2 98.94 99.05 99.29 99.74 99.97 99.97 100.00 100.00
3 94.02 95.15 98.91 98.94 98.72 98.83 100.00 100.00
4 97.79 99.07 98.94 99.01 99.27 94.61 99.96 99.91
5 98.71 97.66 99.44 99.49 99.12 99.40 99.47 99.70
6 99.46 98.82 99.94 99.97 100.00 98.79 99.99 99.95
7 98.84 99.55 99.94 99.81 99.86 99.93 99.94 99.96
8 80.36 80.49 88.83 90.18 91.83 94.03 90.09 98.52
9 99.11 99.56 99.80 99.66 99.28 99.89 100.00 100.00
10 86.05 87.87 96.61 97.20 95.79 99.40 96.77 97.83
11 83.83 85.39 97.23 96.97 96.32 97.86 99.78 99.93
12 95.99 98.49 99.33 99.26 99.38 99.62 100.00 99.94
13 95.77 95.91 97.94 99.64 99.84 98.76 99.95 99.91
14 90.29 91.41 90.84 95.64 96.66 96.05 99.58 99.52
15 64.61 68.94 72.01 80.99 78.95 86.45 92.75 99.23
16 97.19 97.91 99.37 99.47 99.59 94.45 99.51 99.93
OA/% 88.44 89.00 91.60 94.64 94.22 96.10 96.71 99.42
AA/% 92.55 93.42 96.05 97.25 97.16 97.37 98.61 99.65
Kappa/% 87.17 87.78 90.67 94.04 93.58 95.66 96.34 99.35

注：加粗数值表示表格中每一行的最佳值。

表8 LK数据集上不同分类方法的分类结果

Tab. 8 Classification results of different classification methods on the LK dataset

类别序号 SVM CDCNN SSRN FDSSC DBDA RULBP+GCN CEGCN GLFAF
1 96.69 98.53 99.50 99.72 99.73 98.97 99.89 99.90
2 64.75 79.04 90.67 84.95 91.10 99.18 99.53 99.83
3 45.71 68.04 90.93 93.05 91.18 48.25 99.72 99.60
4 97.72 98.68 99.58 99.63 99.62 99.16 97.91 98.33
5 52.18 64.21 75.98 83.51 79.43 66.26 99.27 99.50
6 95.80 98.95 99.34 99.65 99.56 97.66 99.69 99.62
7 99.96 99.72 99.94 99.97 99.98 99.97 99.93 99.90
8 88.11 88.64 91.67 95.37 93.84 91.65 96.62 95.91
9 70.72 77.94 88.55 87.16 81.01 88.06 96.92 97.43
OA/% 91.89 95.08 97.73 98.03 97.24 96.08 99.06 99.18
AA/% 79.07 85.97 92.91 93.67 92.58 87.68 98.83 98.89
Kappa/% 89.53 93.61 97.03 97.42 96.40 94.91 98.77 98.93

注：加粗数值表示表格中每一行的最佳值。

表9 HC数据集上不同分类方法的分类结果

Tab. 9 Classification results of different classification methods on the HC dataset

类别序号 SVM CDCNN SSRN FDSSC DBDA RULBP+GCN CEGCN GLFAF
1 92.04 94.04 89.46 93.95 95.43 90.86 95.29 95.90
2 69.61 83.37 89.62 92.66 95.71 93.25 81.64 90.38
3 53.57 68.17 66.58 71.47 77.80 83.24 95.07 96.76
4 78.56 91.88 82.13 91.81 91.95 76.54 98.19 98.89
5 13.57 38.25 51.39 43.72 47.60 45.03 99.64 99.69
6 20.26 26.37 46.21 51.09 65.04 55.41 90.29 95.32
7 54.03 60.10 57.61 65.82 70.18 63.74 96.34 98.66
8 68.75 79.02 91.09 91.46 95.10 89.96 80.17 90.32
9 56.32 59.80 71.32 76.87 80.78 59.00 89.89 93.25
10 83.88 96.46 87.52 91.50 98.45 62.53 97.70 97.26
11 56.75 69.41 69.46 74.19 87.37 58.22 98.29 98.13
12 25.70 42.06 59.28 57.14 65.11 62.03 94.74 99.10
13 38.46 42.49 44.24 51.28 59.73 50.39 80.95 87.47
14 77.72 81.05 77.01 81.30 90.57 83.98 88.99 93.25
15 39.87 55.13 43.47 65.85 81.22 31.61 93.58 94.19
16 99.89 98.55 97.97 99.68 99.93 98.03 98.27 99.30
OA/% 71.02 77.87 79.72 84.98 89.98 79.78 93.03 95.84
AA/% 58.06 67.89 70.27 74.99 81.37 69.99 92.44 95.49
Kappa/% 66.88 74.56 76.50 82.62 88.35 76.81 91.87 95.14

注：加粗数值表示表格中每一行的最佳值。

本文设计的GLFAF在4组数据集上均取得了最高的OA、AA和Kappa系数。例如，相比SVM、CDCNN、SSRN、FDSSC、DBDA、RULBP+GCN和CEGCN，GLFAF在UP数据集上的OA分别提高了17.31%、12.86%、3.46%、3.43%、2.96%、3.53%、1.20%，在SA数据集上的OA分别提高了10.98%、10.42%、7.82%、4.78%、5.20%、3.32%、2.71%，在LK数据集上的OA分别提高了7.29%、4.10%、1.45%、1.15%、1.94%、3.10%、0.12%，在HC数据集上的OA分别提高了24.82%、17.97%、16.12%、10.68%、5.86%、16.06%、2.81%，从数据结果上定量地证明了GLFAF用于高光谱影像小样本分类的有效性。特别地，SA数据集的第8和第15类地物容易产生地物混淆，而GLFAF能够较好地区分这两类地物。GLFAF将图卷积网络提取得到的全局特征与深度可分离卷积网络提取得到的局部特征进行自适应融合，并采用极化自注意力机制增强特征表示，进一步提高了影像的分类精度。

4.3 消融试验

为验证不同模块用于改善分类精度的有效性，从GLFAF中分别移除SFE模块、DGC模块、DSC模块、PSA模块和AFF模块，并记录在4组数据集上对应的总体分类精度，如表10所示。其中试验组A代表本文方法，试验组B至F分别代表移除不同模块。可以发现，移除5个模块中的任何一个都将导致分类精度的下降，因此SFE模块、DGC模块、DSC模块、PSA模块和AFF模块均有助于分类精度的提高。其中试验组C和D的分类精度下降尤为明显，表明DGC模块和DSC模块挖掘到了影像更多的潜在信息，即全局特征和局部特征。
表10 4组数据集上的消融试验结果

Tab. 10 Results of ablation experiments on four data sets

试验组 网络模块 数据集
SFE DGC DSC PSA AFF UP SA LK HC
A √ √ √ √ √ 99.01 99.42 99.18 95.84
B × √ √ √ √ 98.47 98.07 98.52 95.08
C √ × √ √ √ 97.04 96.78 98.99 94.69
D √ √ × √ √ 94.59 98.96 98.35 94.91
E √ √ √ × √ 98.81 99.38 99.01 95.05
F √ √ √ √ × 98.70 98.86 99.03 95.38

4.4 标记样本数量的影响

高光谱影像标记样本的获取往往是一项费时费力的工作，因此小样本学习能力是检验模型能否应用于实际的重要标准之一。为此，在更加少量的标记样本条件下进一步检验本文方法应用于高光谱影像小样本分类的有效性。具体地，每类地物分别随机选取10、20、30、40个标记样本，其中80%的样本作为训练集，20%的样本作为验证集，影像的所有样本作为测试集。图10展示了不同分类方法在不同标记样本条件下的总体分类精度。可以发现，随着标记样本的增加，所有分类方法的分类精度均逐渐提高。相比之下，本文方法在标记样本减少的情况下仍能保持最高的分类精度，表明本文方法对于小样本情景具有更强的适应性。
图10 不同分类方法在不同标记样本条件下的总体分类精度

Fig. 10 The overall classification accuracy of different classification methods under different labeled samples

4.5 执行效率对比与分析

为验证本文方法的执行效率，将本文方法与CDCNN、SSRN、FDSSC、DBDA、RULBP+GCN和CEGCN共6种深度学习方法进行对比分析。以模型参数量（Params）、浮点运算数（Floating Point Operations，FLOPs）、单次迭代训练时长（Training）和测试时长（Testing）作为评价指标，其中FLOPs常用于衡量模型复杂度。具体试验结果如表11所示。由于RULBP+GCN只采用了单个隐藏层的图卷积网络，因此其模型参数量和模型复杂度均远远小于其他方法。除RULBP+GCN以外，GLFAF的模型参数量、模型复杂度、单次迭代训练时长与其余对比方法相近，且GLFAF的分类精度高于所有对比方法。特别地，相比于分类精度次优的CEGCN，GLFAF的模型复杂度更低。此外，由于GLFAF舍弃了小批次训练的方式，并以整幅高光谱影像为输入，因此其测试时长远远低于SSRN、FDSSC和DBDA等采用小批次训练方式的模型。综上，GLFAF是一种兼顾执行效率和分类精度的方法。
表11 不同分类方法在4组数据集上的执行效率对比

Tab. 11 Comparison of execution efficiency of different classification methods on four data sets

数据集 衡量指标 CDCNN SSRN FDSSC DBDA RULBP+GCN CEGCN GLFAF
UP Params/M 0.63 0.22 0.65 0.20 1.58×10-3 0.15 0.18
FLOPs/G 0.76 19.32 11.10 85.01 1.15×10-5 126.99 65.29
Training/s 0.15 1.84 2.36 0.15 0.66 0.22 0.36
Testing/s 0.70 4.83 9.90 9.58 1.38 1.29 1.31
SA Params/M 1.08 0.37 1.25 0.39 3.54×10-3 0.17 0.18
FLOPs/G 0.37 10.02 5.69 3.47 2.55×10-5 36.61 20.10
Training/s 0.25 3.43 4.31 0.40 0.17 0.11 0.20
Testing/s 1.17 11.84 22.94 23.83 0.99 0.91 0.95
LK Params/M 1.38 0.47 1.64 0.51 1.58×10-3 0.17 0.19
FLOPs/G 4.69 128.05 72.53 44.28 1.15×10-5 139.22 85.57
Training/s 0.16 2.00 2.52 0.30 0.69 0.24 0.41
Testing/s 5.80 88.16 119.75 121.80 2.47 2.52 2.55
HC Params/M 1.40 0.48 1.67 0.52 1.81×10-3 0.18 0.19
FLOPs/G 3.58 97.61 55.28 33.75 0.13×10-5 393.40 213.08
Training/s 0.26 3.54 1.86 1.05 0.47 0.32 0.29
Testing/s 27.17 111.60 46.43 61.14 1.93 11.61 12.65

5 结论

为充分挖掘高光谱影像的样本信息，并进一步提高影像在小样本条件下的分类精度，本文设计了一种全局特征与局部特征的自适应融合方法。该方法利用动态图卷积网络和深度可分离卷积网络，从全局和局部2种尺度挖掘了高光谱影像的潜在信息，实现了标记样本的有效利用。随后，引入极化自注意力机制，进一步捕获了影像特征的空间相关性和通道相关性。并采用特征自适应融合机制，实现了全局特征与局部特征之间的动态融合。在4组高光谱影像数据集上的试验结果表明，在小样本条件下，本文方法产生了更为平滑的分类图，进一步减少了误分类现象的存在，并在总体分类精度、平均分类精度和Kappa系数这3种评价指标上均优于现有的先进分类方法。同时，本文方法挖掘到了更多的细节信息，在标记样本进一步减少的情形下具有更强的适应性，是一种兼顾执行效率和分类精度的方法。
虽然本文方法能有效提升高光谱影像在小样本条件下的分类精度，但是生成的分类图仍存在部分区域分类效果不理想的情况。这可能与本文方法只针对超像素进行构图，而没有进一步对其内部的子像素进行构图有关。下一步的工作将探究如何在图节点中进一步构图，以更为精细的构图方式，在保证分类效率的同时，有效提高影像在小样本条件下的分类精度。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
余旭初, 冯伍法, 杨国鹏, 等. 高光谱影像分析与应用[M]. 北京: 科学出版社, 2013.

[Yu X C, Feng W F, Yang G P, et al. Hyperspectral image analysis and application[M]. Beijing: Science Press, 2013.]

[2]
Li S, Song W, Fang L, et al. Deep learning for hyperspectral image classification: an overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9):6690-6709. DOI:10.1109/TGRS.2019.2907932

DOI

[3]
Sun W W, Yang G, Peng J T, et al. Lateral-slice sparse tensor robust principal component analysis for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(1):107-111. DOI:10.1109/LGRS.2019.2915315

DOI

[4]
Bandos T V, Bruzzone L, Camps-Valls G. Classification of hyperspectral images with regularized linear discriminant analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(3):862-873. DOI:10.1109/TGRS.2008.2005729

DOI

[5]
Ghamisi P, Dalla Mura M, Benediktsson J A. A survey on spectral-spatial classification techniques based on attribute profiles[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(5):2335-2353. DOI:10.1109/TGRS.2014.2358934

DOI

[6]
Li W, Chen C, Su H J, et al. Local binary patterns and extreme learning machine for hyperspectral imagery classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(7):3681-3693. DOI:10.1109/TGRS.2014.2381602

DOI

[7]
Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11):2274-2282. DOI:10.1109/TPAMI.2012.120

DOI PMID

[8]
Peng J T, Zhou Y C, Chen C L P. Region-kernel-based support vector machines for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(9):4810-4824. DOI:10.1109/TGRS.2015.2410991

DOI

[9]
Tu B, Huang S Y, Fang L Y, et al. Hyperspectral image classification via weighted joint nearest neighbor and sparse representation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(11):4063-4075. DOI:10.1109/JSTARS.2018.2869376

DOI

[10]
李玉, 李奕燃, 王光辉, 等. 基于加权指数函数模型的高光谱图像分类方法[J]. 地球信息科学学报, 2020, 22(8):1642-1653.

DOI

[Li Y, Li Y R, Wang G H, et al. A hyperspectral image classification algorithm based on the weighted exponential function model[J]. Journal of Geo-information Science, 2020, 22(8):1642-1653.] DOI:10.12082/dqxxkx.2020.190383

DOI

[11]
杜培军, 夏俊士, 薛朝辉, 等. 高光谱遥感影像分类研究进展[J]. 遥感学报, 2016, 20(2):236-256.

[Du P J, Xia J S, Xue Z H, et al. Review of hyperspectral remote sensing image classification[J]. Journal of Remote Sensing, 2016, 20(2):236-256.] DOI:10.11834/jrs.20165022

DOI

[12]
马晓瑞. 基于深度学习的高光谱影像分类方法研究[D]. 大连: 大连理工大学, 2017.

[Ma X R. Hyperspectral imagery classification based on deep learning[D]. Dalian: Dalian University of Technology, 2017.]

[13]
张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望[J]. 自动化学报, 2018, 44(6):961-977.

[Zhang H K, Li Y, Jiang Y N. Deep learning for hyperspectral imagery classification: the state of the art and prospects[J]. Acta Automatica Sinica, 2018, 44(6):961-977.] DOI:10.16383/j.aas.2018.c170190

DOI

[14]
余岸竹, 刘冰, 邢志鹏, 等. 面向高光谱影像分类的显著性特征提取方法[J]. 测绘学报, 2019, 48(8):985-995.

DOI

[Yu A Z, Liu B, Xing Z P, et al. Salient feature extraction method for hyperspectral image classification[J]. Acta Geodaetica et Cartographica sinica, 2019, 48(8):985-995.] DOI:10.11947/j.AGCS.2019.20180499

DOI

[15]
Chen Y S, Lin Z H, Zhao X, et al. Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6):2094-2107. DOI:10.1109/JSTARS.2014.2329330

DOI

[16]
Chen Y S, Zhao X, Jia X P. Spectral-spatial classification of hyperspectral data based on deep belief network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6):2381-2392. DOI:10.1109/JSTARS.2015.2388577

DOI

[17]
Liu B, Yu A Z, Zuo X B, et al. Spatial-spectral feature classification of hyperspectral image using a pretrained deep convolutional neural network[J]. European Journal of Remote Sensing, 2021, 54(1):385-397. DOI:10.1080/22797254.2021.1942225

DOI

[18]
Mou L C, Ghamisi P, Zhu X X. Deep recurrent neural networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(7):3639-3655. DOI:10.1109/TGRS.2016.2636241

DOI

[19]
Zhu L, Chen Y S, Ghamisi P, et al. Generative adversarial networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9):5046-5063. DOI:10.1109/TGRS.2018.2805286

DOI

[20]
He J, Zhao L N, Yang H W, et al. HSI-BERT: Hyperspectral image classification using the bidirectional encoder representation from transformers[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(1):165-178. DOI:10.1109/TGRS.2019.2934760

DOI

[21]
Wu Z H, Pan S R, Chen F W, et al. A comprehensive survey on graph neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(1):4-24. DOI:10.1109/TNNLS.2020.2978386

DOI

[22]
Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[C]// Proceedings of the 5thInternational Conference on Learning Representations, 2017. DOI:10.48550/arXiv.1609.02907

DOI

[23]
左溪冰, 刘冰, 余旭初, 等. 高光谱影像小样本分类的图卷积网络方法[J]. 测绘学报, 2021, 50(10):1358-1369.

DOI

[Zuo X B, Liu B, Yu X C, et al. Graph convolutional network method for small sample classification of hyperspectral images[J]. Acta Geodaetica et Cartographica sinica, 2021, 50(10):1358-1369.] DOI:10.11947/j.AGCS.2021.20200155

DOI

[24]
Sha A S, Wang B, Wu X F, et al. Semisupervised classification for hyperspectral images using graph attention networks[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(1):157-161. DOI:10.1109/LGRS.2020.2966239

DOI

[25]
Ding Y, Zhao X F, Zhang Z L, et al. Multiscale graph sample and aggregate network with context-aware learning for hyperspectral image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14:4561-4572. DOI:10.1109/JSTARS.2021.3074469

DOI

[26]
Hong D F, Gao L R, Yao J, et al. Graph convolutional networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(7):5966-5978. DOI:10.1109/TGRS.2020.3015157

DOI

[27]
Liu Q C, Xiao L, Yang J X, et al. CNN-enhanced graph convolutional network with pixel- and superpixel-level feature fusion for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(10):8657-8671. DOI:10.1109/TGRS.2020.3037361

DOI

[28]
Chollet F. Xception: deep learning with depthwise separable convolutions[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017:1800-1807. DOI:10.1109/CVPR.2017.195

DOI

[29]
Liu H J, Liu F Q, Fan X Y, et al. Polarized self-attention: Towards high-quality pixel-wise regression[EB/OL]. 2021: arXiv: 2107.00782. https://arxiv.org/abs/2107.00782

[30]
Dai Y M, Gieseke F, Oehmcke S, et al. Attentional feature fusion[C]// 2021 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2021:3559-3568. DOI:10.1109/WACV48630.2021.00360

DOI

[31]
刘冰, 余旭初, 张鹏强, 等. 联合空-谱信息的高光谱影像深度三维卷积网络分类[J]. 测绘学报, 2019, 48(1):53-63.

DOI

[Liu B, Yu X C, Zhang P Q, et al. Deep 3D convolutional network combined with spatial-spectral features for hyperspectral image classification[J]. Acta Geodaetica et Cartographica sinica, 2019, 48(1):53-63.] DOI:10.11947/j.AGCS.2019.20170578

DOI

[32]
Lee H, Kwon H. Going deeper with contextual CNN for hyperspectral image classification[J]. IEEE Transactions on Image Processing, 2017, 26(10):4843-4855. DOI:10.1109/TIP.2017.2725580

DOI PMID

[33]
Zhong Z L, Li J, Luo Z M, et al. Spectral-spatial residual network for hyperspectral image classification: A 3-D deep learning framework[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(2):847-858. DOI:10.1109/TGRS.2017.2755542

DOI

[34]
Wang W J, Dou S G, Jiang Z M, et al. A fast dense spectral-spatial convolution network framework for hyperspectral images classification[J]. Remote Sensing, 2018, 10(7):1068. DOI:10.3390/rs10071068

DOI

[35]
Li R, Zheng S Y, Duan C X, et al. Classification of hyperspectral image based on double-branch dual-attention mechanism network[J]. Remote Sensing, 2020, 12(3):582. DOI:10.3390/rs12030582

DOI

Options
Outlines

/

〈 〉