EN中文

地球信息科学学报 >

2022 , Vol. 24 >Issue 11: 2212 - 2224

DOI: https://doi.org/10.12082/dqxxkx.2022.220089

遥感科学与应用技术

基于分层极限学习机影像转换的多源影像变化检测方法

  • 韩特 , 1 ,
  • 汤玉奇 , 1, 2, * ,
  • 邹滨 1, 2 ,
  • 冯徽徽 1, 2 ,
  • 张芳艳 3
展开
  • 1.中南大学地球科学与信息物理学院，长沙 410083
  • 2.中南大学 有色金属成矿预测与地质环境监测教育部重点实验室， 长沙 410083
  • 3.宁夏大学智能工程与技术学院，中卫 755000
*汤玉奇（1986— ），女，湖南长沙人，副教授，博士生导师，主要从事目标提取、遥感影像变化检测和自然资源监测 等研究。E-mail:

韩 特（1995— ），男，宁夏银川人，博士生，主要从事多源遥感影像的变化检测方法研究。E-mail:

收稿日期: 2022-03-02

  修回日期: 2022-04-05

  网络出版日期: 2023-01-25

基金资助

国家重点研发计划项目(2018YFA06055)

国家自然科学基金项目(41971313)

湖南省自然科学基金项目(2019JJ40372)

收起

Heterogeneous Images Change Detection Method based on Hierarchical Extreme Learning Machine Image Transformation

  • HAN Te , 1 ,
  • TANG Yuqi , 1, 2 ,
  • ZOU Bin 1, 2 ,
  • FENG Huihui 1, 2 ,
  • ZHANG Fangyan 3
Expand
  • 1. School of Geosciences and Info-Physics, Central South University, Changsha 410083, China
  • 2. Key Laboratory of Metallogenic Prediction of Nonferrous Metals and Geological Environment Monitoring, Central South University, Ministry of Education, Changsha 410083, China
  • 3. School of Intelligent Engineering and Technology, Ningxia University, Zhongwei 755000, China
*TANG Yuqi, E-mail:

Received date: 2022-03-02

  Revised date: 2022-04-05

  Online published: 2023-01-25

Supported by

National Key Research and Development Program of China(2018YFA06055)

National Natural Science Foundation of China(41971313)

Natural Science Foundation of Hunan Province(2019JJ40372)

Fold

摘要

为提高现有多源影像无监督变化检测方法存在的检测结果易受噪声影响和计算效率低等问题，本文提出了一种基于分层极限学习机影像转换的多源影像变化检测方法。分层极限学习机（Hierarchical Extreme Learning Machine， HELM）通过多层前向编码获得丰富的特征表示，且当特征提取完成即可确定网络参数。本文方法首先通过对合成孔径雷达（Synthetic Aperture Radar， SAR）影像进行对数转换，以获得与光学影像相同的影像噪声分布，并利用影像平滑减少影像噪声对变化检测结果的影响；然后分别对多源影像进行聚类分析，通过对比两时相影像的聚类图获得初始变化检测图，选取初始变化检测图中的未变化区域的像元作为初始训练样本，构建训练样本修正模型修正初始训练样本以提高训练样本的准确性；引入HELM以实现多源影像特征空间转换，获取多时相空间转换影像，提高了算法效率；最后通过对比原始影像和多时相空间转换影像获取变化信息。两组多源影像(Google Earth和哨兵1号影像)的实验结果表明：与现有方法相比，本文方法的Kappa系数分别至少提高了6.19%和8.94%，证明了本文方法对多源影像变化检测的有效性。

关键词： 分层极限学习机; 影像转换; 多源影像; 变化检测; 噪声分布; 训练样本; 修正模型

本文引用格式

韩特 , 汤玉奇 , 邹滨 , 冯徽徽 , 张芳艳 . 基于分层极限学习机影像转换的多源影像变化检测方法[J]. 地球信息科学学报, 2022 , 24(11) : 2212 -2224 . DOI: 10.12082/dqxxkx.2022.220089

Abstract

Due to the complementary information between different imaging mechanisms, heterogeneous image change detection is a challenging and hot topic compared to homogeneous image change detection. Its application is widespread, especially in emergency situations caused by natural disasters. To address the limitations of existing methods such as susceptibility to noise, manually selecting samples, and time-consuming computation, we propose a change detection method for heterogeneous images based on image transformation using Hierarchical Extreme Learning Machine (HELM). In our method, a HELM transformation model between heterogeneous images is constructed, which transforms the image features of one image into the feature space of the other one. Consequently, the transformed multi-temporal images could be comparable. Specifically, first, the logarithmic transformation of SAR images is carried out to obtain the same noise distribution model with the optical image. These heterogeneous images are smoothed to reduce the impact of image noise. Then, through image segmentation, the unchanged areas are selected as training samples. And a correction model for training samples is constructed to avoid manual selection of samples and improve the accuracy of image transformation. Subsequently, the corrected training samples are used to train the HELM to obtain the multi-temporal transformation images, which avoids the parameter adjustment of neural networks. Finally, the changes could be extracted by comparing the transformed multi-temporal images. To prove the effectiveness of the method, two sets of heterogeneous images (Google Earth and Sentinel 1 images) are used for experimental validation in this paper. The results show that the kappa coefficients of the method for the two data sets are improved by 6.19% and 8.94%, respectively, compared with the existing methods, which proves the effectiveness of the proposed method.

Key words： hierarchical extreme learning machine; image transformation; heterogeneous images; change detection; noise distribution; training samples; correction model

1 引言

遥感影像变化检测是指利用不同时相的遥感影像对同一地理场景中的地物变化进行定量评估与分析[1]。变化检测在许多领域具有广泛应用，例如土地覆盖/利用监测[2]、林地资源监测[3]、灾害评估[4]等。随着遥感技术的发展，遥感数据已呈现多时相、多通道、多传感器的趋势，并成为监测地表变化的主要数据源（如：SAR影像、光学影像和LiDAR数据等）。根据多时相影像的传感器类型差异，变化检测方法可以分为同源影像变化检测和多源影像变化检测。
同源影像变化检测是指利用同一传感器获取的遥感影像进行变化检测。根据影像基本处理单元的大小，这些方法可以分为基于像元[5⇓⇓-8]和基于对象的方法[9-10]。
多源影像变化检测是利用不同卫星传感器获取的影像进行变化检测[18⇓⇓⇓⇓⇓⇓⇓⇓⇓⇓-29]。由于光学影像具有广阔的覆盖范围和丰富的光谱、纹理特征，而SAR数据可提供全天时、全天候的观测，因此本文的工作着重于利用光学和SAR影像进行变化检测，以应对洪涝、山体滑坡、地震、火山爆发和森林大火等伴随着恶劣天气的突发性事件。然而，由于光学和SAR影像的成像特征、几何特性以及空间、辐射分辨率等差异，同源影像变化检测方法不再适用于多源影像变化检测。
目前，多源影像变化检测方法研究正处于发展阶段。根据是否需要训练样本，可将现有多源影像变化检测方法分为监督方法或无监督方法。在多源影像的监督变化检测方法中，Mercier等[11]假设两幅多源影像间的未变化区域具有某种相关性，该相关性根据Copula理论分位数回归进行建模，根据后时相影像得出前时相影像局部统计量的估计值，并应用Kullback-Leibler散度比较统计量差异以提取变化信息。Liu等[12]通过选取未变化区域样本，利用K最邻近法（K-Nearest Neighbor，KNN）进行同质像元转换（Homogeneous Pixel Transformation，HPT）以生成光学影像和SAR影像的映射影像，进而对比原始影像和映射影像得到变化检测图。由于专业知识的差异会导致手工选择的训练样本存在差异，而训练样本质量的优劣将直接影响变化检测的精度，因此在实际应用中效率不高。
为了减少对训练样本的依赖，Yousif等[13]利用修正比值算子融合多源影像产生初始变化图，再用K均值聚类算法从初始变化图中选取训练样本，并通过支持向量机对初始变化图进行二值分割得到变化检测图。Luppino等[14]比较了4种回归方法(高斯过程、支持向量机、随机森林和同质像元转换)获取的光学/SAR映射影像，并通过对比原始影像和映射影像得到变化区域。一些学者认为多源影像的灰度信息、统计关系等在未变化区域具有较高相似性，而变化区域则表现出较大的差异，因此选择采取相似性度量的方法进行多源影像的变化检测：Alberga等[15]利用互信息法、集群奖励法和相关比率法等相似性度量法进行多源影像变化检测方法，但上述方法均容易受到估计窗口和度量计算方法的影响。Touati等[16]提出一个新的能量模型并结合FastMap算法得到多源影像的相似性度量图，进而融合5种阈值算法得到最终的变化图。这些方法在针对多源影像的变化检测中取得了一定效果，但是对影像噪声的抑制欠佳，导致了许多误检和错检。Sun等[17]利用非局部相似图检测多源影像间的变化信息，提出了非局部块相似图法（Nonlocal patch Similarity based Graph，NPSG）和改进非局部块相似图法（Improved Nonlocal Patch based Graph, INLPG）[18]，但是该方法的参数需要恰当的设置。
深度神经网络是机器学习的一种，通过多层次非线性结构学习复杂抽象的样本数据并刻画其本质特征，能够学习数据的深层次特征，因而被越来越多地用于遥感变化检测中。Liu等[19]提出了一种对称耦合卷积网络（Symmetric Convolutional Coupling Network, SCCN），该算法通过使用未变化像元训练网络，以将两个多源影像转换到相同的特征空间进行比较。为了扩大变化和不变区域之间的差异，Zhao等[20]中提出了一种近似对称的深度神经网络（Approximately Symmetrical Deep Neural Network, ASDNN），将变化和未变化像元都用来训练,从而将多源影像转换到同一特征空间，通过分析特征空间中的向量差异确定变化区域。为了对变换后的SAR和光学图像进行联合特征提取以选择训练样本，Zhan[21]等中提出了对数变换特征学习（Logarithmic Transformation Feature Learning, LTFL）框架，并通过训练后的分类器获得了变化检测图。Wu[22]和Niu[23]等分别利用公共自编码器（Commonality Autoencoder, CA）和条件生成对抗网络（Conditional Generative Adversarial Network，CGAN）将多源影像转换到同一特征空间进行对比以提取两时相影像的变化信息。所有这些方法都可以充分学习训练样本，但是需要较长的时间进行网络训练，且网络参数需要恰当的设置。
为了在充分利用深度学习对多源影像变化检测结果噪声抑制能力的同时，避免样本选择与网络参数设置的变化检测结果造成的影响，提高算法效率，本文提出了一种基于分层极限学习机影像转换的多源影像无监督变化检测方法。与其他深度神经网络不同，HELM[24]的隐藏层可用随机给出的参数而无需进行调整，并获得丰富有效的特征表示。本文方法通过将SAR影像进行对数变换，以获得和光学影像同样的概率分布模型，并对对数变换后的SAR影像和光学影像进行平滑处理以抑制影像噪声；通过影像分割选取未变化区域的像元作为训练样本，并构建了训练样本修正模型，对训练样本进行修正以去除劣质样本，从而实现训练样本的自动筛选，提高影像转换的准确性；引入HELM构建多源影像的转换关系以获得多源影像的转换影像，并通过对比转换空间中的多时相影像以提取变化信息，提高了运算效率。

2 研究方法

2.1 技术路线

给定一对已经配准的光学影像和SAR影像，分别表示为 I O p t = { I O p t i , j , 1 ≤ i ≤ H , 1 ≤ j ≤ W }， I S A R = { I S A R i , j , 1 ≤ i ≤ H , 1 ≤ j ≤ W }， H和 W分别表示影像的高和宽， I O p t和 I S A R覆盖相同的区域，但获取时间不同。本文方法技术路线图如图1所示。首先，对影像进行预处理并得到初始变化检测图，然后选取其未变化区域的像元作为训练样本，最后通过直接对比转换影像和预处理影像提取变化信息。
图1 本文方法技术路线

Fig. 1 Flow chart of the proposed method

2.2 分层极限学习机

HELM是一种由极限学习机[25]（extreme learning machine，ELM）发展而来的新型网络模型，图2展示了其网络结构。HELM包含2个部分：① 多层前向编码；② 原始ELM空间。
图2 HELM网络结构[24]

Fig. 2 The architecture of HELM[24]

2.2.1 多层前向编码

HELM通过将数据转换到ELM随机特征空间以挖掘隐藏层信息。每个隐藏层的输出可以表示为：
${{\mathbf{H}}_{i}}=g\left( {{\mathbf{H}}_{i-1}}\cdot \beta \right)$
式中： H i和 H i - 1分别表示第i层和第 i - 1层 i ∈ 1 , K隐藏层输出矩阵； g ·为隐藏层激活函数； β是隐藏层权重。
由于HELM框架中隐含层之间的多层前向编码机制，只要提取前一层隐含层特征，就可以确定后续隐含层参数。因此，与一些需要参数调整的传统深度学习(Deep Learning)框架[26]相比，HELM具有更高的计算效率。为了生成更有意义的特征和更好的泛化性能，隐藏层权重 β可由ELM稀疏自编码器优化，得到优化后的隐藏层权重 O β：
${{O}_{\beta }}=\text{argmin}\left\{ H\beta -{{X}^{2}}+{{\beta }_{{{l}_{1}}}} \right\}$
式中： X是训练集； l 1是约束项。

2.2.2 原始ELM空间

HELM最终学习结果 F基于原始ELM获得：
$F={{H}_{K}}\times {{\beta }_{\text{out}}}$
式中：最终输出权重 β o u t由式（4）计算：
${{\beta }_{\text{out}}}=H_{K}^{T}{{\left( \frac{1}{\lambda }+{{H}_{K}}H_{K}^{T} \right)}^{-1}}T$
式中： T是目标矩阵； 1 / λ是增加ELM稳定性的一个正数项。

2.3 影像预处理

根据影像区域与地物分布，本文选取40~50 对地面控制点（Ground-control Points, GCPs），并采用双线性内插法进行多源影像配准，配准精度控制在0.05个像元以内。

2.3.1 SAR影像对数转换

SAR影像由于其相干成像原理服从伽马分布，且存在许多相干斑点噪声，该斑点噪声在同源区域属乘性噪声。其乘性噪声模型可以表示为：
${{I}_{\text{SAR}}}={{F}_{\text{SAR}}}\times {{U}_{\text{SAR}}}$
式中： I S A R表示含噪声的SAR观测影像； F S A R表示不含噪声的SAR影像； U S A R为相干斑点噪声。
由于对数正态分布相比于伽马分布通常能更好地拟合数据，并有利于与光学影像统一概率分布噪声模型，因此可用对数正态分布替换伽马分布，将 I S A R的概率密度函数表示为：
$f({{I}_{\text{SAR}}}|\mu,\sigma )=\frac{1}{{{I}_{\text{SAR}}}\sqrt{2\pi{{\sigma }^{2}}}}\times exp\left( -\frac{{{(\text{log}({{I}_{\text{SAR}}})-\mu )}^{2}}}{2{{\sigma }^{2}}} \right)$
式中： l o g ( · )表示自然对数函数； l o g ( I S A R )表示SAR影像 I S A R的对数转换影像；， μ和 σ分别是 l o g ( I S A R )的均值和方差。由此，SAR影像的乘性噪声通过对数变换转换为加性噪声：
$\text{log}\left( {{I}_{\text{SAR}}} \right)=\text{log}\left( {{F}_{\text{SAR}}} \right)+\text{log}\left( {{U}_{\text{SAR}}} \right)$
转换后的SAR影像 l o g ( I S A R )的概率分布模型为高斯分布，其噪声模型也转变为加性模型。与SAR影像不同，光学影像本身服从高斯分布，其噪声模型是加性模型，可以表示为：
${{I}_{\text{Opt}}}={{F}_{\text{Opt}}}+{{U}_{\text{Opt}}}$
式中： I O p t表示含噪声的光学观测影像； F O p t表示不含噪声的光学影像； U O p t表示高斯噪声。图3展示了SAR影像、对数转换后的SAR影像和光学影像的灰度直方图及估计概率密度曲线。可以看出，对数转换后的SAR影像的概率分布模型与光学影像一致。这削弱了光学影像和SAR影像间的差异，但是光学影像与对数转换后的SAR影像的成像特征依然存在较大差异。因此，还需要进一步进行影像空间转换使其处于同一特征空间进行比较。
图3 原始SAR影像、对数转换后的SAR影像和光学影像的灰度直方图及估计概率密度曲线示意

Fig. 3 Schematic diagram of the grayscale histogram and estimated probability density curve of the original SAR image, log-transformed SAR image and optical image

2.3.2 影像平滑

为了抑制影像噪声对检测结果造成的影响，本文采用均值漂移算法（Mean Shift，MS）[27]对影像进行平滑处理。MS是一种基于数据非参数核概率密度分布估计的理论，不需要任何先验信息，通过反复迭代搜索特征空间中样本最密集的区域，将收敛到相同或相近点的像元值以这些点的均值代替，从而降低同质像元的异质性，达到影像平滑的目的。通过对影像进行平滑处理，使得同质像元具有较高的相似性，从而便于下一步的影像转换工作。

2.4 自动构建训练集

2.4.1 初始训练样本选择

通过构建多源影像间的对应关系可实现影像间的转换，本文提出的本文方法方法假设未变化区域在多源影像间存在一定的对应关系，为了确定该对应关系，选择未变化区域像元作为训练样本。为提高训练样本选择的自动性，本文利用FLICM算法分别对预处理后的多源影像进行聚类。通过比较两时相聚类图得到初始变化检测图，并选取初始变化检测图中的未变化像元作为训练样本。具体描述如下：
FLICM算法通过定义中心像元和邻域像元隶属度的关系对图像聚类，利用优化目标函数 J，计算所有样本点对聚类中心的隶属度，每个样本点对不同类中心的隶属度大小反映了该样本点属于某一类别的概率值。优化目标函数 J定义为：
${{J}_{m}}=\underset{i=1}{\overset{N}{\mathop \sum }}\,\underset{j=1}{\overset{c}{\mathop \sum }}\,\left[ u_{ij}^{m}{{x}_{i}}-{{v}_{j}}^{2}+{{G}_{ij}} \right]$
式中：N为像元个数； c为类别数； u i j表示像元i到类别j的模糊隶属度函数；m表示模糊参数； v j为第j个类别的聚类中心， x i - v j 2表示第i个样本点与 v j的欧氏距离。 G i j为模糊因子，具体为：
${{G}_{ij}}=\underset{{i}'\in {{N}_{i}},{i}'\ne i}{\mathop \sum }\,\frac{1}{{{d}_{i{i}'}}}{{\left( 1-{{u}_{{i}'j}} \right)}^{m}}{{x}_{{{i}'}}}-{{v}_{j}}^{2}$
式中： N i表示中心像元i的所有邻域像元集合； i '为邻域像元索引； d i i '表示中心像元i和其邻域像元 i '的空间距离。隶属度函数和聚类中心的计算公式如下：
${{u}_{ij}}=\frac{1}{\mathop{\sum }_{k=1}^{c}{{\left( \frac{{{x}_{i}}-{{v}_{j}}^{2}+{{G}_{ij}}}{{{x}_{i}}-{{v}_{k}}^{2}+{{G}_{ik}}} \right)}^{\frac{1}{m-1}}}}$
${{v}_{ij}}=\frac{\mathop{\sum }_{i=1}^{N}{{\left( {{u}_{ij}} \right)}^{m}}{{x}_{i}}}{\mathop{\sum }_{i=1}^{N}{{\left( {{u}_{ij}} \right)}^{m}}}$
通过调整聚类中心迭代优化目标函数，最终实现影像聚类。

2.4.2 训练样本修正模型

为了进一步提高影像空间转换的准确性，减少劣质样本点的影响，本文提出了一种训练样本修正模型，联合光谱信息和空间邻域信息对初选样本进行修正。以某未变化区域像元作为 k × k窗口的中心像元，根据邻域像元与中心像元的差值赋予邻域像元对应权重，通过加权计算邻域像元值得到最终修正的中心像元值。具体介绍如下：
$unchang{{e}_{new}}=\left\{ \begin{matrix} unchange, & d=0 \\ sum\left( win\times weight \right), & \\ \end{matrix} \right.$
式中： d = w i n - u n c h a n g e； w i n表示移动窗口所有像元的集合； ∙表示绝对值运算符。 u n c h a n g e表示未变化像元（即窗口中心像元）， u n c h a n g e n e w表示修正未变化像元， w e i g h t表示赋予邻域像元的权重大小，定义为：
$weight=\frac{1-\frac{d}{\text{max}\left( d \right)}}{\text{sum}\left( 1-\frac{d}{\text{max}\left( d \right)} \right)}$
式中： s u m ( · )表示求和函数； m a x ( · )表示求最大值函数。通过修正训练样本，能有效利用空间信息，并减少劣质样本对影像空间转换的影响。

2.5 多源影像空间转换

2.5.1 影像转换关系构建

经过上述训练样本修正步骤可构建2个影像转换训练集：光学影像转换为SAR影像的训练集 X O p t → S A R，SAR影像转换为光学影像的训练集 X S A R → O p t。在 X O p t → S A R中，则分别以光学影像、SAR影像的修正未变化像元作为特征矩阵与目标矩阵；在 X S A R → O p t中，则分别以SAR影像、光学影像的修正未变化像元作为特征矩阵与目标矩阵。分别以这2个训练集训练HELM得到 H E L M O p t → S A R和 H E L M S A R → O p t。
以构建光学影像到SAR影像的转换关系为例，在多层前向编码部分，原始数据被转换到ELM特征空间提取训练样本的隐藏层特征。根据HELM理论，先确定每一个隐藏层的输出矩阵H（式（1））；为了提高学习效率并获得更稀疏的特征，利用ELM稀疏自编码器得到最优隐藏层权重 O β（式（2）），并利用ELM的全局逼近能力得到输出权重 β o u t（式（4））。由于每个隐藏层都是一个独立的特征提取器，一旦获得 O β和 β o u t， H E L M O p t → S A R即训练完毕，即SAR影像到光学影像的转换关系构建完成。

2.5.2 生成多源影像转换影像

继续以光学影像转换为SAR影像为例，一旦 H E L M O p t → S A R训练完成，光学影像即输入到训练完成的 H E L M O p t → S A R网络以得到转换影像 T S A R（式（3））。该过程和 H E L M O p t → S A R的训练阶段相似，隐藏层参数也是在的 H E L M O p t → S A R训练阶段得到的。相似的，可得到SAR影像的转换影像 T O p t。

2.6 变化检测

基于以上步骤， I O p t和 T O p t、 I S A R和 T S A R分别处于同一特征空间，可通过像元级对比得到差异图 D I：
$D{{I}_{\text{Opt}}}={{I}_{\text{Opt}}}-{{T}_{\text{Opt}}}$
$D{{I}_{\text{SAR}}}={{I}_{\text{SAR}}}-{{T}_{\text{SAR}}}$
若像元在 D I O p t和 D I S A R中的值都很大，则说明该像元是变化像元；若像元在 D I O p t和 D I S A R中的值都很小，则说明该像元未发生变化；若像元在 D I S A R和 D I O p t中的值一大一小，则无法判断哪个差异图是正确的。这可能是由于影像转换中出现的误差或者影像本身的成像特征导致的检测错误。因此，为了增强变化检测的鲁棒性和可靠性，最终差异图 D I由下式得到：
$DI=\left( D{{I}_{\text{Opt}}}+D{{I}_{\text{SAR}}} \right)/2$
最后，通过FLICM对 D I进行二值分割得到变化检测图 C M。

2.7 评价标准

为了进一步定量评价本文提出的本文方法变化检测方法，分别利用正确率PCC、总体误差OE和卡帕系数KC进行精度评价,利用运行时间（run time）度量算法效率。
$PCC=\frac{TP+FN}{N}$
$OE=FP+FN$
$KC=\frac{PCC-PRE}{1-PRE}$
$PRE=\frac{\left( TP+FP \right)\times NC+\left( FN+TN \right)\times NU}{{{N}^{2}}}$
式中：N表示影像像元总数；NC和NU分别表示发生变化的像元总数和未发生变化的像元总数；TP和TN分别表示正确检测到的发生变化的像元数和未发生变化的像元数。通过逐像元比较检测结果和变化参考图；FP表示未变化像元被错误检测为变化像元数量（错检）；FN表示变化像元被错误检测为未变化像元数量（漏检）。正确率PCC表示正确检测的像素数占总体像素数N的比例；KC是一种综合评价标准，它比正确率PCC更能反映出分类的细节信息。

3 实验分析

3.1 实验数据

长江某流域数据集[28-29]：如图4所示，包含一幅光学影像和一幅SAR影像，重采样后的影像大小均为600像元×600像元，空间分辨率为10 m。其中，光学影像（图4(a)）获取自1999年12月31日的Google Earth影像，SAR影像（图4(b)）获取自2017年11月15日的哨兵1号影像，2幅影像覆盖相同的长江流域。该数据集主要反映该长江流域的水域变化。图4(c)为该时段区域水域变化的参考影像。
图4 长江某流域数据集

Fig. 4 Yangtze River dataset

瓜州县数据集[28-29]：如图5所示，该数据集反映了中国甘肃省瓜州县某荒漠区域的植被变化情况，包含一幅光学影像（图5(a)）和一幅SAR影像（图5(b)），重采样后的影像大小均为1101像元×888像元，空间分辨率为5 m。其中，光学影像获取自2014年12月31日的Google earth影像，SAR影像获取自2018年7月16日的哨兵一号影像。图5(c)为该时段区域植被变化的参考影像。
图5 瓜州县数据集

Fig. 5 Guazhou dataset

3.2 实验设置

3.2.1 对比方法

为了验证本文方法的有效性，本文将HPT[12]、NPSG[17]、INLPG[18]、 LTFL[21]、CGAN[23]作为对比方法进行对比试验，并对实验结果进行精度评定和对比分析。同时为了验证影像平滑和训练样本修正模型对于本文方法检测精度的促进作用，本文进行了消融实验1和消融实验2，两者分别只做了影像平滑和训练样本修正处理。

3.2.2 参数设置

根据参考文献[24]的结论， λ是影响HELM性能的主要参数，如果 λ足够大，则隐藏层节点数L则无需很大。相反，如果隐藏层节点数L很大，则会增大HELM的计算量，而隐藏层节点数L较小时则不会显著影响HELM的性能。因此，本文方法设置3层隐藏层，隐藏层节点数L分别为30、30和100，且 λ = 2 30。FLICM参数参考原算法论文参数。
窗口大小k是一个重要的参数。图6展示了窗口大小k对本文方法的精度和效率的影响。如果窗口大小k设置过小，则空间信息利用不足，使得样本修正效果不佳，从而导致KC值较低；而k值设置过大，则会降低运算效率。因此，综合考虑计算效率、实验效果和所使用的多源影像空间分辨率（10 m），建议将窗口大小设置为5。
图6 窗口大小k对KC和run time的影响

Fig. 6 Influence of window size k on KC and run time

所有算法均用matlab语言实现，运行环境为：AMD Ryzen 7 3800X 8-Core CPU 3.89 Hz, 64 GB RAM, Windows 10 (64 bit), MATLAB 2020a.

3.3 实验结果分析

（1）长江某流域数据集
图7展示了对比方法和本文方法在长江某流域数据集上的变化检测结果。该数据集的难度在于多源影像不同的成像特征导致的山体阴影分布的差异。从目视上看，HPT、LTFL、NPSG的噪声比较严重，产生很多错检。相比于这3种方法，INLPG和CGAN的对影像噪声的鲁棒性更好，但是漏检了许多变化区域。消融实验1和消融实验2都进行了影像空间转换，并分别进行影像平滑和训练样本修正处理，得到了较少的错检和漏检。而本文方法在构建多源影像空间转换的基础上，不仅考虑了影像平滑，同时也考虑了训练样本修正，从而能去除更多离异噪声，检测结果与参考影像更为接近。
图7 不同方法在长江某流域数据集上的变化检测结果

Fig. 7 Change maps generated by different methods on Yangtze River dataset

根据表1的定量精度评价也可以看出，虽然LTFL的漏检最少，但是错检很多。虽然INLPG错检很少，但是产生了大量的漏检。消融实验-1和消融实验-2在影像空间转换的基础上分别考虑了样本修正和影像平滑，其KC值分别达到了0.7391和0.7463，均高于对比方法。而充分考虑影像平滑、样本修正和影像空间转换的本文方法的OE值是所有方法中最低的，而且PCC和KC值最高。在计算效率上，本文方法的运行时间仅为对比方法中速度最快的INLPG的28.23%。由此反映本文提出的本文方法多源影像变化检测方法能等有效地检测出该长江流域多时相光学、SAR影像间的水域变化情况，并具有较好的计算效率。
表1 不同方法在长江某流域数据集上的变化检测结果精度比较

Table 1 Quantitative analysis of different methods on on Yangtze River dataset

方法 FP FN OE PCC/% KC run time/s
HPT 22 007 7842 29 849 91.71 0.6854 177.19
LTFL 24 538 4108 28 646 92.04 0.7119 2596.56
CGAN 5961 25 377 31 338 91.30 0.5551 860.47
NPSG 17 714 20 351 38 065 89.43 0.5394 655.89
INLPG 2626 21 436 24 062 93.32 0.6605 162.09
消融实验1 5891 16 800 22 691 93.69 0.7391 38.89
消融实验2 5347 16 650 21 997 93.88 0.7463 40.85
本文方法 5995 13 639 19 634 94.55 0.7800 45.76
图8展示了对比方法和本文方法在瓜州县数据集上的检测结果。相比长江某流域数据集，该数据集的变化检测的挑战在于多源影像丰富的变化细节信息及成像特征差异。比如：光学影像中的局部区域的植被分布比较散乱，且光谱特征与荒漠比较接近，难以识别。从目视上看，HPT、LTFL、NPSG的噪声点很多，产生了很多错检。虽然CGAN和INLPG噪声较少，但是漏检很多。相较于本文方法，消融实验1和消融实验2分别没有进行样本修正和影像平滑处理，从而产生了较多的错检和漏检。而本文方法考虑到影像平滑、样本修正，并构建多源影像转换关系得到了噪声点最少的变化检测结果。
图8 不同方法在瓜州县数据集上的变化检测

Fig. 8 Change maps generated by different methods on Guazhou dataset

从表2的定量精度评价来看，虽然CGAN的错检最少，但是漏检最多，因此总体误差较大。NPSG的漏检最少，但是产生了最多的错检。消融实验1和消融实验2通过构建影像空间转换关系，并分别进行了样本修正和影像平滑，得到了比对比方法更高的KC值。但是整体而言，本文方法在进行影像空间转换的基础上，充分考虑样本修正和影像平滑，从而得到了最小的总体误差OE，且KC和PCC值最高。在计算效率上，对比方法中计算速度最快的HPT耗时628.32 s，而本文方法的耗时仅为HPT的20.38%。通过以上分析说明本文方法在成像特征差异显著、地物变化细节丰富的多源影像变化检测中也具有较强的快速的变化检测能力。
表2 不同方法在瓜州县数据集上的变化检测结果精度比较

Table 2 Quantitative analysis of different methods on on Guazhou dataset

方法 FP FN OE PCC/% KC run time/s
HPT 43 655 40 911 84 566 91.35 0.6039 628.32
LTFL 34 695 43 109 77 804 92.04 0.6206 4358.68
CGAN 9588 78 360 87 948 91.00 0.4490 2295.29
NPSG 88 961 57 265 144 226 85.25 0.3831 1858.14
INLPG 17 459 67 620 85 079 91.30 0.5100 813.25
消融实验-1 48 611 33 045 81 656 91.64 0.6340 123.23
消融实验-2 47 630 33 360 80 990 91.71 0.6354 110.23
本文方法 24 187 40 351 64 538 93.40 0.6761 128.08

4 结论与讨论

4.1 结论

针对现有多源影像变化检测方法存在的变化检测结果易受影像噪声影响、需人工选择样本和计算耗时的问题。本文提出了基于HELM影像转换的多源影像变化检测方法。该方法通过构建多源影像间的对应关系，分别将预处理后的影像转换到对方的特征空间，使其在同一特征空间具有可比性。针对变化检测结果易受影像噪声影响的问题，本文将SAR影像进行对数变换以获得和光学影像同样的噪声分布模型，并采用MS算法对两时相影像进行平滑以抑制噪声影响。由于多源影像的未变化区域不受变化信息的影响，更能反映多源影像间的对应关系，因此通过影像分割自动选择未变化区域的像元作为训练样本，并构建了训练样本修正模型以进一步筛选训练样本，解决了手动选取训练样本的问题。引入了HELM构建多源影像间的转换关系，以获得多源影像的转换影像，并通过在同一特征空间直接对比转换影像和预处理影像得到变化检测结果，减少运算时间。两组多源影像数据集的实验结果表明，本文方法的Kappa系数较对比方法分别至少提高了6.19%和8.94%, 计算效率分别至少提高了71.77%和79.61%，证明了本文方法能够进行多源影像间的转换，具备快速检测多源影像变化的能力。

4.2 讨论

本文用于方法验证的2组数据集包含分辨率重采样为10 m的Google Earth可见光影像和哨兵1号C波段SAR影像，两组数据集的覆盖面积分别为36 km2和97.77 km2，运行时间分别为45.76 s和128.08 s。因此，本文方法也适用于时空分辨率相近的更大区域光学、SAR影像变化检测任务。实验验证了本文方法对于河流、陆地、植被和荒漠等区域具有较好的变化检测结果，可以推断本文方法也适用于平原、森林等地物中，但对于地物类型复杂的城市等场景的适用性还有待研究。因此在未来工作中，将进一步改进本文方法，以适用于更多种的影像数据和更复杂地物变化分布。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
张良培, 武辰. 多时相遥感影像变化检测的现状与展望[J]. 测绘学报, 2017, 46(10):1447-1459.

[ Zhang L P, Wu C. Advance and future development of change detection for multi-temporal remote sensing imagery[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10):1447-1459. ] DOI:10.11947/j.AGCS.2017.20170340

DOI

[2]
王丽云, 李艳, 汪禹芹. 基于对象变化矢量分析的土地利用变化检测方法研究[J]. 地球信息科学学报, 2014, 16(2):307-313.

DOI

[ Wang L Y, Li Y, Wang Y Q. Research on land use change detection based on an object-oriented change vector analysis method[J]. Journal of Geo-Information Science, 2014, 16(2):307-313. ] DOI: CNKI:SUN:DQXX.0.2014-02-021

DOI

[3]
冯文卿, 眭海刚, 涂继辉, 等. 高分辨率遥感影像的随机森林变化检测方法[J]. 测绘学报, 2017, 46(11):1880-1890.

[ Feng W Q, Sui H G, Tu J H, et al. Change detection method for high resolution remote sensing images using random forest[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(11):1880-1890. ] DOI:10.11947/j.AGCS.2017.20170074

DOI

[4]
陈赛楠, 蒋弥. Sentinel-1 SAR在洪水范围提取与极化分析中的应用研究[J]. 地球信息科学学报, 2021, 23(6):1063-1070.

DOI

[ Chen S N, Jiang M. Application research of sentinel-1 SAR in flood range extraction and polarization analysis[J]. Journal of Geo-Information Science, 2021, 23(6):1063-1070. ] DOI: 10.12082/dqxxkx.2021.200717

DOI

[5]
Bovolo F, Marchesi S, Bruzzone L. A framework for automatic and unsupervised detection of multiple changes in multitemporal images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(6):2196-2212. DOI:10.1109/TGRS.2011.2171493

DOI

[6]
Krinidis S, Chatzis V. A robust fuzzy local information C-means clustering algorithm[J]. IEEE Transactions on Image Processing, 2010, 19(5):1328-1337. DOI:10.1109/TIP.2010.2040763

DOI PMID

[7]
曹州, 刘士彬, 马勇, 等. 一种联合光谱-对象-时间特征的遥感影像变化检测方法[J]. 中国科学院大学学报, 2022, 39(1):102-109.

DOI

[ Cao Z, Liu S B, Ma Y, et al. A change detection method by combining spectral-object-temporal features for remote sensing imagery[J]. Journal of University of Chinese Academy of Sciences, 2022, 39(1):102-109. ] DOI: 10.7523/j.ucas.2020.0005

DOI

[8]
汤玉奇. 面向对象的高分辨率影像城市多特征变化检测研究[D]. 武汉: 武汉大学, 2013.

[ Tang Y Q. Object-oriented change detection with multi-feature in urban high-resolution remote sensing imagery[D]. Wuhan: Wuhan University, 2013.]

[9]
王艳恒, 高连如, 陈正超, 等. 结合深度学习和超像元的高分遥感影像变化检测[J]. 中国图象图形学报, 2020, 25(6):1271-1282.

[ Wang Y H, Gao L R, Chen Z C, et al. Deep learning and superpixel-based method for high-resolution remote sensing image change detection[J]. Journal of Image and Graphics, 2020, 25(6):1271-1282. ] DOI:10.11834/jig.190319

DOI

[10]
张鑫龙, 陈秀万, 李飞, 等. 高分辨率遥感影像的深度学习变化检测方法[J]. 测绘学报, 2017, 46(8):999-1008.

[ Zhang X L, Chen X W, Li F, et al. Change detection method for high resolution remote sensing images using deep learning[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(8):999-1008. ] DOI:10.11947/j.AGCS.2017.20170036

DOI

[11]
Mercier G, Moser G, Serpico S B. Conditional copulas for change detection in heterogeneous remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(5):1428-1441. DOI:10.1109/TGRS.2008.916476

DOI

[12]
Liu Z G, Li G, Mercier G, et al. Change detection in heterogenous remote sensing images via homogeneous pixel transformation[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2018, 27(4):1822-1834. DOI:10.1109/TIP.2017.2784560

DOI

[13]
Yousif O, Ban Y F. Fusion of SAR and optical data for unsupervised change detection: A case study in Beijing[C]// 2017 Joint Urban Remote Sensing Event (JURSE). IEEE, 2017:1-4. DOI:10.1109/JURSE.2017.7924636

DOI

[14]
Luppino L T, Bianchi F M, Moser G, et al. Unsupervised image regression for heterogeneous change detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(12):9960-9975. DOI:10.1109/TGRS.2019.2930348

DOI

[15]
Alberga V. Similarity measures of remotely sensed multi-sensor images for change detection applications[J]. Remote Sensing, 2009, 1(3):122-143. DOI:10.3390/rs1030122

DOI

[16]
Touati R, Mignotte M. An energy-based model encoding nonlocal pairwise pixel interactions for multisensor change detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(2):1046-1058. DOI:10.1109/TGRS.2017.2758359

DOI

[17]
Sun Y L, Lei L, Li X, et al. Nonlocal patch similarity based heterogeneous remote sensing change detection[J]. Pattern Recognition, 2021, 109:107598. DOI:10.1016/j.patcog.2020.107598

DOI

[18]
Sun Y L, Lei L, Li X, et al. Structure consistency-based graph for unsupervised change detection with homogeneous and heterogeneous remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60:1-21. DOI:10.1109/TGRS.2021.3053571

DOI

[19]
Liu J, Gong M G, Qin K, et al. A deep convolutional coupling network for change detection based on heterogeneous optical and radar images[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(3):545-559. DOI:10.1109/TNNLS.2016.2636227

DOI PMID

[20]
Zhao W, Wang Z R, Gong M G, et al. Discriminative feature learning for unsupervised change detection in heterogeneous images based on a coupled neural network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(12):7066-7080. DOI:10.1109/TGRS.2017.2739800

DOI

[21]
Zhan T, Gong M G, Jiang X M, et al. Log-based transformation feature learning for change detection in heterogeneous images[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(9):1352-1356. DOI:10.1109/LGRS.2018.2843385

DOI

[22]
Wu Y, Li J, Yuan Y, et al. Commonality autoencoder: Learning common features for change detection from heterogeneous images[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021,PP:2021Feb18; PP. DOI: 10.1109/TNNLS.2021.3056238

DOI

[23]
Niu X D, Gong M G, Zhan T, et al. A conditional adversarial network for change detection in heterogeneous images[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(1):45-49. DOI:10.1109/LGRS.2018.2868704

DOI

[24]
Tang J X, Deng C W, Huang G B. Extreme learning machine for multilayer perceptron[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 27(4):809-821. DOI:10.1109/TNNLS.2015.2424995

DOI PMID

[25]
Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006, 70(1/2/3):489-501. DOI:10.1016/j.neucom.2005.12.126

DOI

[26]
Bengio Y. Learning deep architectures for AI[J]. Foundations and Trends® in Machine Learning, 2009, 2(1):1-127. DOI:10.1561/2200000006

DOI

[27]
Comaniciu D, Meer P. Mean shift: A robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5):603-619. DOI:10.1109/34.1000236

DOI

[28]
Google Earth数据(2018)[EB/OL]. https://google-earth.gosur.com/cn/

[Google Earth data(2018)[EB/OL]. https://google-earth.gosur.com/cn/

[29]
Sentinel卫星数据[EB/OL]. https://scihub.copernicus.eu/dhus/#/home

[Sentinel satellite data (2018)[EB/OL]. https://scihub.copernicus.eu/dhus/#/home

Options
文章导航

/

〈 〉