EN中文

地球信息科学学报 >

2019 , Vol. 21 >Issue 10: 1594 - 1607

DOI: https://doi.org/10.12082/dqxxkx.2019.190136

遥感科学与应用技术

基于超像元词包特征和主动学习的高分遥感影像变化检测

  • 杨进一 1, 2, 3 ,
  • 徐伟铭 , 1, 2, 3, * ,
  • 王成军 1, 2, 3 ,
  • 翁谦 1, 2, 3, 4
展开
  • 1. 福州大学数字中国研究院（福建）,福州 350108
  • 2. 福州大学空间数据挖掘与信息共享教育部重点实验室,福州 350002
  • 3. 福州大学地理空间信息技术国家地方联合工程技术研究中心,福州 350002
  • 4. 福州大学数学与计算机科学学院,福州 350116
*徐伟铭（1986-）,男,福建闽侯人,博士,助理研究员,主要从事城市变化检测、地理信息建模与分析研究。E-mail:

杨进一（1993-）,男,安徽霍邱人,硕士生,主要从事高分遥感影像信息提取、机器学习研究。E-mail: yangjinyi_gis@163.com

收稿日期: 2019-03-25

  要求修回日期: 2019-07-13

  网络出版日期: 2019-10-29

基金资助

国家自然科学基金项目(41801324)

福建省科技厅引导性项目(2017Y0055)

“数字福建”重大项目([2016]203号)

版权

版权所有，未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
收起

High-Resolution Remote Sensing Imagery Change Detection based on Super-Pixel BOW Features and Active Learning

  • YANG Jinyi 1, 2, 3 ,
  • XU Weiming , 1, 2, 3, * ,
  • WANG Chengjun 1, 2, 3 ,
  • WENG Qian 1, 2, 3, 4
Expand
  • 1. The Academy of Digital China, Fuzhou University, Fuzhou 350108, China
  • 2. Key Laboratory of Spatial Data Mining & Information Sharing of Ministry of Education, Fuzhou University, Fuzhou 350002, China;
  • 3. National Engineering Research Centre of Geospatial Information Technology, Fuzhou University, Fuzhou 350002, China
  • 4. College of Mathematics and Computer Science, Fuzhou University, Fuzhou 350116, China
* XU Weiming, E-mail:

Received date: 2019-03-25

  Request revised date: 2019-07-13

  Online published: 2019-10-29

Supported by

National Natural Science Foundation of China(41801324)

Science and Technology Agency of Fujian Province(2017Y0055)

“Digital Fujian” Program([2016]203号)

Copyright

Copyright reserved © 2019
Fold

摘要

为解决高分辨率遥感影像变化检测中存在底层特征缺乏语义信息、像元级的检测结果存在“椒盐”现象以及监督分类中样本标注自动化程度较低,本文提出一种基于超像元词包特征和主动学习的变化检测方法。首先采用熵率分割算法获取叠加影像的超像元对象;其次提取两期影像像元点对间的邻近相关影像特征（相关度、斜率和截距）和顾及邻域的纹理变化强度特征（均值、方差、同质性和相异性）,经线性组合作为像元点对的底层特征;然后基于像元点对底层特征利用BOW模型构建超像元词包特征,并采用一种改进标注策略的主动学习方法从无标记样本池中优选信息量较大的样本,且自动标注样本类别;最后训练分类器模型完成变化检测。通过选用2组不同地区的GF-2影像和Worldview-Ⅱ影像作为数据源进行实验,实验结果中2组数据集的F1分数分别为0.8714、0.8554,正确率分别为0.9148、0.9022,漏检率分别为0.1681、0.1868,误检率分别为0.0852、0.0978。结果表明,该法能有效识别变化区域、提高变化检测精度。此外,传统主动学习方法与改进标注策略的主动学习方法的学习曲线对比显示,改进的标注策略可在较低精度损失下,有效提高样本标注自动化程度。

关键词： 高分影像; 变化检测; 超像元; 词包特征; 主动学习; 自动标注

本文引用格式

杨进一 , 徐伟铭 , 王成军 , 翁谦 . 基于超像元词包特征和主动学习的高分遥感影像变化检测[J]. 地球信息科学学报, 2019 , 21(10) : 1594 -1607 . DOI: 10.12082/dqxxkx.2019.190136

Abstract

The following problems exist in the change detection of high-resolution remote sensing imagery: lack of the semantic information of low-level features, the "salt and pepper" phenomenon in the detection results based on pixel-level methods, and the low degree of sample labeling automation in supervised classification. In this paper, we proposed a change detection method based on super-pixel Bag-of-Words features and active learning. Firstly, we used the entropy rate segmentation algorithm to obtain the segmentation objects of superimposed images. Secondly, we extracted the features of the Neighborhood Correlation Images (correlation, slope, and intercept) and the change intensity features of texture (mean value, variance, homogeneity, and dissimilarity) while considering neighborhood context information between pixel pairs of the studied two phases of images, and then combined them as the low-level features of pixel pairs. Followingly, based on these low-level features, we constructed the expression of Bag-of-Words features in the super-pixel regions by the Bag-of-Words (BOW) model, and we adopted an improved annotation strategy to annotate automatically the samples with large information from the unlabeled sample pool. Finally, we conducted the change detection using the trained classification model. By choosing two groups in different parts of GF-2 imagery and Worldview-Ⅱ imagery as a data source for experiments, the experimental results show that the F1 scores of the two groups of data sets are 0.8714 and 0.8554, the precision is 0.9148 and 0.9022, the missed detection rate is 0.1681 and 0.1868, and the false detection rate is 0.0852 and 0.0978, respectively. The results demonstrate that our proposed method can effectively ide.pngy the variation area, improve the accuracy of change detection. In addition, the comparison of the learning curves between the traditional active learning method and the active learning method with improved annotation strategy shows that the improved annotation strategy can effectively improve the automation degree of sample annotation at a lower precision loss.

Key words： high-resolution remote sensing imagery; change detection; super-pixel; Bag-of-Words features; active learning; automatic annotation

1 引言

遥感变化检测是指对不同时相、相同区域的影像进行定量分析,提取土地覆盖或土地利用变化信息的技术,常用于城市扩张分析、土地监测以及地理数据库更新等工作[1]。随着卫星遥感技术的进步,高空间分辨率遥感影像（简称“高分影像”）获取渠道更为便利,相较传统中低分遥感影像,高分影像的地物细节更加清晰丰富,因此一些传统仅利用光谱信息的面向中低分影像变化检测方法（如差值法、比值法、变化向量分析法及主成分分析法）难以适应高分影像变化检测任务[2,3,4,5]。
依据有无先验知识,变化检测方法可分为无监督分类和监督分类2类[6],无监督分类简单易行、无需先验知识,但变化检测阈值难以确定;通常监督分类方法精度较高,但训练样本获取成本较高、检测效率低。区别于被动学习,主动学习（Active Learning, AL）是分类模型在迭代训练过程中主动反馈需要人工交互标注的样本的策略,主要思想是根据某种既定准则从未标注样本集中选择最能提高分类模型性能的样本交由人工标注,迭代训练获得性能优异的分类模型,可克服监督分类方法训练样本获取代价昂贵的缺陷[7]。Yu等[8]提出一种结合主动学习与高斯过程的变化检测方法,利用主动学习选取信息丰富的样本交由用户标注,但该法以高斯过程构建分类器,算法复杂度较高。王成军等[9]以差值影像的光谱和纹理作为特征,在高分影像变化检测中引入边缘采样主动学习,在较小的标注代价下实现检测精度的提高,但该法基于差值影像提取的特征对噪声较为敏感。Yu等[10]首次提出基于极限学习机的不确定性主动学习采样方法,实验 结果表明二者的结合可有效提高分类器性能。 翟俊海等[11]组合AL和在线序列极限学习机,并利用K近邻算法自动完成样本标注任务,结果表明该算法可加快学习速度、提高标注正确率。Samat[12]在组合AL和ELM的基础上,使用“装袋法”和集成学习度量样本的不确定性,在4种不同的SAR影像数据集中以较低的耗时取得了优异的分类效果。Liu等[13]将主动学习与自学习相结合充分发挥二者之间的互补性,样本利用率和分类性能均大幅提高。尽管主动学习通过择优挑选“有价值”的样本,可使分类模型加速收敛、样本标注规模缩小,但样本标注过程需用户不断参与,标注成本仍然较高。
为克服图像底层特征与高层语义之间的语义障碍,基于词包（Bag-Of-Words, BOW）模型对语义建模描述的方法近年来备受关注。BOW模型是中层特征中一种简单有效的模型,其实质是通过对底层视觉特征量化编码建立图像与语义间的联系[14],该模型具有良好的图像内容表达能力,已被广泛用于图像分类和变化检测等任务中[15]。Zhu等[16]在高分影像场景分类中在局部-全局混合特征基础上构建场景图像的BOW特征表达,实验结果表明相对于底层特征构建的模型,BOW特征可有效提高分类精度。浮瑶瑶等[17]分别构建双时相影像的BOW特征,将词频直方图的差值作为像元级变化检测的语义辅助,有效提高了SAR影像的变化检测精度。Tu等[18]利用BOW模型分别表示地震前后建筑区域的场景影像,从语义层次上有效检测建筑目标的破坏情况。罗星等[19]在光谱、纹理特征基础上编码构建双时相影像对象的BOW特征,并利用余弦距离度量对象间的相似性,通过阈值分割提取出变化和未变化区域,该方法在一定程度上克服基于底层特征方法精度较低的缺陷,但BOW特征维度较高,余弦距离难以准确度量对象间的相似性,且分割尺度、变化阈值均难以自适应确定。
因此,本文提出一种基于超像元BOW特征与改进标注策略的主动学习相结合的监督变化检测方法,简称BOW-IAL。该法以超像元为分析基元,可解决多尺度分割中的尺度不确定性问题及像元级检测方法带来的“椒盐”噪声;同时采用BOW模型缩小底层特征与高层语义之间的“语义鸿沟”;在分类模型学习过程中,利用改进标注策略的主动学习提高分类模型预测精度和样本标注自动化程度。

2 研究方法

2.1 技术路线

本研究首先对预处理后的双时相影像做波段叠加,采用熵率法分割叠加影像得到超像元区域;然后参照BOW模型在文本分析中的应用将超像元区域定义为“文档”、影像中所有像元点对为“单词”,通过量化编码构建超像元词频表示;在BOW特征构建完毕后,随机选取少量样本进行人工标注构建初始训练集,随后在训练中基于改进标注策略的主动学习挖掘类别不确定性较大的样本且自动标注样本,完成有标签训练集重构;训练分类模型完成变化检测。本文变化检测流程如图1所示。
图1 变化检测流程

Fig. 1 Flowchart of change detection

2.2 超像元区域生成

超像元[20]是指由具有相似灰度、颜色和纹理等特征的像元集合。本文采用熵率法（Entropy Rate Segmentation,ERS）分割图像获取超像元[21]。ERS算法具有运行速度快、生成的超像元数量可控以及地物边界贴合度较高等优点,在变化检测和分类任务中已被广泛应用[22,23,24]。
良好的分割结果主要表现为超像元内部有较强的同质性,相邻超像元之间有较强的异质性。为保证影像分割质量,本文根据冯文卿等[22]提出的超像元个数选取模型设置合适的分割数目。该模型由以下2部分组成：
（1）超像元的方差,可有效表示超像元的同质性,计算公式如式（1）所示。
v = ∑ i = 1 n a i v i ∑ i = 1 n a i
式中： a i 表示超像元 i 的面积（内部像元总数）; v i 表示超像元 i 的方差; n 是超像元总数; v 表示同质性大小,其数值越大则区域内部像元同质性越高。式中引入面积作为加权系数,可减弱较细碎超像元造成的不稳定。
（2）基于相邻对象间差异越小,空间自相关程度越大的原理,采用Moran's I指数度量相邻超像元间的异质性大小,指数计算如式（2）所示。
I = n ∑ i = 1 n ∑ j = 1 n w ij y i - y ̅ y j - y ̅ ∑ i = 1 n y - y ̅ 2 ∑ i ≠ j ∑ w ij
式中： n 是超像元总数; w ij 用于判断两超像元间的空间关系（相邻为1,反之为0）; y i 、 y j 分别表示超像元区域 i 和 j 的灰度均值; y ̅ 表示整幅影像的灰度均值; I 是自相关指数值,值越小说明两超像元间差异越大,分割边界越分明。
理想的分割结果是相邻分割区域间具有低Moran's I指数,同一分割区域内具有高方差。为综合判断分割结果质量,加权连接各超像元区域内的同质性指数和区域间的异质性指数,构建综合评价分割质量的目标函数,如式（3）所示。
F V , I = 1 - ρ F V + ρF I
式中： F V 和 F I 分别是经过归一化处理后的同质性指数和异质性指数; ρ 是平衡参数,取值范围为0~1,本文取 ρ = 0.5 ,即分割影像中超像元内的同质性指数与超像元间的异质性指数在评价分割质量时具有同等重要程度。
基于上述目标函数,采用三次样条插值生成以超像元个数为变量的三次多项式综合评价模型。当多项式模型在期望分割超像元数目取值范围取得极大值时,则对应期望超像元数目取值即为最佳分割数目。

2.3 词包特征表示

利用BOW模型对超像元对象进行BOW特征表达时,文档与单词的定义、相互映射关系以及视觉词典的构建是关键。超像元BOW特征构建包括：像元点对特征提取、视觉词典构建和词频表示。
2.3.1 像元点对特征提取
底层特征提取是构建视觉词典的前提,本研究根据邻近相关影像（Neighborhood Correlation Images, NCIs）分析法[25]和鲁棒的变化向量分析法（Robust Change Vector Analysis, RCVA）[26]分别提取NCIs特征和顾及邻域的纹理变化强度特征。其中NCIs分析法已广泛用于各类遥感影像变化检测任务,并取得良好的检测效果[27,28,29]。
NCIs法首先利用双时相影像对应邻域窗口中的像元灰度值计算得到该区域的光谱相关度,其次利用最小平方法拟合邻域窗口内所有像元值得到回归直线的斜率和截距,将邻域窗口的相关度、斜率和截距赋给中心像元,即为像元点对的NCIs特征。如图2所示,当双时相影像同一区域未变化时,理论上回归直线应与直线y=x重合,此时斜率和截距分别为1和0;而当该区域变化时,回归直线会偏离直线y=x,并且变化程度越大,斜率与1的差值越大,截距与0差值也越大。因此斜率和截距同时具备光谱数值和方向上的变化,可作为判断地物变化与否的辅助信息。
图2 像元点对平面分布示意

Fig. 2 Plane distribution diagram of pixel-pairs

本文通过3×3的邻域窗口分别计算双时相多光谱高分影像各通道像元点对的相关度r、斜率a和截距b这3种NCIs特征,计算公式如式（4）-（6）所示。
r = ∑ i = 1 n ( B V i 1 - μ 1 ) ( B V i 2 - μ 2 ) s 1 s 2 ( n - 1 )
a = ∑ i = 1 n ( B V i 1 - μ 1 ) ( B V i 2 - μ 2 ) s 1 2 ( n - 1 )
b = ∑ i = 1 n B V i 2 - a ∑ i = 1 n B V i 1 n
式中： r 是皮尔森相关系数; a 和 b 分别是斜率和截距; B V i 1 和 B V i 2 分别表示单波段影像1和影像2邻域窗口内第 i 个像元的灰度值; μ 1 和 μ 2 分别表示双时相单波段影像邻域窗口内所有像元的灰度均值,而 s 1 和 s 2 为相应的灰度值标准差; n 是窗口内像元总数。
RCVA法原理是判断T1时相影像中的一个像元与T2时相影像中该像元邻域窗口内的各像元的光谱差异大小,差异最小的像元点对即为两幅影像的同名像点。基于该原理可计算出双时相影像同名像点的纹理变化强度。具体地,首先利用灰度共生矩阵（Grey Level Co-occurrence Matrix, GLCM）[30]分别在T1和T2时相影像上提取4个相关性较小的标量（均值（Mean）、方差（Variance）、同质性（Homogeneity）和相异性（Dissimilarity））表征两期影像的纹理,获取两期影像对应该4种标量的纹理特征图,4种纹理计算公分别如式（7）-（10）所示。
Mean = ∑ i = 1 N ∑ j = 1 N p i , j , d , θ × i
Variance = ∑ i = 1 N ∑ j = 1 N p i , j , d , θ × i - Mean
Homogeneity = ∑ i = 1 N ∑ j = 1 N p i , j , d , θ × 1 1 + i - j 2
Dissimilarity = ∑ i = 1 N ∑ j = 1 N p i , j , d , θ × i - j
式中： N 为原始影像灰度量化等级; p i , j , d , θ 表示以灰度值 i 为起点,在 θ 方向上距离为 d 时,灰度值为 j 出现的概率,其中 θ 为生成GLCM的方向, θ ∈ 0 ° , 45 ° , 90 ° , 135 ° 。本文设置 θ = 0 ° 、 N = 16 并以 5 × 5 大小的扫描窗口提取双时相灰度影像的以上4种纹理特征。
然后,基于上述所得两期影像的纹理特征,通过式（11）计算T1时相影像中的点x1与在T2时相影像中的同名像点x1间的均值、方差、同质性以及相异性差异分别得到均值、方差、同质性和相异性的纹理变化强度图,该纹理变化强度图上的每个像元即为双时相影像像元点对顾及邻域的纹理特征。
CM = textur e x 1 - textur e x 2 2
式中： textrue 分别表示上述4种纹理特征; CM 为同名像点的纹理变化强度。
综上假设双时相影像通道数均为num,可分别计算得到num维的相关度、斜率和截距特征,共 3 × num 维的NCIs特征以及各1维的均值、方差、同质性和相异性变化强度特征,共4维的顾及邻域的纹理变化强度。将NCIs、顾及邻域的纹理变化强度特征线性组合得到 3 × num + 4 维的特征作为像元点对的底层特征描述。该方案可有效顾及影像的空间上下文信息、减弱配准误差影响。
2.3.2 超像元词频表示
超像素词频表示实质是通过量化编码统计各超像元区域中“视觉词汇”出现的频率,得到词频直方图。词频表示的关键是视觉词典的构建,本文将超像元和影像中像元点对分别定义为BOW模型中的“文档”和“单词”,通过K均值聚类算法在像元点对集合中随机选取K个聚类中心,并迭代计算每个像元点对与各聚类中心的欧式距离,聚类算法停止迭代后的聚类中心即为“视觉词汇”。视觉词典生成时,合理的聚类中心数量（K）有助于提升词典的描述能力和泛化能力。一般而言,当K值较小时,词典描述能力不足,图像区分度较低;而K值较大时,会降低词典的泛化能力,导致相似图像被分到不同类簇,同时影响算法效率[31]。因此在视觉词典学习前,需选取恰当的K值构建一个具有较强描述能力和泛化能力的词典。
基于生成的词典分别计算超像元区域中各像元点对特征向量与各词典分量间的欧式距离,与距离其最近的词典分量相匹配,统计各视觉词汇出现在超像元区域中的频数,经归一化处理获取超像元BOW特征表示。

2.4 改进标注策略的主动学习

为进一步降低传统主动学习的样本标注成本、提高标注的自动化程度,本文提出一种改进样本标注策略的主动学习方法,在训练过程中自动完成样本标注,流程框架如图3所示。
图3 改进标注策略的主动学习流程

Fig. 3 Active learning processes of the improved annotation strategy

本文提出的改进标注策略的主动学习算法主要基于自身分类模型和最近邻算法（距离度量公式如式（12））,在训练过程中,通过判断分类模型预测的样本标签与最近邻算法所获样本标签的一致性对样本进行协同自动标注,提高自动标注的准确率。
cos X , Y = ∑ i = 1 n x i y i ∑ i = 1 n x i 2 ∑ i = 1 n y i 2
式中： X = x 1 , x 2 , ⋯ , x n 和 Y = y 1 , y 2 , ⋯ , y n 分别为具有 n 维特征向量的2个样本,其2个向量间的余弦夹角值 cos X , Y 可直接反映两向量间的相似性程度,且 cos X , Y 值的大小与相似程度呈现负相关关系。
算法具体描述如下：
输入：初始有标签训练集L,无标签样本池U,迭代样本数量Q,最大迭代次数Max
输出：分类器f
过程如下：
重复：
S1：设置P=0,利用L建立/更新分类器f;
S2：用f预测得到U中样本的伪标签lab1,根据式（13）基于信息熵的启发式方法按熵值从大到小对U中各样本进行排序;
S3：选择第P+1至第P+Q范围内的样本连同伪标签lab1（或lab2）构成集合 V = Q , lab 1 ;
S4：根据式（12）计算V中各样本与L中样本的余弦距离,基于相似相近思想在L中寻找距离V中各样本最近的样本,并将L中各样本的标签匹配到V中各样本,记作伪标签lab2;
S5：判断 V 中是否存在伪标签 lab 1 等于 lab 2 的样本。若存在进入S6,否则返回S3,并更新 P = P + Q 重新选择第 P + 1 至第 P + Q 范围内的样本再次判断。
S6：挑选出满足 lab 1 等于 lab 2 条件的样本,并构成样本子集 ξ ;
S7：将 ξ 中的样本连同标签加入训练集 L 中,更新 L 和 U ： L = L ⋃ ξ , U = U \ ξ ;
直到满足设置的最大迭代次数Max则停止
S8：输出最终分类器。
需说明的是,本文选用极限学习机（Extreme Learning Machine, ELM）[32]作为分类器。ELM具有泛化能力强、学习速率快的优点,但ELM是非后验概率输出模型,无法度量样本信息熵,故采用式（14）中的逻辑回归公式将神经网络输出映射为后验概率。
E = - ∑ j = 1 m P y j | x i log P y j | x i
p ( y j x i ) = 1 1 + exp ( t ij )
式中： p ( y j x i ) 表示任意一个样本 x i 属于第 j 类的后验概率; m 为类别数目; t ij 表示神经网络的输出,熵值 E 越大表示样本的分类模糊度越大,该样本信息越丰富,对分类模型的性能影响越大。

3 实验及结果分析

3.1 数据源

双时相影像集分别来自GF-2号和Worldview-Ⅱ卫星,影像均经过辐射校正、相对配准和影像融合。数据集1分别选自2015年4月（图4（a））和2016年4月（图4（b））的合肥蜀山区局部区域GF-2号影像,影像包含红、绿、蓝和近红外波段,空间分辨率为1 m,大小为800像元×800像元。数据集2[33] 分别选自2012年11月（图4（d））和2016年10月（图4（e））的福州仓山区局部Worldview-Ⅱ影像,影像包含红、绿、蓝和近红外波段,空间分辨率为0.5 m,大小为1800像元×1300像元。其中,数据集2具有城中村特征,建筑杂乱密集,检测难度较高。图4（c）和图4（f）是通过专家结合历史专题图解译获取的变化检测参考图。
图4 原始影像及变化参考图

注：黑色区域代表未变化,白色区域代表变化。

Fig. 4 Original images and change reference diagrams

3.2 评价指标

变化检测实质上是二分类问题,本文参照遥感影像精度评价方法构建混淆矩阵,选择漏检率、误检率、正确率和F1分数作为定量评价指标（表1）。
表1 混淆矩阵

Tab. 1 Confusion matrix

真实变化像元数 真实未变化像元数 总和
检测变化像元数 TP FP P
检测未变化像元数 FN TN N
总和 P' N' T
（1）漏检率（TPR）计算公式如下：
TPR = FN P '
（2）误检率（FPR）计算公式如下：
FPR = FP P
（3）正确率（Precision）计算公式如下：
Precision = TP P
（4）F1分数计算公式如下：
F 1 = 2 × 1 - TPR × 1 - FPR 1 - TPR + 1 - FPR
其中,F1分数是用于评价二分类的综合指标,可同时兼顾漏检率和误检率,客观反映检测结果图与变化参考图的吻合性。

3.3 实验过程和结果分析

根据本文技术路线,首先,利用ENVI软件将预处理后的双时相影像的所有波段进行叠加,获得叠加影像。叠加影像可同时凸显双时相影像的各自地物,并且仅通过一次分割就可同时获取双时相影像的地物轮廓,避免双时相影像独立分割所造成的边界不一致问题。
其次,采用ERS算法分割叠加影像,获取超像元区域。为获得边缘完整且与地物边缘吻合度高的分割结果,在实验中采用超像元个数选取模型,通过迭代改变超像元数目,计算不同数目下的总体分割效果指数 F V , I 。本文在数据集1和数据集2上设置超像元数目的迭代范围分别为500至4500、2000至12 000,迭代步长分别为200和500,计算各数目下的效果指数,并对各分割效果指数进行插值加密,拟合结果分别如图5（c）和图5（d）所示。结果表明,数据集1的超像元数目为3500时,分割效果指数 F V , I 取得最大值,此时超像元内部整体同质性较高、相邻超像元间异质性较强,因此本文设置超像元数目3500用于分割数据集1的叠加影像,分割结果如图5（a）。类似地,在数据集2中选取超像元数目为10 000时,取得最优分割效果,分割结果如图5（b）。
图5 基于熵率分割两组叠加影像的结果及分割效果评价

Fig. 5 Segmentation results and evaluation of two groups of superimposed images based on entropy rate

然后,以3×3窗口提取NCIs特征和顾及邻域的纹理变化强度作为像元点对的底层特征,底层特征包括12维NCIs特征和4维顾及邻域的纹理变化强度特征,线性组合后各像元点对共有16维底层特征。基于所有具有16维底层特征的像元点对,采用K均值聚类算法构建视觉词典,计算超像元区域中各像元点对与词典分量的欧式距离,实现底层特征到视觉词典的中层特征映射,得到超像元BOW特征表示。
为选取合适的K值,保证词典的描述能力和泛化能力,本文设置词典尺寸K的变化范围为[100, 600],变化步长为50,随机选择200个样本,标注后作为训练样本训练ELM（隐含层节点数为100）,然后在验证集上分类得到测试精度。每个K值下实验重复10次,取平均分类精度作为该K值下分类效果指标,分类精度如图6所示。
图6 不同K值下验证集的分类结果

Fig. 6 Classification results of validation sets with different K values

图6结果显示,初始时随着K值增大,2组数据集的分类精度均呈现出逐步上升趋势,到达峰值后随K的增大,呈下降态势。这说明初期词典尺寸K太小,泛化性能和描述能力较减弱,当词典尺寸分别为300和400时,达到最优分类精度,对应词典有最佳的描述能力和泛化能力。因此在实验中分别选择K=300和K=400构建两组数据集的视觉词典。
为简化实验过程,本文经十折交叉验证后将ELM的隐含层节点个数L和惩罚系数c分别设置为100和210。开始训练分类模型前,随机抽取总样本中5%的样本,交给专家标注构建有标签的初始训练集。在训练过程中以批处理方式每次迭代选取20个信息熵最大的无标签样本,连同它们的标签一起加入训练集中,迭代更新分类器,在数据集1、数据集2上设置最大迭代次数Max分别为60和140。
为验证本文方法的可行性和优越性,采用如下8种基于同一超像元分割结果的算法进行实验：基于词包模型和改进标注策略的主动学习方法（Bag Of Words-Improved Active Learning, BOW-IAL）、基于词包模型和随机采样的方法（Bag Of Words-Random Sampling, BOW-RS）、基于底层特征和改进标注策略的主动学习方法（LOW-Improved Active Learning, LOW-IAL）、基于底层特征和随机采样的方法（LOW-Random Sampling, LOW-RS）、基于词包模型和传统主动学习的方法（Bag Of Words-Active Learning, BOW-AL）、 基于底层特征和传统主动学习的方法（LOW-Active Learning, LOW-AL）、面向对象变化向量分析法（Object-oriented Change Vector Analysis, OCVA）以及基于支持向量机的变化检测方法（Support Vector Machine, SVM）。各算法描述如表2所示。
表2 8种基于相同超像元分割结果的变化检测方法的过程描述

Tab. 2 Process description of eight change detection methods based on same superpixel segmentation results

方法 过程描述
BOW-IAL 基于视觉词典构建样本的词包特征
在ELM训练中采用主动学习采样,并利用改进标注策略自动标注所采样本,完成训练、变化检测
BOW-RS 构建样本的词包特征（同BOW-IAL）
在ELM训练中采用随机方法进行采样,并利用改进的标注策略自动标注所采样本,完成训练、变化检测
LOW-IAL 构建样本的底层特征（前文所述的3种NCIs特征、4种纹理特征,共16维特征）,其中超像元NCIs特征构造方法参考文献[28]
在ELM训练中采用主动学习采样,并利用改进标注策略自动标注所采样本,完成训练、变化检测
LOW-RS 构建样本的底层特征（同LOW-IAL）
在ELM训练中采用随机方法进行采样,并利用改进的标注策略自动标注所采样本,完成训练、变化检测
BOW-AL 构建样本的词包特征（同BOW-IAL）
在ELM训练中采用主动学习采样,人工标注所采样本,完成训练、变化检测
LOW-AL 构建样本的底层特征（同LOW-IAL）
在ELM训练中采用主动学习采样,人工标注所采样本,完成训练、变化检测
OCVA 基于超像元分割结果构建光谱变化强度图
利用大津法获取最佳变化阈值,阈值分割得到变化检测结果
SVM 基于超像元分割结果选取光谱和纹理（光谱特征包括光谱均值和方差,纹理特征包括均值、方差、同质性和相异性）构建
差异特征向量
随机选择总样本的60%作为训练集,剩余40%为测试集,训练SVM分类器,完成变化检测
为减小随机构建初始训练集所带来的检测精度波动,以上所有变化检测算法均运行20次,对20次实验的F1分数求取平均值,获得具有统计意义的平均F1分数值。图7展示了前6种方法的平均F1分数学习曲线。
图7 前6种方法的平均F1分数曲线

Fig. 7 The average F1 score curves of the first six methods

从图7可看到：训练初期（分别在前10次和20次迭代）,自动标注方法（BOW-IAL、LOW-IAL）与人工标注方法（BOW-AL、LOW-AL）二者F1分数相差较大,但随着迭代次数增加2种方法的F1分数曲线逐渐接近且收敛精度相差不大。这是由于训练初期训练集规模相对较小,导致模型预测精度较低,因此相对于人工标注方法,自动标注方法获得的样本数量较少,模型的分类精度较低;随着迭代次数增加,训练集不断被扩充,模型的分类精度得到有效提升。虽然本文提出的自动标注方法相比人工标注方法在达到收敛时需要更多迭代次数,但本文提出的样本标注方法是一种无需人工参与、自动标注的策略,可在基本不损失精度的情况下,有效提高样本标注自动化程度。
图7的学习曲线显示：训练初期（前4次迭代）基于主动学习方法（BOW-IAL、LOW-IAL）与基于随机采样方法（BOW-RS、LOW-RS）之间的F1分数相差无几,这是由于训练样本较少时模型欠拟合,主动学习采样相当于随机采样,所选样本信息量较低。对于数据集1,从第6次迭代开始基于主动学习方法的检测精度显著优于随机采样方法,其中基于底层特征方法（LOW-IAL、LOW-RS）的F1分数分别为0.3758和0.2945,提升0.0813;基于中层特征方法（BOW-IAL、BOW-RS）的F1分数分别为0.4886和0.3322,提升0.1564;类似地,在数据集2上,从第16次迭代开始基于底层特征方法和基于中层特征方法的F1分数开始大幅提升。以上说明随着算法迭代运行,标注样本的数量逐渐增多,有标签训练集逐渐扩充,分类模型的预测精度随之提高。
观察图7的曲线走势,基于主动学习方法（BOW-IAL、LOW-IAL）比基于随机采样方法（BOW-RS、LOW-RS）的F1分数上升速度更快,且基于主动学习方法的收敛精度更高,这说明采用主动学习方法比随机采样方法更能有效改善分类模型的性能、提高检测精度和加速算法收敛。此外,图中显示基于随机采样方法和基于主动学习方法的学习曲线波动均较大,前者是因为随机采样的样本信息含量不稳定,后者是由于每次迭代训练样本数量相对较少,易受“孤立点”影响,造成检测精度出现起伏现象。图8和图9给出了20次实验中基于主动学习方法（BOW-IAL、LOW-IAL）收敛时,基于随机采样方法（BOW-RS、LOW-RS）和基于主动学习方法的最佳检测结果,其变化检测结果精度评价分别如表3和表4所示。
图8 数据集1变化检测结果

Fig. 8 Change detection results of dataset 1

图9 数据集2变化检测结果

Fig. 9 Change detection results of dataset 2

表3 数据集1变化检测结果精度评价

Tab. 3 Accuracy evaluation of dataset 1 change detection results

方法 F1分数 正确率 漏检率 误检率
BOW-IAL 0.8714 0.9148 0.1681 0.0852
BOW-RS 0.7623 0.8646 0.3183 0.1354
LOW-IAL 0.8143 0.8369 0.2072 0.1631
LOW-RS 0.6774 0.7652 0.3924 0.2348
OCVA 0.6849 0.6332 0.2541 0.3668
SVM 0.8261 0.8455 0.1924 0.1545
表4 数据集2变化检测结果精度评价

Tab. 4 Accuracy evaluation of dataset 2 change detection results

方法 F1分数 正确率 漏检率 误检率
BOW-IAL 0.8554 0.9022 0.1868 0.0978
BOW-RS 0.7383 0.8312 0.3359 0.1688
LOW-IAL 0.7847 0.7969 0.2272 0.2031
LOW-RS 0.6316 0.7121 0.4326 0.2879
OCVA 0.6668 0.6230 0.2829 0.3770
SVM 0.7919 0.8009 0.2169 0.1991
图8和图9检测结果显示,LOW-RS方法在2组影像集中的检测效果均较差,检测结果破碎不完整,漏检和误检像元较多。BOW-RS和LOW-IAL在两组数据集的检测指标均优于LOW-RS。在数据集1中,与LOW-RS相比,BOW-RS的漏检率和误检率分别降低7.41%和9.94%,LOW-IAL的漏检率和误检率分别降低18.52%和7.17%;类似地,在数据集2中,BOW-RS的漏检率和误检率分别降低9.67%和11.91%, LOW-IAL则分降低20.54%和8.48%。总体而言,BOW特征和主动学习（IAL）2种策略均能有效提升变化检测精度,而主动学习的提升效果更为显著。这是由于BOW是在底层特征基础上编码形成语义丰富的中层特征,提升了地物的可分性;而主动学习每次优选出信息丰富的样本,可有效改善分类模型的性能。
由图8（b）可看出,LOW-IAL检测结果中存在较多误检斑块,但整体地物完整性较好,而BOW-RS的检测结果（图8（c））中误检斑块明显减少,但对于影像中左侧中部和下部区域的变化不敏感,因此LOW-IAL的误检率（0.1631）高于BOW-RS（0.1354）,而BOW-RS的漏检率（0.3183）高于LOW-IAL（0.2072）,类似地,在数据集2上,LOW-IAL的检测结果（图9（b））比BOW-RS的检测结果更为完整（漏检率分别为0.2272、0.3359）,但BOW-RS比LOW-IAL的误检斑块更少（误检率分别为0.1688和0.2031）。这说明BOW-RS和LOW-IAL可互补性地提高检测性能,因此本文提出的BOW-IAL同时结合语义丰富的BOW特征和改进标注策略的主动学习（IAL）,该法的各检测指标均优于单独的BOW特征（BOW-RS）或改进标注策略的主动学习（LOW-IAL）方法。
为进一步验证本文方法（BOW-IAL）的优越性,各选取一种代表性的面向对象的监督方法（SVM）和无监督方法（OCVA）作为对比。图8和图9显示,OCVA和SVM两种基于底层特征的方法在两组数据集上均存在较多漏检情况,且OCVA还存在严重的误检现象（误检率分别为0.3668、0.3770）,这是因为OCVA仅利用光谱特征识别对象,在较复杂的场景中识别力较弱,而SVM引入纹理特征,可有效提高地物区分能力,减少误检像元。在数据集1上,对比OCVA和SVM,本文方法F1分数分别提高18.65%、4.53%,正确率和误检率均分别提升和降低28.16%、6.93%,漏检率分别降低8.60%、2.43%;在数据集2上,本文方法F1分数分别提高18.86%、6.35%,正确率和误检率均分别提升和降低27.92%、10.13%,漏检率分别降低9.61%、3.01%。此外,由于本文选用的ELM分类模型在学习过程中无需迭代调整网络的权值和偏置,因此运行速度极快,可有效避免“维数灾难”。综合4种检测精度评价指标,本文方法（BOW-IAL）的检测性能优于各对比算法。

4 结论与讨论

本文在遥感影像变化检测流程中从特征工程和样本选择2个角度出发,提出了结合超像元词包特征和主动学习的技术方法。特征工程方面,引入BOW模型,以像元点对的底层特征为基础编码形成超像元BOW特征;样本选择方面,利用改进标注策略的主动学习在训练分类模型的过程中择优挑选“有价值”的样本、自动完成样本标注工作。通过在2组不同场景下的实验结果表明：
（1）超像元词包特征克服了底层特征表达能力不足以及“椒盐”的问题,与相同采样策略下的基于底层特征的方法相比,变化区域中的漏检和误检像元明显减少,变化检测精度得到有效提高。其中,在2组数据集上,基于随机采样策略的BOW-RS对比LOW-RS,漏检率分别降低了7.41%和9.67%,误检率分别降低了9.94%和11.91%,F1分数分别提高了8.49%和10.67%;基于主动学习采样策略的BOW-IAL对比LOW-IAL,漏检率分别降低了3.91%和4.04%,误检率分别降低了7.79%和10.53%,F1分数分别提高了5.71%和7.07%。
（2）改进标注策略后的主动学习可在较低的精度损失下有效解决传统主动学习样本标注过程需人工不断交互的问题,提高了样本标注的自动化程度。
（3）通过对比分析,本文方法（BOW-IAL）结合了BOW特征和改进标注策略的主动学习可有效识别高分影像中的变化对象,检测结果更加完整,同时具有自动标注样本的优势。在数据集1上,对比2种常用变化检测方法OCVA和SVM,BOW-IAL的漏检率分别降低8.60%、2.43%,误检率分别降低28.16%、6.93%;在数据集2上,BOW-IAL的漏检率分别降低9.61%、3.01%,误检率分别降低27.92%、10.13%。该方法可为自然资源部门实时监测、准确分析土地覆盖变化提供一种新的有效技术手段。
尽管本文方法在遥感影像变化检测中取得较好的效果,但仍存在一定的不足之处。如何在主动学习采样过程中查询出更具代表性和多样性的样本并剔除样本集中的“外点”以及如何进一步描述超像元词频直方图中各分量的空间关系提升词包特征的表达能力是后续的重要研究工作。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
张良培, 武辰 . 多时相遥感影像变化检测的现状与展望[J]. 测绘学报, 2017,46(10):1447-1459.

[ Zhang L P, Wu C . Advance and future development of change detection for multi-temporal remote sensing imagery[J]. Acta Geodaetica et Cartographica Sinica, 2017,46(10):1447-1459. ]

[2]
RJ Radke, S Andra, O AlKofahi , et al. Image change detection algorithms: A systematic survey[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2005,14(3):294.

[3]
Wen D, Huang X, Zhang L , et al. A novel automatic change detection method for urban high-resolution remotely sensed imagery based on multiindex scene representation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015,54(1):609-625.

[4]
Singh A . Change detection in the tropical forest environment of northeastern India using Landsat[J]. Remote sensing and tropical land management, 1986: 237-254.

[5]
Luczkovich J, Wagner T, Michalek J , et al. Discrimination of coral reefs, seagrass meadows, and sand bottom types from space: A dominican republic case study[J]. Photogrammetric Engineering and Remote Sensing, 1993,59(3):385-389.

[6]
Yang G, Li H C, Liu C. Unsupervised change detection of remote sensing images using superpixel segmentation and variational Gaussian mixture model[C]// Analysis of Multitemporal Remote Sensing Images. IEEE, 2017: 1-4.

[7]
Angluin D . Queries and concept learning[J]. Machine Learning, 1988,2(4):319-342.

[8]
Yu H, Yang W, Hua G , et al. Change detection using high resolution remote sensing images based on active learning and Markov Random Fields[J]. Remote Sensing, 2017,9(12):1233.

[9]
王成军, 毛政元, 徐伟铭 , 等. 超像素与主动学习相结合的遥感影像变化检测方法[J]. 地球信息科学学报, 2018,20(2):235-245.

[ Wang C J, Mao Z Y, Xu W M , et al. Change detection approach for high resolution remotely sensed images based on superpixel and active learning[J]. Journal of Geo-information Science, 2018,20(2):235-245. ]

[10]
Yu H, Sun C, Yang W , et al. AL-ELM: One uncertainty-based active learning algorithm using extreme learning machine[J]. Neurocomputing, 2015,166:140-150.

[11]
翟俊海, 臧立光, 张素芳 . 在线序列主动学习方法[J]. 计算机科学, 2017,44(1):37-41.

[ Zhai J H, Zang L G, Zhang S F . Online sequential active learning approach[J]. Computer Science, 2017,44(1):37-41. ]

[12]
Samat A, Gamba P, Du P , et al. Active extreme learning machines for quad-polarimetric SAR imagery classification[J]. International Journal of Applied Earth Observation and Geoinformation, 2015,35:305-319.

[13]
Liu J, Yu H, Yang W, et al. Combining active learning and semi-supervised learning based on extreme learning machine for multi-class image classification[C]. International Conference on Intelligent Science, 2015: 163-175.

[14]
赵理君, 唐娉, 霍连志 , 等. 图像场景分类中视觉词包模型方法综述[J]. 中国图象图形学报, 2014,19(3):333-343.

DOI

[ Zhao L J, Tang P, Huo L Z , et al. Review of the bag-of-visual-words models in image scene classification[J]. Journal of Image and Graphics, 2014,19(3):333-343. ]

[15]
Wu C, Zhang L, Zhang L . A scene change detection framework for multi-temporal very high resolution remote sensing images[J]. Signal Processing, 2016,124(C):184-197.

[16]
Zhu Q, Zhong Y, Zhao B , et al. Bag-of-Visual-Words scene classifier with local and global features for high spatial resolution remote sensing imagery[J]. IEEE Geoscience & Remote Sensing Letters, 2016,13(6):747-751.

[17]
浮瑶瑶, 柳彬, 张增辉 , 等. 基于词包模型的高分辨率SAR 图像变化检测与分析[J]. 雷达学报, 2014,3(1):101-110.

DOI

[ Fu Y Y, Liu B, Zhang Z H , et al. Change detection and analysis of high resolution synthetic aperture radar images based on bag-of-words Model[J]. Journal of Radars, 2014,3(1):101-110. ]

[18]
Tu J, Li D, Feng W , et al. Detecting damaged building regions based on semantic scene change from multi-temporal high-resolution remote sensing images[J]. ISPRS International Journal of Geo-information, 2017,6(5):131.

[19]
罗星, 徐伟铭, 王佳 . 基于对象BOW特征的高分辨率遥感影像变化检测方法[J]. 地球信息科学学报, 2018,20(8):1150-1159.

[ Luo X, Xu W M, Wang J . Change detection method for high resolution remote sensing images based on BOW features representation[J]. Journal of Geo-information Science, 2018,20(8):1150-1159. ]

[20]
Ren X, Malik J. Learning a classification model for segmentation[C]// IEEE International Conference on Computer Vision. IEEE, 2003: 10-17.

[21]
Liu M Y, Tuzel O, Ramalingam S , et al. Entropy rate superpixel segmentation[J]. Computer Vision and Pattern Recognition, 2011,32(14):2097-2104.

[22]
冯文卿, 眭海刚, 涂继辉 , 等. 联合像素级和对象级分析的遥感影像变化检测[J]. 测绘学报, 2017,46(9):1147-1155.

[ Feng W Q, Sui H G, Tu J H , et al. Remote sensing image change detection based on the combination of pixel-level and object-level analysis[J]. Acta Geodaetica et Cartographica Sinica, 2017,46(9):1147-1155. ]

[23]
Tu B, Li N, Fang L , et al. Classification of hyperspectral images via weighted spatial correlation representation[J]. Journal of Visual Communication and Image Representation, 2018,56:160-166.

[24]
Fang L, Zhuo H, Li S . Super-resolution of hyperspectral image via superpixel-based sparse representation[J]. Neurocomputing, 2018,273:171-177.

[25]
Im J, Jensen J R . A change detection model based on neighborhood correlation image analysis and decision tree classification[J]. Remote Sensing of Environment, 2005,99(3):326-340.

[26]
Thonfeld F, Feilhauer H, Braun M , et al. Robust Change Vector Analysis (RCVA) for multi-sensor very high resolution optical satellite data[J]. International Journal of Applied Earth Observation & Geoinformation, 2016,50(8):131-140.

[27]
Im J . Neighborhood correlation image analysis for change detection using different spatial resolution imagery[J]. Korean Journal of Remote Sensing, 2006,22(5):337-350.

[28]
Im J, Jensen J R, Tullis J A . Object-based change detection using correlation image analysis and image segmentation[J]. International Journal of Remote Sensing, 2008,29(2):399-423.

[29]
Li M, Zhu X, Zhao A, et al. Single late rice information extraction based on change detection method using neighborhood correlation images[C]//2014 The Third International Conference on Agro-Geoinformatics. IEEE, 2014: 1-4.

[30]
Haralick R M, Shanmugam K . Textural features for image classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1973(6):610-621.

[31]
徐盛 . 基于主题模型的高空间分辨率遥感影像分类研究[D]. 上海:上海交通大学, 2012.

[ Xu S . Classification of high spatial resolution remote sensing images based on topic model[D]. Shanghai: Shanghai Jiao Tong University, 2012. ]

[32]
Huang G B, Zhu Q Y, Siew C K . Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006,70(1):489-501.

[33]
陈伟锋, 毛政元, 徐伟铭 , 等. 基于Adaboost的高分遥感影像自动变化检测方法[J]. 地球信息科学学报, 2018,20(12):1756-1767.

[ Chen W F, Mao Z Y, Xu W M , et al. Automatic change detection approach for high-resolution remotely sensed images based on Adaboost algorithm[J]. Journal of Geo-information Science, 2018,20(12):1756-1767. ]

Options
文章导航

/

〈 〉