EN中文

Journal of Geo-information Science >

2019 , Vol. 21 >Issue 8: 1265 - 1274

DOI: https://doi.org/10.12082/dqxxkx.2019.190071

Comparison of Evaluation Indexes for Supervised Segmentation of Remote Sensing Imagery

  • LI Zeyu ,
  • MING Dongping , * ,
  • FAN Yinglin ,
  • ZHAO Linfeng ,
  • LIU Simin
Expand
  • School of Information Engineering, China University of Geosciences (Beijing), Beijing 100083, China
* MING Dongping, E-mail:

Received date: 2019-02-21

  Request revised date: 2019-04-05

  Online published: 2019-08-25

Supported by

Innovation and Entrepreneurship Training Program for College Students of China University of Geosciences, Beijing(201811415118)

Copyright

Copyright reserved © 2019.
Fold

Abstract

The improving spatial resolution of remote sensing imagery provides more abundant information for users, but also increases the difficulty of accurate and efficient extraction of information. Image segmentation is a fundamental step in target extraction from remote sensing imagery. The quality of image segmentation directly affects the accuracy of information extraction from high spatial resolution remote sensing imagery. With various segmentation algorithms, image segmentation evaluation has become one of the research focuses in remote sensing information extraction and target recognition. Aiming at the issue of typical target recognition and from an experimental perspective, this paper compared and analyzed in detail eight representative supervised segmentation indexes: Area Fitness Index (AFI), Similarity of Size (SimSize), Relative Area in Sub-Object (RAsub), Quality Rate (QR), Euclidian Distance 1 (ED1), Euclidian Distance 2 (ED2), area discrepancy index (ADI) and Distance-Based Measure (D). Firstly, we employed a series of experiments to calculate the difference between segmentation image and reference image by using different segmentation methods, then discussed the calculation results and evaluated the advantages and disadvantages of the different supervised segmentation evaluation indexes. The comparison results show that the AFI, ED1, ED2 and D could representatively and synthetically assess the segmentation quality. Further, based on the indexes analysis result, this paper proposed a comprehensive evaluation scheme for remote sensing imagery supervised segmentation evaluation by using weighted calculation of the four representative indexes. Through the experiment of comprehensive evaluation, we conclude that the effect of simple shape objects (such as the baseball field and oil tank) by using various segmentation methods is generally ideal. When the shape of objects is complex and the contour is blurred, the accuracy of image segmentation will be sensitive to the segmentation result to some extent. Meanwhile, the effect of segmentation methods (e.g., Otsu-2D, Regional Growth, and Mean Shift) are in general better than the other segmentation methods (e.g., split and merge, maximal entropy, and fuzzy threshold). In addition, the experiments also suggest that the comprehensive method is helpful for the scientific selection of segmentation methods and it can improve the efficiency of information extraction from high spatial resolution imagery. Finally, this paper systematically analyzed the experimental results from the two aspects of evaluation index and segmentation method, and pointed out the existing problems and development trends of image supervised segmentation evaluation.

Key words： high resolution remote sensing image; image segmentation quality; supervisory evaluation method; target recognition; GeOBIA; empirical discrepancy method

Cite this article

LI Zeyu , MING Dongping , FAN Yinglin , ZHAO Linfeng , LIU Simin . Comparison of Evaluation Indexes for Supervised Segmentation of Remote Sensing Imagery[J]. Journal of Geo-information Science, 2019 , 21(8) : 1265 -1274 . DOI: 10.12082/dqxxkx.2019.190071

1 引言

随着众多遥感卫星、航测飞行器的广泛使用与遥感成像技术的迅速发展,研究人员获取的遥感数据正在向着高光谱、高空间分辨率与实现全天时、全天候、实时对地观测的方向不断发展[1]。然而,在遥感数据的空间与时间精度大幅提升、地物细节信息愈加丰富的同时,也产生了影像数据量庞大、信息繁杂而可读性较低的问题,继续使用传统基于像素的图像分析方法会忽视目标之间的空间信息[2],在一定程度上限制其在各领域中的应用。因此,目前一种主要的研究方向是借助新技术对遥感影像进行准确、高效的信息提取,以得到研究对象突出且易于识别的影像信息。面向地理对象的影像分析技术（Geographic Object-Based Image Analysis, GeOBIA）是近年来热门的遥感信息提取方法之一,由于能够充分利用影像中研究对象丰富的大小、形状、纹理等信息,该技术对于高分辨率遥感影像进行分析的效果与精度远优于传统的基于像元分析方法[3]。
作为影像信息提取的关键步骤与GeOBIA技术的基础环节,遥感影像分割能够有效地提取目标对象的主要信息,通过分割得到简化的影像对象可以用于后续的分析处理操作,并有助于实现更高层的图像分析和理解[4]。众多学者研究提出的各类分割方法迄今已有一千余种,对于不同工作具体地选取出适合实际情况、效果最理想的方法具有一定难度,需要通过评价影像分割的结果对分割方法进行全面研究,综合评估不同分割方法的性能与适用对象,提出可行有效的分割评价体系,对于分割方法的选择提供指导,优化遥感影像信息处理应用的精度和效率,促进影像分割技术的深度应用与发展。
借助于定量实验的监督评价法是分割评价方法体系中的一大热点,该方法将分割结果与手工选取的分割参考数据（黄金标准图像）进行对比[5],通过多种指标测算二者之间的差异情况或不相似度,能够得到客观准确、可信度较高的结果,从而有效地分析评判各种分割方法以及分割中所选参数的优劣,指导分割方法和各项参数的选取。目前大量研究提出了基于分割对象与匹配对象的形状、位置、数量等众多类别的差异评价指标[6],但是评价指标之间的相关性与实际应用的有效性尚不清楚,没有从实验的角度综合考查与比较不同种类的指标实际性能的相关研究。本文将针对遥感影像分割评价方法体系中的监督分割评价,设计算法测算分割结果与参考影像在各类评价指标下的差异度,比较分析不同的监督分割评价指标,总结不同评价指标的优缺点,辅助实现定量且客观的影像分割评价;并且通过综合性评价指标及体系的建立,对分割方法的选用提供指导,进一步保障与提高遥感影像信息提取的精度、效率与可靠性。

2 分割评价实验方法

2.1 常用监督评价指标

国内外的大量文献已对各类监督分割评价指标进行了详尽全面的分析与论述[7,8,9,10,11],按类别具体归纳为图1所示。
图1 监督评价指标

Fig. 1 Supervised evaluation indexes

本文主要分析比较了具有代表性的8个指标：AFI、SimSize、RAsub与QR为计算简单、定义直观且使用广泛的基于重叠区域测度指标;ED1、ED2、ADI为结合过分割、欠分割区域以及数量关系的混合指标;D为基于位置边界的指标。
（1）面积匹配指数（Area Fitness Index, AFI）是Lucieer等[12]基于区域重叠面积最大法,针对参考对象与分割对象之间的面积差异提出的评价方法。当重叠面积占参考对象或匹配对象面积较小时,对欠分割和过分割现象的评价不可靠。AFI取值范围为[-1,1],理想取值为0;AFI大于0表示分割对象分割过度,AFI小于0表示未分割完全。
AF I i = Area r i - Area s j Area r i
式中：ri表示参考对象,sj表示分割对象,二者的面积分别记作Area（ri）和Area（sj）,下同。
（2）相似尺寸指标（Similarity of Size, SimSize）由Zhan等[13]提出,通过计算参考对象与分割对象中的面积最小值与最大值的比值,评价参考对象与匹配（分割）对象的尺寸或面积相似程度。SimSize取值范围在[0, 1],理想取值为1。
SimSiz e ij = min Area r i , Area s j max Area r i , Area s j
（3）相关区域指标（Relative Area in Sub-Object, RAsub）是Moller等[14]根据参考对象与分割对象的重叠区域面积占参考对象面积的比例,评价影像的欠分割和过分割现象。RAsub取值范围为[0,1],理想取值为1。
RAsu b ij = Area r i ⋂ s j Area r i
（4）质量合格率（Quality Rate,QR）是Weidner[15]基于过分割、欠分割区域,综合考虑参考对象与匹配对象的重合面积和面积相似度的评价指标,当参考对象与分割对象的交集（即重叠区域）与并集面积相等时,二者完全重合,分割效果最佳。QR的取值范围为[0, 1],理想取值为0。
Q R ij = 1 - Area r i ⋂ s j Area r i ⋃ s j
（5）欧氏距离指标一（Euclidian Distance 1, ED1）由Clinton等[16]提出,作为过分割比例（Over Segmentation,OS）和欠分割比例（Under Segmentation,US）的组合指标,ED1对RAsub与RAsuper指标进行了改进,一般用于度量分割对象的过分割与欠分割程度。OS与US的取值范围均为[0,1],则ED1取最佳值0时参考对象不存在过分割现象、匹配对象不存在欠分割现象。
OS = 1 - Area r i ⋂ s k Ares r i
US = 1 - Area r i ⋂ s k Area s i
ED 1 = O S 2 + U S 2 2
式中：Area（ri ∩sk）表示参考对象与分割对象重叠区域的面积。
（6）欧氏距离指标二（Euclidian Distance, ED2）是Liu等[17]提出的潜在分割误差（Potential Segmentation Error,PSE）与分割比率数量（Number of Segments Radio,NSR）的组合指标。欠分割指标PSE考查错误分割比例即欠分割区域面积与参考对象面积的比值;数量指标NSR测算参考对象与匹配对象的数量对应关系。
PSE = Area s j - Area r i Area r i
NSR = | m - v | m
ED 2 = PS E 2 + NS R 2
式中：m和v分别表示参考对象与匹配对象的数量。ED2指数同时度量分割结果的几何差异和数量差异,适用于参考对象的过分割现象不明显,NSR和PSE量级一致的情况。取值范围为[0, +∞],取最佳值0时参考对象不存在欠分割现象,参考对象和匹配对象一一对应,分割效果最好。
（7）面积差异指数（area discrepancy index, ADI）为Cheng等[18]提出的漏分误差（Omission Error, OE）和错分误差（Comission Error, CE）的组合指标,二者分别为基于Object-Fate 匹配方法的过分割指标和欠分割指标。OE为侵入对象与参考对象的重叠区域面积（过分割区域）与参考对象面积的比值,CE为不与参考对象重叠的扩张对象面积（欠分割区域）与参考对象面积的比值。
O E i = Area r i ⋂ s l Area r i
C E i = Area s k - Area r i ⋂ s k Area r i
ADI = O E 2 + C E 2
式中：sl与sk分别表示侵入对象与扩张对象;OE和CE的理想取值均为0,即ADI的理想取值也为0。
（8）基于距离指标（Distance-Based Measure, D）是Lucieer等[12]提出通过计算参考对象与匹配对象矢量边界上像元最短欧氏距离反映边界重合度的指标。
D = ∑ n = 0 N min ( dist ( Pr , Ps ) ) N
式中：Pr、Ps分别为参考对象和匹配对象在矢量边界上的像元;N表示参考对象矢量边界上的像元总数;n表示边界上的像元序数。

2.2 评价指标计算方法

本文研究的监督评价法能够有效克服主观性,客观定量地评价分割算法的性能,成为近年来较为常用的评价方法[19,20]。监督分割评价的指标计算主要有建立参考数据、对象匹配与差异计算3个步骤。
（1）分割参考数据的建立。分割参考数据指的是代表研究区域最理想分割结果的参考基准,也即在实验中通过目视解译或实地数据采集的方式得到的矢量化标准数据。
（2）参考对象与评价对象的匹配。建立参考影像后需要通过匹配建立分割结果与参考数据间的重叠关系,构成基于空间拓扑关系的重叠对象集。匹配方法有区域重叠面积最大法[12]、单向50%法[17]、双向50%法[21]与Object-Fate匹配方法[22]等。
（3）对象间差异度的计算。学者们提出了多种度量分割对象与参考对象的差异度的评价指标,包括基于对象的形状、大小、位置、边界和数量关系等类型。计算结果的数值越大,说明分割结果与参考标准的偏差越大,即分割算法对于该类影像的性能较差。本文将主要针对第2.1节中所列8个指标的测算结果及所反映的指标间关系与分割方法的效果进行实验和分析。

2.3 影像分割方法

遥感影像的分割方法大致可分为基于像元的分割方法、基于边缘检测的分割方法与基于区域的分割方法等类型[23,24,25]。考虑到算法代表性、算法效果及算法使用的广泛性,本文选取并实现了6种分割算法用于监督分割实验。表1给出了各分割方法原理的简单说明。其中,最大熵法、Otsu-2D属于基于像元的阈值分割方法,区域生长法、均值漂移法与分裂合并法为基于区域的分割方法,模糊阈值法属于结合特定数学理论和工具的模糊技术。为减少不同的参数设置产生的干扰,在选择参数时综合多名实验人员的目视判读结果,选用效果最理想的分割参数。
表1 影像分割方法原理概述

Tab. 1 Overview of the principle of image segmentation methods

分割方法 基本原理
区域生长 基于图像灰度值的相似性,将具有相似性质的像素点合并的方法。指定区域的一个种子点作为生长起点后,对比与其相邻的像素点,合并性质相似的点并继续向外生长,直至包含全部的相似像素点;能否设置合适的起点像素与增长标准是实现图像准确分割的关键
均值漂移 图像像素的最优化求解,将图像映射到特征空间,对采样点进行均值漂移聚类,即将收敛于同一极大值的所有点归为一类后合并符合参数条件的类
分裂合并 将图像分割成一系列互不相交的区域,然后按照相关准则对其中不同特征的区域分裂、将相同特征的区域合并
最大熵阈值 以图像熵为准则进行图像分割,计算所有分割阈值下的图像总熵找到最大的熵,将与最大熵对应的分割阈值作为最终的阈值,即灰度图像分割点;图像中灰度大于此阈值的像元作为前景,否则作为背景
模糊阈值 在图像处理中引入灰度图像的模糊数学描述,通过计算图像的模糊率或模糊熵来选取图像分割阈值,并定性地讨论隶属函数窗宽对阈值选取的影响。该方法的重点在于图像直方图的加权平均值,平滑后的直方图即模糊率曲线的极小值即对应分割阈值
Otsu-2D
（大津法）		 又称作最大类间方差法,是用于确定图像二值化分割阈值的算法。该分割方法首先对整幅图像中灰度级中每个像素的个数进行统计,并计算每个像素单元在图像中的概率分布,接着遍历搜索各灰度级,以查找当前灰度值下前景与背景类间的概率,最后使用目标函数计算类间方差的对应阈值

2.4 评价实验具体步骤

本文的技术路线如图2所示,具体实验操作大致分为以下7个步骤：
（1）原始影像预处理。从范围大、地物信息复杂的遥感影像中粗略裁剪出仅含实验对象的矩形区域图像,便于后续分析处理。
（2）影像分割。通过上述6种使用广泛且效果较好的分割方法对实验影像进行分割运算,将所得结果作为本文影像分割质量监督评价实验的影像数据。
（3）标准影像提取。通过人工目视判读的方式提取矢量化的标准参考影像,使其形状准确、边界清晰,最大程度地符合实际地物情况。
（4）评价指标计算。在编写的评价指标程序中计算步骤（2）所得全部分割图像与相应参考影像的差异情况,在表格中记录计算结果。
（5）计算结果整理。由于本实验选用的指标基于不同的匹配原理、衡量标准,各计算结果的含义不尽相同,无法直接进行数值比较;因此需要进行归一化处理,换算计算结果使取值范围在0与1之间且最佳取值均为1,即分割影像的指标得分越接近于1,其与参考影像的匹配程度越高,表示该分割方法的效果越好。
（6）计算结果评价。先由多名实验者对于步骤（2）的分割影像进行目视评价。将各种影像分割结果按效果的优劣排序,取打分的平均值作为相对客观综合的人工评价结果,再与指标计算结果的排序情况进行相关系数计算。
（7）综合评价。根据各指标的评价结果与人工评判所得参考标准之间的符合程度即相关性,为各指标赋以相应的权重,生成的综合评价方案能够进一步评价分割算法的性能,为分割方法的选择提供决策支持,提高影像分割的精度与效率。
图2 影像分割评价实验技术路线

Fig. 2 Technical roadmap of the image segmentation evaluation experimentation

3 实验结果及分析

3.1 实验数据

本文的实验材料为从遥感影像中截取地物类型较简单且具有代表性的图像样本,如图3所示。
图3 分割评价实验影像汇总

注：图中字母A、B、C、D分别代表飞机、棒球场、油罐及房屋4类地物;数字1-8分别代表原始图像（1）、人工提取的标准图像（2）、通过区域生长法（3）、均值漂移法（4）、分裂合并法（5）、最大熵法（6）、模糊阈值法（7）、Otsu-2D（8）。

Fig. 3 Summary of images in segmentation evaluation experiment

3.2 结果汇总与比较

将飞机、棒球场等4组实验影像的分割结果在8种评价指标下的计算结果换算至统一的度量标准后记录如表2所示,并先后对比某一具体图像下不同指标的计算结果、实验图像在各指标下得分与人工对于分割效果优劣的评价的相关程度,并通过加权赋值生成综合评价方法。
表2 不同分割方法下的评价结果

Tab. 2 Evaluation results using different segmentation methods

分割方法 评价指标
AFI SimSize RAsub QR ED1 ED2 ADI D
飞机 区域生长 0.9978 0.9956 0.9622 0.9281 0.9621 0.9621 0.9733 0.1628
均值漂移 0.9438 0.9150 0.9349 0.8989 0.9333 0.9610 0.9651 0.0202
分裂合并 0.9169 0.8790 0.9119 0.8704 0.9109 0.9560 0.9575 0.0964
最大熵 0.9969 0.9938 0.9628 0.9294 0.9628 0.9630 0.9736 0.1389
模糊阈值 0.9845 0.9693 0.9660 0.9343 0.9628 0.9658 0.9736 0.1291
Otsu-2D 0.9773 0.9552 0.9682 0.9382 0.9614 0.9685 0.9724 0.1263
棒球场 区域生长 0.9978 0.9957 0.9926 0.9854 0.9923 0.9927 0.9946 0.4814
均值漂移 0.9998 0.9996 0.9952 0.9905 0.9952 0.9952 0.9966 0.7312
分裂合并 0.9885 0.9768 0.9870 0.9746 0.9828 0.9875 0.9879 0.2808
最大熵 0.9765 0.9542 0.9765 0.9542 0.9676 0.9777 0.9765 0.1676
模糊阈值 0.9965 0.9930 0.9920 0.9842 0.9913 0.9920 0.9938 0.4341
Otsu-2D 0.9984 0.9968 0.9947 0.9894 0.9944 0.9947 0.9961 0.6513
油罐 区域生长 0.9949 0.9900 0.9938 0.9879 0.9922 0.9940 0.9943 0.2760
均值漂移 0.9955 0.9911 0.9953 0.9908 0.9936 0.9955 0.9954 0.3089
分裂合并 0.9943 0.9758 0.9574 0.9443 0.9651 0.9807 0.9815 0.1692
最大熵 0.9935 0.9873 0.9932 0.9867 0.9908 0.9935 0.9933 0.1807
模糊阈值 0.9917 0.9838 0.9881 0.9772 0.9859 0.9887 0.9897 0.1703
Otsu-2D 0.9971 0.9942 0.9943 0.9888 0.9936 0.9944 0.9955 0.1903
房屋 区域生长 0.9944 0.9889 0.9410 0.8888 0.9408 0.9409 0.9581 0.1749
均值漂移 0.9777 0.9562 0.9713 0.9441 0.9643 0.9721 0.9743 0.2368
分裂合并 0.9756 0.9546 0.9592 0.9238 0.9549 0.9624 0.9690 0.1139
最大熵 0.9978 0.9956 0.9672 0.9365 0.9671 0.9672 0.9767 0.1178
模糊阈值 0.9709 0.9432 0.9642 0.9305 0.9549 0.9654 0.9674 0.4329
Otsu-2D 0.9961 0.9918 0.9851 0.9710 0.9847 0.9868 0.9893 0.4210
3.2.1 实验结果具体比较
按照“1”代表分割效果最理想,“6”表示最不理想的顺序,对实验影像在各评价指标下的计算结果进行排序,并计算与人工目视质量评价结果的相关性,将结果绘制为折线图（图4）。在4组影像的对比中可以看出,“飞机”影像中地物形状复杂,与其他3组相比不同指标的评价情况差异更明显,因此选取“飞机”作为代表进行相关系数的具体比较。
图4 指标计算与目视判读的相关性

Fig. 4 Correlation between index computation and visual interpretation

通过表3中分割效果的排序比较可以看出,对于“飞机”影像的分割结果,基于区域的监督评价指标RAsub、QR、ED2的效果一致且最理想,其次是AFI、SimSize和ED1、ADI,而基于边界的指标D与人眼感受的效果之间存在较大差异。
表3 目视判读与指标计算的相关性比较

Tab. 3 Comparison between visual evaluation and indicator computation

分割方法排序 目视评价 AFI
SimSize		 RAsub
QR
ED2		 ED1
ADI		 D
区域生长 5 1 4 3 1
均值漂移 6 5 5 5 6
分裂合并 3 6 6 6 5
最大熵 4 2 3 1 2
模糊阈值 2 3 2 2 3
Otsu-2D 1 4 1 4 4
相关系数 1 0.143 0.657 0.086 0.029
由于各评价指标的原理方法不同,通过某个指标单独进行评价的结果较为片面,为得到科学合理的结论,需要通过结合各指标的特点,提出综合性的评价方法。
3.2.2 实验结果综合比较
本文提出的综合性分割评价方法根据差异指标测算与目视评价结果的相关性大小对各指标赋以相应的权重,生成综合不同指标的特点与优势的全面多角度评价方案。根据表1的4组影像的实验结果计算各指标间的相关系数（表4）。其中AFI与SimSize、RAsub与QR以及ED2、ED1与ADI这3组中各指标间的相关系数均大于0.95,表示评价效果具有十分明显的相关性,各自之间能够互为替代。
表4 指标相关系数矩阵

Tab. 4 Correlation coefficient matrix of the evaluation indexes

AFI SimSize RAsub QR ED1 ED2 ADI
SimSize 0.9866
RAsub 0.7570 0.7551
QR 0.6869 0.6917 0.9798
ED1 0.7991 0.8059 0.9072 0.9841
ED2 0.4953 0.5118 0.8838 0.9578 0.9016
ADI 0.6565 0.6850 0.9281 0.9073 0.9601 0.9724
D 0.4139 0.4376 0.5938 0.6055 0.6011 0.5863 0.6079
本实验中所选用的8个指标根据作用原理分为4组,按评价效果（差异指标计算结果与人工评价的相关性大小）排序依次为RAsub、QR、ED2;AFI、SimSize;ED1、ADI与D。为避免作用类似的指标造成计算冗余,结合各指标的特点与相关性分析,选出具有良好综合性与适用性的AFI、ED1、ED2与D这4个指标作为代表,根据不同类别影像所求相关系数的均值所占比值（表5）,赋以相应的权重得到综合评价方案（式（15））。
总得分 = AFI × 0.2 + ED 1 × 0.24 + ED 2 × 0.48 + D × 0.08
通过指标加权生成的综合评价方法对于不同影像的各类分割结果进行差异评测的情况列于表6,其中数值越大表示匹配程度越高,即分割效果越理想,借助该方法能够从多个角度分析比较不同影像分割方法的分割效果与性能。
表5 指标计算与目视判读相关系数及赋权情况

Tab. 5 Correlation coefficients of index calculation and visual interpretation, and respective weights

相关系数 AFI SimSize RAsub QR ED2 ED1 ADI D
飞机 0.1429 0.1429 0.6571 0.6571 0.6571 0.0857 0.0857 0.0286
棒球场 0.4286 0.4286 0.4286 0.4286 0.4286 0.4286 0.4286 0.4286
油罐 0.4286 0.7143 0.8286 0.8286 0.8286 0.7143 0.7143 0.7714
房屋 0.6000 0.4857 0.8286 0.8857 0.8286 0.8857 0.8857 0.0286
均值 0.4000 0.4429 0.6857 0.7000 0.6857 0.5288 0.5288 0.3143
权重 0.1000 0.1000 0.1600 0.1600 0.1600 0.1200 0.1200 0.0800
权重(合并) 0.20 0.48 0.24 0.08
Tab. 6 Computational results of the comprehensive evaluation segmentation methods
飞机 棒球场 油罐 房屋
区域生长 0.9053 0.9527 0.9363 0.8903
均值漂移 0.8757 0.9750 0.9401 0.9125
分裂合并 0.8686 0.9300 0.9148 0.8954
最大熵 0.9038 0.9102 0.9278 0.9053
模糊阈值 0.9019 0.9481 0.9232 0.9214
Otsu-2D 0.9012 0.9679 0.9304 0.9429

3.3 讨论

3.3.1 评价指标角度
本文考查了基于重叠区域、基于过分割与欠分割区域和基于位置与边界的几何关系指标以及与数量指标结合的混合指标中具有代表性的8个指标,通过实验得出指标的主要特点与指标间的相关情况如下：
（1）指标RAsub、QR与ED2的评价效果与人工判读的结果符合程度最高,其中结合了欠分割指标PSE与数量指标NSR 的ED2（欧式距离指标2）既可考查欠分割区域面积与参考对象面积的比值,也可测算参考对象与匹配对象的数量对应关系,能够同时对分割结果的几何差异和数量差异进行度量,具有较好的综合性;由于RAsub、QR与ED2间的相关性较强,ED2能够作为代表构成综合评价方案。
（2）评价效果中等的指标有AFI、SimSize、ED1与ADI。其中,几何关系指标AFI（面积匹配指数）基于重叠区域面积最大法量测参考对象与分割之间的面积差异,可以代替与其相关性较强的SimSize。在混合指标ED1与ADI中,ED1（欧氏距离指标1）通过OS和US指标的结合能够度量分割对象的过分割与欠分割程度,具有更好的代表性。
（3）评价效果与人工目视感受差别较大的基于边界指标D,与上述基于重叠面积或过分割、欠分割区域的指标不同,距离指标D通过计算参考与匹配对象边界上像元的最短欧氏距离反映边界重合度,在进行分割方法评价时也具有一定的参考价值。
3.3.2 分割方法角度
本文提出的综合评价方案与表6计算结果的比较能够进行关于分割方法的讨论分析,通过实验得出,形状简单的地物（如棒球场、油罐）在各种分割方法下的效果普遍较为理想。当地物形状复杂、轮廓模糊时,会在一定程度上影响影像分割的精度;同时Otsu-2D、区域生长与均值漂移3种方法的分割效果总体上优于另外3种分割方法。

4 结论与展望

4.1 结论

本研究借助于遥感影像分割评价体系中的监督分割评价方法,以实验的方式对常见影像分割方法的质量进行了定量、系统的评价。研究中设计与实现了测算各类评价指标下分割结果与参考影像间差异程度的算法,通过对实验结果的讨论比较,考查了不同类型的评价指标的特点与指标间的相关性;根据各指标的性能赋予相应权重,建立遥感影像分割综合评价指标,并分析总结了该综合指标的特点与作用效果。主要研究结论与成果如下：
（1）本文根据各指标原理与特点提出的综合评价指标,结合了实验影像中地物位置与边界、区域面积、数量等因素,能够对分割结果进行全面科学的分析评价,在一定程度上解决目前单一评价指标所得结果较为片面的问题。
（2）将指标体系中具有代表性的指标AFI、ED1、ED2与D根据实际性能,分别赋以20%、24%、48%与8%的权值并且计算总和,所得评价结果经过验证（表6）,具有较好的适用性与便捷性。
（3）由于监督评价指标的精度普遍依赖于人工提取参考影像的准确性,本研究在提取参考影像与人工目视判读的过程中,对多位实验人员提取标准矢量信息、目视评价判读的结果进行逐一比对与更正,以最大程度地减少主观因素的干扰、保证良好的评价精度。
综上,本文提出的综合评价指标与加权综合的研究方法,能够在实际工作中辅助选择合适的分割方法,同时对于遥感影像的分割质量评价、分割方法性能研究以及影像信息提取精度、效率的提高具有一定的参考价值与积极意义。

4.2 展望

作为初步探索,本实验的分析方法并不完善,存在一些不足待以改进,今后将继续开展以下研究：
（1）实验对象方面,还应在针对单一地物影像的分割评价基础上,结合非监督评价的特点,进一步考虑多目标、地物复杂等情况,拓展监督分割评价仅适用于简单影像的研究局限,提高自动化、高精度影像评价能力。
（2）分割方法方面,需要对区域生长、均值漂移与Otsu-2D等效果较好的分割方法进行具体的作用原理研究,以便对于不同情况选择更为适用的方法。
（3）应用领域方面,除了为分割方法的选择提供指导,还应考虑各分割方法下不同参数的性能,因为对于影像的分割效果而言,分割参数的优选设置与分割方法的择优选择同样重要,借助评价指标全面系统地讨论各分割方法下不同参数的实际影响情况,也将是未来重要的研究方向之一。
（4）技术实现方面,在进行分割评价效果实验中充分运用人工智能、机器学习等新技术,一定程度上有助于提高研究效率与精度。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
明冬萍, 骆剑承, 沈占锋 , 等. 高分辨率遥感影像信息提取与目标识别技术研究[J]. 测绘科学, 2005,30(3):18-20.

[ Ming D P, Luo J C, Shen Z F , et al. Research on information extraction and target recognition technology of high resolution remote sensing image[J]. Surveying and mapping science, 2005,30(3):18-20. ]

[2]
Blaschke T, Strobl J . What’s wrong with pixels? Some recent developments interfacing remote sensing and GIS[J]. GeoBIT/GIS, 2001,14:12-17.

[3]
Blaschke T, Hay G J, Kelly M , et al. Geographic object-based image analysis- towards a new paradigm[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2014,87(100):180-191.

[4]
张仙, 明冬萍 . 面向地学应用的遥感影像分割评价[J].测绘学报, 2015(S1):108-116.

[ Zhang X, Ming D P . Geo-application oriented evaluations of remote sensing image segmentation[J].Acta Geodaetica et Cartographica Sinica. 2015(S1):108-116. ]

[5]
Hoover A, Jean-Baptiste G, Jiang X , et al. An experimental comparison of range image segmentation algorithms[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1996,18(7):673-689.

[6]
陈扬洋, 明冬萍, 徐录 , 等. 高空间分辨率遥感影像分割定量实验评价方法综述[J]. 地球信息科学学报, 2017,19(6):818-830.

[ Chen Y Y, Ming D P, Xu L , et al. An overview of quantitative experimental methods for segmentation evaluation of high spatial remote sensing images[J]. Journal of Geo-information Science, 2017,19(6):818-830. ]

[7]
Zhang H, Fritts J E, Goldman S A . Image segmentation evaluation: A survey of unsupervised methods[J]. Computer Vision & Image Understanding, 2008,110(2):260-280.

[8]
Chen Y Y, Ming D P , et al. Review on high spatial resolution remote sensing image segmentation evaluation[J]. Photogrammetric Engineering & Remote Sensing, 2018,84(10):629-646.

[9]
吴波, 林珊珊, 周桂军 . 面向对象的高分辨率遥感影像分割分类评价指标[J]. 地球信息科学学报, 2013,15(4):567-573.

[ Wu B, Lin S S, Zhou G J . Quantitatively evaluating indexes for object-based segmentation of high spatial resolution image[J]. Journal of Geo-information Science, 2013,15(4):567-573. ]

[10]
Anders N S, Seijmonsbergen A C, Bouten W . Segmentation optimization and stratified object-based analysis for semi-automated geomorphological mapping[J]. Remote Sensing of Environment, 2011,115(12):2976-2985.

DOI

[11]
韦兴旺, 张雪锋, 薛云 . 基于光谱和形状的遥感图像分割质量评估方法[J]. 地球信息科学学报, 2018,20(10):1489-1499.

[ Wei X W, Zhang X F, Xue Y . Remote sensing image segmentation quality assessment based on spectrum and shape[J]. Journal of Geo-information Science, 2018,20(10):1489-1499. ]

[12]
Lucieer A, Stein A . Existential uncertainty of spatial objects segmented from satellite sensor imagery[J]. IEEE Transactions on Geoscience & Remote Sensing, 2002,40(11):2518-2521.

[13]
Zhan Q M, Molenaar M, Tempfli K , et al. Quality assessment for geo-spatial objects derived from remotely sensed data[J]. International Journal of Remote Sensing, 2007,26(14):2953-2974.

[14]
Möller M, Lymburner L, Volk M . The comparison index: A tool for assessing the accuracy of image segmentation[J]. International Journal of Applied Earth Observation & Geoinformation, 2007,9(3):311-321.

[15]
Weidner U. Contribution to the assessment of segmentation quality for remote sensing applications [C]. Proceedings of the 21 st Congress for the International Society for Photogrametry and Remote sensing , 2008.

[16]
Clinton N, Holt A, Scarborough J , et al. Accuracy assessment measures for object- based image segmentation goodness[J]. Photogrammetric Engineering & Remote Sensing, 2010,76(3):289-299.

[17]
Liu Y, Bian L, Meng Y , et al. Discrepancy measures for selecting optimal combination of parameter values in object-based image analysis[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2012,68(1):144-156.

[18]
Cheng J, Bo Y, Zhu Y , et al. A novel method for assessing the segmentation quality of high-spatial resolution remote-sensing images[J]. International Journal of Remote Sensing, 2014,35(10):3816-3839.

DOI

[19]
Hoover A, Jean-Baptiste G, Jiang X , et al. An experimental comparison of range image segmentation algorithms[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1996,18(7):673-689.

[20]
McCane B. On the evaluation of image segmentation algorithms [C]. Digital Image Computing: Techniques and Applications, 1997: 455-461.

[21]
Yang J, He Y, Caspersen J , et al. A discrepancy measure for segmentation evaluation from the perspective of object recognition[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2015,101:186-192.

[22]
Schöpfer E, Lang S. Object fate analysis-A virtual overlay method for the categorization of object transition and object-based accuracy assessment [C]. International Archives of Photogrammetry Remote Sensing & Spatial Information Sciences, 2012.

[23]
刘建华, 毛政元 . 高空间分辨率遥感影像分割方法研究综述[J].遥感信息, 2009(6):95-101.

[ Liu J H, Mao Z Y . Summary of high spatial resolution remote sensing image segmentation methods[J].Remote sensing information, 2009(6):95-101. ]

[24]
陈忠, 赵忠明 . 基于区域生长的多尺度遥感图像分割算法[J]. 计算机工程与应用, 2005,41(35):7-9.

[ Chen Z, Zhao Z M . A multi-scale remote sensing image segmentation algorithm based on region growing[J]. Computer Engineering and Applications, 2005,41(35):7-9. ]

[25]
刘大伟 . 高分辨率遥感影像分割方法及应用研究[D]. 西安:长安大学, 2016.

[ Liu D W . Study on Segmentation Algorithms and its Applications of high spatial resolution remote sensing images [D]. Xi'an: Chang'an University, 2016. ]

Options
Outlines

/

〈 〉