EN中文

Journal of Geo-information Science >

2020 , Vol. 22 >Issue 8: 1654 - 1665

DOI: https://doi.org/10.12082/dqxxkx.2020.190459

A Method for Building Extraction by Fusing Feature Information from LiDAR Data and High-Resolution Imagery

  • GUO Feng , 1, 2 ,
  • MAO Zhengyuan , 1, 2, * ,
  • ZOU Weibin 1, 3 ,
  • WENG Qian 4, 5
Expand
  • 1. The Academy of Digital China, Fuzhou University, Fuzhou 350108, China
  • 2. Key Laboratory of Spatial Data Mining & Information Sharing of Ministry of Education, Fuzhou University, Fuzhou 350108, China
  • 3. School of Transportation, Fujian University of technology, Fuzhou 350118, China
  • 4. College of Mathematics and Computer Science, Fuzhou University, Fuzhou 350116, China
  • 5. Fujian Provincial Key Laboratory of Network Computing and Intelligent Information Processing (Fuzhou University), Fuzhou 350116, China
*MAO Zhengyuan, E-mail:

Received date: 2019-08-26

  Request revised date: 2019-10-17

  Online published: 2020-10-25

Supported by

National Natural Science Founda- tion of China(41701491)

National Natural Science Foundation of Fujian province(2017J01464)

National Natural Science Foundation of China(41801324)

National Natural Science Foundation of Fujian province(2019J01244)

Copyright

Copyright reserved © 2020
Fold

Abstract

One of the main feature types in urban areas is building; automatic building extraction from high-resolution imagery or other data has great significance for improving the quality and efficiency of land use change detection, urban planning, land law enforcement, and so on. To deal with the problem of boundary inaccuracy of extracted buildings and the limitation caused by expressing image information with artificial features, this paper proposed a new building extraction method based on the SegNet semantic model, which fused feature information from LiDAR data and high-resolution imagery. Firstly, LiDAR data were preprocessed to obtain Digital Surface Model (DSM), Digital Terrain Model (DTM), and normalized Digital Surface Model (nDSM). The resulted image nDSM_en was acquired by removing tree points from nDSM with Normalized Differential Vegetation Index (NDVI) values derived from high-resolution imagery. Secondly, three features–LiDAR data echo intensity, and surface curvature from LiDAR data, and NDVI from high-resolution imagery were obtained to construct feature images for training the SegNet semantic model. Initial extraction of buildings was completed with the trained model. Finally, the threshold segmentation algorithm was executed with nDSM_en for generating image objects, which were used to refine the initially extracted buildings through boundary constraints. In the experiment which utilized the Standard Dataset as a sample, the average completeness, correctness, and extract quality of the proposed method at the pixel level were 96.4%, 94.8%, and 91.7% respectively. For building objects with area larger than 50 m 2, the above three indicators were 100%. Our findings suggest that the proposed building extraction method makes better use of the feature information which reflects the essential difference between buildings and non-buildings, integrates effectively the relative advantages of the two data sources, and can increase the accuracy of building detection and extraction.Key words: building extraction; LiDAR data; high resolution image; SegNet; threshold segmentation; boundary constraint

Key words： building extraction; LiDAR data; high resolution image; SegNet; threshold segmentation; boundary

Cite this article

GUO Feng , MAO Zhengyuan , ZOU Weibin , WENG Qian . A Method for Building Extraction by Fusing Feature Information from LiDAR Data and High-Resolution Imagery[J]. Journal of Geo-information Science, 2020 , 22(8) : 1654 -1665 . DOI: 10.12082/dqxxkx.2020.190459

1 引言

建筑物提取是从自动采集的数据中识别建筑物并获取其位置、高度与轮廓等信息的过程。建筑物作为城市环境中最为突出的地物类型,如何提高其信息获取的质量与效率对土地利用变化检测、城市规划设计、土地执法、民用和军事应急响应等行业或部门具有重要意义,也是测绘、遥感与地信领域备受关注的研究课题[1,2]。
近年来,国内外许多学者在建筑物提取方面进行了一系列的探索,并取得了大量的研究成果。根据所使用数据源的不同,建筑物提取方法可分为 3类：基于影像数据的提取方法[3,4,5,6]、基于LiDAR数据的提取方法[7,8,9]、融合LiDAR数据与影像数据的提取方法[10,11,12]。第①类方法主要以影像数据的光谱特征为依据,由于影像数据中普遍存在“同物异谱”、“异物同谱”情况,以及树木的遮挡以及阴影等干扰,仅使用单一的影像数据提取建筑物仍然存在较多的问题,难以满足实际需求[12]。第②类方法主要依据LiDAR数据的强度信息与几何特征提取建筑物,自动化程度较高,但由于缺少光谱信息,易将与建筑物相邻的树木错分,提取的建筑物边界不精确。
由于采用单一数据源提取建筑物都存在一定的局限性,随着高分影像与LiDAR数据获取技术的日益成熟,越来越多的研究者开始尝试同时利用LiDAR数据与高分影像提取建筑物。二者的融合集成了前者中的几何信息与后者中的光谱信息,通过数据源之间的优势互补,从而提高建筑物提取精度。Wang等[11]提出一种结合LiDAR数据与高分影像的建筑物提取方法,提取结果的总体精度与用户精度分别为92.71%、80.71%。该方法采用一种“由粗到细”的策略,但需要设置多个分类阈值,自动化程度较低,且算法适应性较差。Rottensteiner等[12]采用“Dempster_Shafer”证据理论提取建筑物,有效地融合LiDAR数据的几何特征和影像数据的光谱特征,但是在复杂区域出现较多的漏检与误检,未能有效地提取出建筑物轮廓。对面积小于50m2的建筑物对象查全率低于60%,查准率低于70%,具有一定的局限性。何曼芸等[14]提出一种结合局部二进制模式（LBP）高程纹理分析与基于NDVI指数区域生长的建筑物提取方法,顾及LiDAR数据难以区分建筑物与树木以及高分影像难以剔除阴影中树木的问题。实验表明该方法能有效地提取建筑物,提取结果获得的平均查全率、平均查准率和平均提取质量分别为91.1%、98.7%和90.0%。以上方法主要利用了LiDAR数据中能区分建筑物与其他地物的几何特征,以及影像数据中的光谱特征,未能有效地利用深度图像具有的建筑物特征信息,且采用手工特征表达图像信息存在一定的局限性。Awrangjeb等[15]、Li 等[16]、程亮等[17]同时利用LiDAR数据和高分影像基于边缘特征提取建筑物,杜守基等[18]采用图割方法并引入前后景分割的思想实现建筑物精确提取,这类方法在树木与建筑物相邻区域提取效果较差,且受阴影的影响较严重。Moussa等[19]、Grigillo等[20]结合LiDAR数据和高分影像采用基于对象的方法,通过设置高度阈值得到建筑物候选区域。前者利用建筑物候选区域对象的高度特征和NDVI值提取建筑物,后者通过剔除树木提取建筑物,未能有效地融合2种数据源。
针对现有建筑物提取方法存在的建筑物边界提取不精确的问题及采用手工特征表达图像信息的局限性,本文在前人研究基础上,将深度学习与常规的遥感分类方法相结合,提出一种基于SegNet语义模型,融合LiDAR数据与高分影像特征信息的建筑物提取方法,该方法综合利用LiDAR数据的几何特征与高分影像的光谱特征,通过深度学习的方法挖掘深层次的本质特征,实现建筑物精提取。

2 建筑物提取流程与方法

2.1 提取流程

首先对LiDAR点云滤波得到DSM、DTM,并利用DSM减去DTM的差值得到nDSM,对高分影像进行波段运算,完成影像中缺失信息的修补,利用高分影像的NDVI值去除nDSM中部分树木点,得到结果影像nDSM_en;其次分别获取LiDAR数据的回波强度、表面曲率以及高分影像的NDVI值 3个特征构建特征图像,并进行SegNet语义模型训练,利用训练得到的模型完成建筑物初始提取;最后采用阈值法分割nDSM_en得到影像对象,利用影像对象对建筑物初始提取结果进行边界约束,完成建筑物精提取。具体流程如图1所示。
图1 建筑物提取流程

注：“-NDVI”表示将nDSM中对应的NDVI值大于给定阈值的像素值设为0。

Fig. 1 Flowchart of building extraction

2.2 DSM、DTM、nDSM的生成方法

机载LiDAR数据获取过程中产生的粗差点对DSM、DTM的生成及几何特征计算有较大影响,为提高滤波精度,需要先剔除粗差点。本文采用基于统计分析的方法剔除粗差点。粗差点剔除后,采用文献[21]提出的方法分离出地面点云。该方法基于线性预测,通过多次迭代得到地面点,算法的主要思想为：首先将所有LiDAR数据设置相同的权重,并拟合生成一个表面,该表面介于真实地面与林冠面之间,因此地面点更可能的位于该拟合表面下方,非地面点位于其上方。权重函数的计算如式（1）所示。
f p i = 1 σ i < ε 1 1 + m σ i - ε n ε < σ i ≤ ε + ω 0 ε + ω ≤ σ i
式中： f ( p i ) 表示LiDAR数据权重值, σ i 为拟合曲面时LiDAR数据点产生的残差; ε 为残差阈值,通过对残差直方图分析得到; ω 为残差上限值; m ; n 为控制权重函数陡度的参数。每次迭代都会重新计算LiDAR数据权重,并将其运用于下一次迭代的曲面拟合,本文将参数 ε ; ω ; m ; n 分别设置为默认值,通过8次迭代得到地面点云数据。
最后,将剔除粗差点的LiDAR数据内插生成DSM,利用地面点数据内插生成DTM,然后利用DSM减去DTM的差值得到nDSM。与遥感数据相比,LiDAR数据的深度图像具有以下2个特点[22]：
（1）深度图像的灰度值与LiDAR数据的高程值成线性关系,即高程值越大,图像对应位置的像素灰度值也越大。
（2）对于地势相对平坦的区域,地面目标的高程值较小,建筑物的高程值较大,因此可以较明显的区分建筑物与地面目标。
深度图像的以上2个特点,为提取建筑物对象奠定了基础。

2.3 特征计算

本文主要利用了LiDAR数据的2个特征：回波强度、表面曲率,以及高分影像的光谱特征NDVI指数,以下将分别进行说明。
2.3.1 回波强度
LiDAR数据直接记录了地物的强度信息。地物表面的反射系数直接决定了点云回波强度的大小,影响地物反射率大小的主要因素有地物表面的材质、明暗程度以及探测激光的波长[23]。相比于树木而言,一般情况下,建筑物屋顶的表面更平滑、粗糙程度更小,在同一波长的激光扫描下,建筑物的回波强度值更大。本文对LiDAR点云的强度数据先内插生成强度图像,然后采用形态学滤波的方法对其噪声进行处理,降低后续对建筑物提取的影响。
2.3.2 表面曲率
一般情况下,建筑物是由一个或多个平面组成的,而树木的表面是不规则的。在LiDAR数据中,建筑物的表面曲率较小,树木的表面曲率较大。因此,本文采用LiDAR数据的表面曲率作为区分建筑物与树木的一个特征。LiDAR数据的表面曲率利用局部协方差矩阵来计算,对点 p i 设置邻域范围,其邻域范围内的点构成的协方差矩阵 M 3 × 3 为：
M 3 × 3 = 1 k ∑ i = 1 k p i - p ¯ p i - p ¯ T
式中： k 表示邻域内点云的数量, p i 表示邻域内的第 i 个点; p ̅ 表示邻域范围内所有LiDAR点云的重心。通过对协方差矩阵 M 3 × 3 进行分析可以得到特征值 γ 1 、 γ 2 、 γ 3 （其中： γ 1 < γ 2 < γ 3 ）与特征向量 ε 1 、 ε 2 、 ε 3 。表面曲率 ∂ 可以由下面公式计算得到：
∂ = γ 1 γ 1 + γ 2 + γ 3
2.3.3 NDVI指数
遥感影像具有丰富的光谱信息,对于建筑物和树木具有较好的区分度。NDVI作为最常用的植被指数,能有效地区分建筑物与树木,已被广泛应用于建筑物提取的研究中,其定义为：
F ndvi = IR - R IR + R
式中： F ndvi 表示NDVI指数值; IR 表示近红外波段的反射值; R 表示红波段的反射值。NDVI值计算完成后,用于构建特征图像,以及将NDVI应用于深度图像nDSM中,通过对NDVI指数分析,设置合适的阈值去除部分树木点,提升后续影像分割的效果。
以上使用的3个特征回波强度、表面曲率、NDVI取值范围不同,因此在构建特征图像之前需要先进行归一化处理。

2.4 基于SegNet的建筑物初始提取

SegNet模型融合了编码、解码结构以及跳跃网络的特点,能精确地表达特征,在训练样本集较小的情况下也能得到较理想的分类结果。SegNet模型是在全卷积神经网络（FCN）的基础上,通过对VGG-16模型进行修改得到的深度卷积神经网络模型,能够改善特征图像边界描述,减少端到端训练过程中参数的数量,与FCN相比能更节省内存。该模型采用编码网络、解码网络与分类器的方式组成,每个卷积层后面接一个批归一化处理和ReLU激活函数,通过端到端的训练方式,实现像素级别的目标分割。基于SegNet模型的特点,本文选用 SegNet完成建筑物初始提取,模型结构如图2所示。
图2 SegNet模型结构[24]

Fig. 2 Model structure of SegNet

编码网络通过卷积和池化操作自动地提取特征,将高维向量转换成低维向量。利用多次的池化操作可获取更多的平移不变性特征,但同时也会丢失更多的边界信息。因此,通过记录最大池化的索引信息,保存最大池化过程中的位置信息,用于解码网络对特征图的恢复,保存特征图的边界信息。
解码网络利用编码网络在最大池化操作过程中保留的索引信息,通过上采样和卷积操作将低分辨率特征图转换成高分辨率,将特征图还原到输入图像的尺寸,实现了低维向量转换成高维向量的目标。在模型最后一层的卷积操作中输出高维特征表示的向量,并将其作为输出层分类器的输入,本文选用sigmoid函数作为模型的分类器。
Sigmoid常用于完成二分类的任务,对输入图像的每个像素给定一个分类标签。它将输入的数值转换到[0,1]之间,若该值大于给定的分类阈值,则将其归于某个类别,否则属于另一类别。
通常情况下,深度模型都是将原始图像作为模型的输入,然而原始图像对目标对象的表达很有限,难以得到满意的结果。因此,本文先分别提取对建筑物具有区分作用的回波强度、表面曲率和NDVI指数3个特征,通过波段组合构建特征图像并作为SegNet模型的输入数据,从而使模型在训练过程中提取到对建筑物与非建筑物更有区分度的高层特征,提高建筑物提取精度。
本文在选取训练样本时,选取建筑物分布较多、建筑物类型较多的区域,从而使样本集具有代表性,避免因数据集选取的问题而出现的过拟合现象,提高分类模型的泛化能力。有很多研究表明,训练数据集正负样本的相对数量对基于深度学习的二分类模型有较大影响,平衡的数据集对语义分割模型的分类精度有较大提升[25,26]。实际情况下,平衡的正负样本数据很难直接获取,因此本文采用将少数类样本进行扩充的策略来增加数据量,从而解决正负样本不平衡的问题。
基于前面得到的回波强度、表面曲率与NDVI 3个特征构建特征图像,作为SegNet语义模型训练的输入数据。由于计算机软硬件的限制,不能直接将构建的特征图像输入模型训练,需要先对其切割得到子图像,然后再输入模型。同时由于人工标记的训练样本集数据量较少,需采用镜像、旋转、添加噪声等操作对数据集进行扩充。实验表明,在模型训练过程中,当输入模型的图像切割尺寸过小时,会破坏建筑物的空间结构特征,降低建筑物提取精度;当切割尺寸过大时,虽然能保存建筑物的空间结构特征,但需要消耗大量的存储空间以及训练时间。综合考虑以上2个因素,过小或过大的切割特征图像都不利于模型训练。本文通过实验确定的最优切割尺寸为256像素×256像素。训练数据处理完成后,进行SegNet语义模型训练,利用训练得到的模型完成建筑物初始提取。

2.5 建筑物精提取

基于上述方法提取的建筑物存在轮廓提取不准确的问题,一些子区域出现漏检与误检的情况较多,其中漏检的主要为屋顶被植被遮蔽的建筑物点以及建筑物边缘点,误检的主要为阴影区域的植被以及少量地面点。为此,本文采用阈值分割算法对深度图像nDSM_en进行分割得到影像对象,提出一种利用影像对象对建筑物初始提取结果进行边界约束的策略,实现建筑物精提取。
鉴于阈值分割算法在复杂区域分割效果较差,尤其建筑物与树木相邻区域,易将建筑物与树木分割为同一对象。本文采用渐进式策略“简化”研究区域,从而提升分割效果。首先对LiDAR数据进行处理得到nDSM;其次根据式（5）,利用高分影像的NDVI值去除nDSM中树木点;最后采用式（6）基于一定先验知识,对影像进行分割得到影像对象。由于高分影像中存在阴影,使阴影中树木的NDVI值与建筑物相同或相近,只能去除部分树木点,因此分割得到的影像对象中包含建筑物对象与非建筑物对象。
G x , y = F x , y F x , y < N 0 F x , y ≥ N
式中： G x , y 表示阈值分割后对应像素值; F x , y 为深度图像的原始像素值; G x , y = F x , y 表示当NDVI值小于给定阈值时 N ,深度图像nDSM相应位置的像素值保持不变,反之像素值为0。
G ' x , y = 1 F x , y > H 0 F x , y ≤ H
式中： G ' x , y = 1 表示分割后图像中目标对象的像素值; F x , y 表示分割前像素值, H 为图像分割的高度阈值; G ' x , y = 0 表示分割后图像中背景地物的像素值。其中,高度阈值是基于一定先验知识,以研究区最低建筑物的高度为依据设定的。采用这种策略设置分割阈值,可以保证所有的建筑物对象不被剔除,同时最大可能的减少非建筑物对象的影响,从而有利于提高建筑物提取精度。
利用阈值分割算法得到影像对象后,对建筑物初始提取结果进行边界约束。做如下规定：设分割影像为 I _ Y ( x , y ) ,建筑物初始提取结果的标签图像为 I k x , y ,影像对象 C i ∈ I _ Y ( x , y ) ,分别计算 I k x , y = 1 ∈ C i 和 I k x , y = 0 ∈ C i 的标签数量,如果对象 C i 中标签为1的个数大于标签为0的个数,则将对象 C i 分类为1,反之将 C i 分类为0。其中标签1代表建筑物点,标签0代表非建筑物点。

3 实验与结果分析

3.1 实验数据

为了验证本文方法提取建筑物的有效性,采用ISPRS官方提供的德国 Vaihingen地区的标准数据集进行试验。文献[27]对本文采用的测试数据集信息进行了详细说明,数据获取的网址为http://www.isprs.org/commissions/comm2/wg4.html。该数据集包括LiDAR数据与对应的高分影像数据,其中LiDAR数据的密度约为4 points/m2,高分影像的分辨率为0.09 m。本研究包含3个不同类型的研究区域,其中区域一为建筑物形状复杂的密集区域,最低建筑物高度大于2.0 m;区域二为茂密树木较多的高层建筑物区域,最低建筑物高度大于2.5 m;区域三为小型建筑物分布较多的居民生活区,最低建筑物高度大于1.5 m;验证数据集如图3多边形内的数据所示。由于ISPRS官方未提供可训练用的训练样本数据集,因此本文采用人工标记的方式选取训练样本,截取数据集的大小为4373像素×3733像素,如图4所示。
图3 ISPRS Vaihingen验证数据集

Fig. 3 ISPRS Vaihingen validation dataset

图4 ISPRS Vaihingen训练数据集

Fig. 4 ISPRS Vaihingen training dataset

3.2 评价指标

为了定量地评价本文所提方法,并与其他方法进行对比,本文采用ISPRS官方提供的查全率 （Completeness）、查准率（Correctness）、质量（Quality） 3个指标进行评价。该评价方法包括3个层次：基于像素（per-area）、基于对象（per-object）与基于对象（per-object>50 m2）。分类结果混淆矩阵如表1所示。
表1 分类结果混淆矩阵

Tab. 1 Confusion matrix of classification results

真实情况 预测结果
正例 反例
正例 TP（真正例） FN（假反例）
反例 FP（假正例） TN（真反例）
查全率（Completeness）计算公式为：
Completeness = TP TP + TN
查准率（Correctness）计算公式为：
Correctness = TP TP + FP
质量（Quality）计算公式为：
Quality = 1 1 C 1 + 1 C 2 - 1
式中： C 1 为查全率; C 2 为查准率。

3.3 实验过程与结果分析

按照本文提出的技术路线,首先对数据进行预处理,主要包括LiDAR点云滤波和高分影像缺失信息的修补。对LiDAR数据滤波并插值得到与高分影像分辨率（0.09 m）相同的DSM和DTM,利用DSM、DTM 二者的差值得到nDSM,结果如图5所示;其次分别获取LiDAR数据的回波强度、表面曲率以及高分影像的NDVI值3个特征构建特征图像,按照2.4节的方法将数据集扩充为150 00张256 × 256子图像,并进行SegNet语义模型训练,利用训练得到的模型完成建筑物初提取;最后利用2.5节的方法完成建筑物精提取。基于先验知识,本文将3个区域的NDVI阈值都设为0.18,影像分割过程中3个区域的高度阈值分别设为2.0 、2.5、1.5 m。建筑物提取结果如图6所示。
图5 LiDAR数据预处理

Fig. 5 LiDAR data preprocessing

图6 建筑物提取结果

Fig. 6 Results of building extraction

图7列举了区域三建筑物提取优化前后的对比情况,对黄色多边形内的区域放大可以发现,经优化后提取的建筑物轮廓更加准确,同时去除了部分因建筑物初提取过程中被误分为建筑物的地面点,并在一定程度上恢复了建筑物的拐点信息。
图7 建筑物提取优化前后对比

Fig. 7 Comparison of building extraction before and after optimization

为了定量地评价本文所提方法的性能,采用3.2节提出的评价指标,从3个层次分别对建筑物提取结果进行评价,实验结果的精度评价如表2所示,与ISPRS官方网站其他方法进行精度对比的结果如表3所示。
表2 建筑物提取精度评价

Tab. 2 Accuracy evaluation of building extraction (%)

测试
数据		 per-area 基于像素 per-object 基于对象 per-object（>50 m2） 基于对象（>50 m2）
查全率 查准率 质量 查全率 查准率 质量 查全率 查准率 质量
区域一 95.8 94.1 90.9 86.0 100.0 86.0 100.0 100.0 100.0
区域二 96.6 95.3 91.7 85.7 100.0 85.7 100.0 100.0 100.0
区域三 96.9 95.1 92.6 83.3 100.0 83.3 100.0 100.0 100.0
平均值 96.4 94.8 91.7 85.0 100.0 85.0 100.0 100.0 100.0
表3 本文方法与ISPRS网站其它方法对比

Tab. 3 Comparison between the proposed method and methods in the ISPRS website (%)

研究
方法		 per-area 基于像素 per-object 基于对象 per-object（>50 m2） 基于对象（>50 m2）
查全率 查准率 质量 查全率 查准率 质量 查全率 查准率 质量
CAL1 89.8 95.1 85.8 76.2 100.0 76.2 96.5 100.0 96.5
CAL2 89.2 97.2 87.2 78.2 100.0 78.2 100.0 100.0 100.0
LJU1 94.2 94.6 89.4 83.0 100.0 83.0 100.0 100.0 100.0
LJU2 94.6 94.4 89.5 87.9 100.0 87.9 100.0 100.0 100.0
TUM 89.7 92.9 83.9 80.9 99.0 80.2 99.1 100.0 99.1
HAND 93.6 90.3 85.0 80.3 88.8 73.0 97.4 97.2 94.6
RMA 92.8 90.2 84.2 82.7 81.0 68.1 100.0 100.0 100.0
ZJU 92.8 96.4 89.7 76.4 97.0 74.8 99.1 100.0 99.1
SZU 94.9 89.5 85.4 91.1 71.8 67.7 100.0 97.2 97.2
MON3 94.8 83.9 80.2 83.0 97.5 81.4 99.1 100.0 99.1
MON4 94.3 82.9 85.6 83.9 93.8 80.0 99.1 100.0 99.1
MON5 89.9 90.3 82.0 87.2 96.3 84 99.1 100.0 99.1
WHU_YD 89.8 98.6 89.3 87.8 99.3 87.0 99.1 100.0 99.1
CSU 94.0 94.9 90.9 83.3 97.2 82.0 100.0 100.0 100.0
HKP 91.4 97.8 90.9 79.7 96.5 77.5 99.3 100.0 99.3
本文方法 96.4 94.8 91.7 85.0 100.0 85.0 100.0 100.0 100.0

注：所有评价指标均取3个研究区域的平均值,其中加粗的数值为该列评价指标的最佳值。

由表1可知,本文提出的方法针对3个不同类型的区域都取得了较好的提取结果。在像素层次：区域一查全率、查准率、质量分别为95.8%、94.1%和90.9%,区域二查全率、查准率、质量分别为96.6%、95.3%和91.7%,区域三查全率、查准率、质量分别为96.9%、95.1%和92.6%,论证了本文方法具有较强的稳定性。表2说明了本文方法的比较优势：在像素级别的评价中本文方法取得了最高的平均查全率与平均提取质量,分别为96.4%和91.7%,漏检与误检情况较少;针对面积大于50 m2的建筑物,本文方法取得了100%的查全率、查准率及提取质量。
基于像素层次的评价结果如图8所示。从图中可以看出,建筑物提取效果较好,漏检的主要为一些低矮的、面积较小的以及被树木遮蔽的建筑物。导致这种现象的主要原因：① 面积较小的建筑物包含激光点云较少,屋顶被树木覆盖使得NDVI值较大;② 在点云滤波过程中,将部分建筑物结构复杂的边缘点云误分为地面点。误检的主要为少量的建筑物边缘的树木点,导致这种结果的主要原因是该部分树木位于阴影区域,使得NDVI值较低。
图8 基于像素层次评价结果

注：白色为正确检测到的建筑物,红色为漏检的建筑物,黄色为误检的建筑物。

Fig. 8 Evaluation results based at the pixel level

4 结论与讨论

4.1 结论

本文顾及LiDAR数据和高分影像各自的特点,详细地分析了2种数据源提取建筑物的优缺点,在前人研究基础上提出一种基于SegNet语义模型融合LiDAR数据几何特征与高分影像光谱特征的建筑物提取方法,有效地将传统的遥感分类方法与深度卷积神经网络进行集成,从而提高建筑物检测精度。采用ISPRS Vaihingen标准数据集验证了本文算法的比较优势。结论如下：
（1）本文先分别获取对建筑物与非建筑物具有区分作用的回波强度、表面曲率和NDVI指数3个特征构建特征图像,并将其作为SegNet语义模型的输入数据,克服了手工特征的不足,提高了建筑物的检测精度。
（2）本文提出的利用影像对象进行边界约束的策略有效地实现了两种数据源的相对优势互补。针对同一数据集,对比图7中优化前后的建筑物得出：基于该决策优化后提取的建筑物边界更加精确,拐角信息更加明显。
（3）在以ISPRS Vaihingen标准数据集为样本的实证研究中,本文所设计与实现的建筑物提取方法在像素层次的平均查全率、平均查准率和平均提取质量分别为96.4%、94.8%和91.7%,针对面积大于50 m2的建筑物对象的查全率、查准率及提取质量均为100%。本文方法的总体效果优于ISPRS官方网站其他建筑物提取方法。

4.2 讨论

本文提出的基于SegNet语义模型融合LiDAR数据几何特征与高分影像光谱特征的建筑物提取方法是在传统的遥感分类方法的基础上结合深度卷积神经网络,具有一定的理论价值,二者的集成能更加准确的提取到区分建筑物与非建筑物的高层特征。在以ISPRS Vaihingen标准数据集为样本的实验中,验证了本文方法能有效地提取建筑物,具有一定的稳定性和实用价值。进一步结合其他数据源（如矢量数据）提取建筑物是今后研究的重要方向。高分影像落入阴影区域的树木仍然是制约建筑物提取精度的主要因素,如何消除阴影的影响是本文后续研究的重要目标。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
Syed G, Mohammad A, Guojun L. An automatic building extraction and regularization technique using LiDAR point cloud data and orthoimage[J]. Remote Sensing, 2016,8(3):258.

[2]
Sohn G, Dowman I. Data fusion of high-resolution satellite imagery and LiDAR data for automatic building extraction[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2007,62(1):43-63.

[3]
施文灶, 毛政元. 基于图分割的高分辨率遥感影像建筑物变化检测研究[J]. 地球信息科学学报, 2016,18(3):423-432.

[ Shi W Z, Mao Z Y. The research on building change detection from high resolution remotely sensed imagery based on graph-cut segmentation[J]. Journal of Geo-information Science, 2016,18(3):423-432. ]

[4]
Wei Y, Zhao Z, Song J. Urban building extraction from high-resolution satellite panchromatic image using clustering and edge detection[C]. IGARSS 2004. 2004 IEEE International Geoscience & Remote Sensing Symposium. IEEE, 2004,3:2008-2010.

[5]
Turker M, Koc-San D . Building extraction from high-resolution optical spaceborne images using the integration of support vector machine (SVM) classification, Hough transformation and perceptual grouping[J]. International Journal of Applied Earth Observation and Geoinformation, 2015,34:58-69.

[6]
刘文涛, 李世华, 覃驭楚. 基于全卷积神经网络的建筑物屋顶自动提取[J]. 地球信息科学学报, 2018,20(11):1562-1570.

[ Liu W T, Li S H, Qin Y C. Automatic building roof extraction with fully convolutional neural network[J]. Journal of Geo-information Science, 2018,20(11):1562-1570. ]

[7]
Guo L, Chehata N, Clément Mallet, et al. Relevance of airborne Lidar and multispectral image data for urban scene classification using Random Forests[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011,66(1):56-66.

[8]
Awrangjeb M, Lu G, Fraser C. Automatic building extraction from LiDAR data covering complex urban scenes[J]. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014,40(3):25.

[9]
Zhou Z, Gong J. Automated residential building detection from airborne LiDAR data with deep neural networks[J]. Advanced Engineering Informatics, 2018,36:229-241.

[10]
Vu T T, Fumio Yamazaki, Masashi Matsuoka. Multi-scale solution for building extraction from LiDAR and image data[J]. International Journal of Applied Earth Observation and Geoinformation, 2009,11(4):281-289.

[11]
Wang X, Peijun L I, Jiang S, et al. Building extraction using airborne LiDAR data and very high resolution imagery over a complex urban area[J]. Remote Sensing for Land & Resources, 2016,28(2):106-111.

[12]
Rottensteiner F, Trinder J, Clode S, et al. Using the Dempster-Shafer method for the fusion of LIDAR data and multi-spectral images for building detection[J]. Information Fusion, 2005,6(4):283-300.

[13]
Mohammad A, Clive F. Automatic segmentation of raw LIDAR data for extraction of building roofs[J]. Remote Sensing, 2014,6(5):3716-3751.

[14]
何曼芸, 程英蕾, 邱浪波, 等. 一种改进顶帽变换与LBP高程纹理的城区建筑物提取算法[J]. 测绘学报, 2017,46(9):1116-1112.

[ He M Y, Cheng Y L, Qiu L B, et al. An algorithm of building extraction in urban area based on improved top-hat transformations and LBP elevation texture[J]. Acta Geodaetica et Cartographica Sinica, 2017,46(9):1116-1122. ]

[15]
Awrangjeb M, Fraser C. Effective building detection in complex scenes[C]// 2013 IEEE International Geoscience & Remote Sensing Symposium-IGARSS. IEEE, 2013: 1533-1536.

[16]
Li Y, Wu H, An R, et al. An improved building boundary extraction algorithm based on fusion of optical imagery and LIDAR data[J]. Optik-International Journal for Light and Electron Optics, 2013,124(22):5357-5362.

[17]
程亮, 龚健雅. LiDAR辅助下利用超高分辨率影像提取建筑物轮廓方法[J]. 测绘学报, 2008,37(3):391-393.

[ Cheng L, Gong J Y. LiDAR assisted extraction of building contour by ultra-high resolution images[J]. Acta Geodaetica et Cartographica Sinica, 2008,37(3):391-393. ]

[18]
杜守基, 邹峥嵘, 张云生, 等. 融合LiDAR点云与正射影像的建筑物图割优化提取方法[J]. 测绘学报, 2018,47(4):519-527.

[ Du S J, Zou Z R, Zhang Y S, et al. A building extraction method via graph cuts algorithm by fusion of LiDAR data point cloud and orthoimage[J]. Acta Geodaetica et Cartographica Sinica, 2018,47(4):519-527. ]

[19]
Moussa A, El-Sheimy N. A new object based method for automated extraction of urban objects from airborne sensors data[J]. ISPAr, 2012,39:309-314.

[20]
Grigillo D, Kanjir U. Urban object extraction from digital surface model and digital aerial images[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2012,3:215-220.

[21]
Kraus K, Pfeifer N. Determination of terrain models in wooded areas with airborne laser scanner data[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 1998,53(4):193-203.

[22]
崔建军, 隋立春, 徐花芝, 等. 基于边缘检测算法的LiDAR数据建筑物提取[J]. 测绘科学技术学报, 2008(2):98-100.

[ Cui J J, Sui L C, Xu H Z, et al. Building extraction from LiDAR data based on edge detection algorithm[J]. Journal of Geomatics Science and Technology, 2008(2):98-100. ]

[23]
王金霞, 窦爱霞, 王晓青, 等. 地震后机载LiDAR点云的地物区分方法研究[J]. 震灾防御技术, 2017,12(3):677-689.

[ Wang J X, Dou A X, Wang X Q, et al. Research on ground object classification method of airborne LiDAR point cloud after earthquake[J]. Technology for Earthquake Disaster Prevention, 2017,12(3):677-689. ]

[24]
Badrinarayanan V, Kendall A, Cipolla R. Segnet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(12):2481-2495.

DOI PMID

[25]
Dalponte M, Hans Ole Ørka, Gobakken T, et al. Tree species classification in boreal forests with hyperspectral data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013,51(5):2632-2645.

[26]
Maxwell A E, Warner T A, Fang F. Implementation of machine-learning classification in remote sensing: An applied review[J]. International Journal of Remote Sensing, 2018,39(9):2784-2817.

[27]
Rottensteiner F, Sohn G, Jung J, et al. The ISPRS benchmark on urban object classification and 3D building reconstruction[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2012,1(1):293-298.

Options
Outlines

/

〈 〉