EN中文

Journal of Geo-information Science >

2021 , Vol. 23 >Issue 11: 2073 - 2085

DOI: https://doi.org/10.12082/dqxxkx.2021.210365

Integrating Height Features for Multi-scale Urban Building Type Classification from High-Resolution Remote Sensing Images

  • CHU Guozhong , 1, 2, 3 ,
  • LI Mengmeng , 1, 2, 3, * ,
  • WANG Xiaoqin 1, 2, 3
Expand
  • 1. The Academy of Digital China (Fujian), Fuzhou University, Fuzhou 350108, China
  • 2. Key Laboratory of Spatial Data Mining and Information Sharing of Ministry of Education, Fuzhou 350108, China
  • 3. National ＆ Local Joint Engineering Research Center of Satellite Geospatial Information Technology, Fuzhou 350108, China;
* LI Mengmeng, E-mail:

Received date: 2021-07-01

  Request revised date: 2021-08-26

  Online published: 2022-01-25

Supported by

National Natural Science Foundation of China, No(42001283)

Copyright

Copyright reserved © 2021. Office of Journal of Geo-information Science All articles published represent the opinions of the authors, and do not reflect the official policy of the Chinese Medical Association or the Editorial Board, unless this is clearly specified.
Fold

Abstract

Urban building type information is crucial to many urban applications such as the identification of urban functional areas and estimation of urban environmental variables. This paper presents a new method to extract urban building types using multi-scale features and integrating height features derived from high resolution remote sensing images. We first conduct an image semantic segmentation to extract building and shadow objects from remote sensing images, and then estimate the height of buildings based upon the directional relationship of a building object and its shadow information. Following multi-scale image analysis concept, we extract a series of multi-scale features regarding the height, geometry, and spatial structure of building objects. Last, we use a machine learning method based upon random forest to classify building types. We also analyze the impact of different spatial units of building types on classification results. Experiments were conducted in Fuzhou, Fujian province, China, using a Chinese GF-2 satellite images acquired on February 18, 2020. Our results show that: (1) The overall accuracy of building type classification combined with multi-scale features reached 82.98%, and the kappa coefficient was 0.77, which was better than other conventional methods, namely a Multi-scale Classification Without Height Features (MCNH), a Single-scale Classification Incorporating Height Features (SC), and a Single-scale Classification Without Height Features (SCNH) in this paper; (2) The classification accuracy of middle-low residential buildings and high-rise commercial and residential buildings was improved by adding height features. Compared with classification results without using height features, the overall accuracy was improved by 11.28%; (3) The fusion of image features at multiple scales can reduce the misclassification of adjacent buildings into dense buildings. Compared with a single-scale classification method, the proposed method improved overall accuracy by 2.77%. We conclude that the use of high-resolution remote sensing images provides an effective strategy to estimate building heights based upon shadow information and improves the classification accuracy of urban building types, particularly when detailed digital surface model data are absent. In addition, the fusion of multi-scale image features can improve the characterization of complex building types in urban areas and the subsequent classification accuracy accordingly. Nevertheless, we also observed that the results of classified building types were affected by the initial extraction of building information from high resolution remote sensing images, implying that a further improvement of building type classification can be done by improving the extraction methods, e.g., using a more advanced semantic segmentation model.

Key words： High-resolution remote sensing images; Building type classification; Semantic segmentation; Building extraction; Shadow information; Building height estimation; Morphological features; Multi-scale analysis

Cite this article

CHU Guozhong , LI Mengmeng , WANG Xiaoqin . Integrating Height Features for Multi-scale Urban Building Type Classification from High-Resolution Remote Sensing Images[J]. Journal of Geo-information Science, 2021 , 23(11) : 2073 -2085 . DOI: 10.12082/dqxxkx.2021.210365

1 引言

城市区域建筑类型信息在城市功能区识别、城市环境变量反演等应用领域具有重要作用。精细的城市建筑类型信息有助于开展城市人口估计[1,2]、城市土地利用和功能区识别[3]、城市生态环境评估[4]等工作。常规的建筑类型分类方法多基于建筑物的轮廓数据,通常由人工矢量化或者实地测量获得[5,6]。随着卫星遥感技术的发展,特别是一系列高空间分辨率遥感（简称高分）卫星的发射,如美国的GeoEye和Worldview系列,法国的Pleiades系列,以及国产高分系列卫星,为基于高分辨影像的城市地表专题信息提取提供了海量数据源[7,8]。
目前,针对高分辨影像城市土地覆盖分类、建筑物识别等专题信息提取任务,国内外学者开展了大量研究工作,提出了涵盖传统机器学习和深度学习的众多方法[9,10,11,12,13]。这些方法多将不同的建筑物识别为同一类型。城市区域,建筑物类型复杂、形状尺寸不一、功能用途多样,使得进一步识别不同建筑类别较为困难,相关研究不足。现有的方法多通过分析影像提取的建筑对象的形状、形态学、空间关系等高层级图像特征对建筑类型进一步划分[3,14]。如Abellán等[15]根据建筑物的纹理和形状特征,利用决策树方法对不同类型的住宅建筑进行分类。Xie等[2]基于影像提取的建筑形状指数、建筑背景指标等来区分建筑类型。Du等[16]基于现有建筑轮廓数据,通过提取光谱、纹理、几何形状等特征进行建筑类型分类。这些方法均基于建筑物的二维特征,对形状相似的中低层和高层建筑物识别困难。针对此问题,有研究学者利用激光雷达数据（Light Detection and Ranging,LiDAR）获取高精度的数字地面模型（DSM）数据[17,18],并结合其他图像特征进行建筑类型分类。如郭峰等[19]融合LiDAR数据与高分辨影像提取建筑物信息; Huang等[20]结合LiDAR获取的高度信息和高分辨影像图像特征进行城市建筑类型的分类研究,获得了较好的分类精度。此外, Li等[21]利用高分辨立体相对影像生成的DSM提取高度信息,提高了建筑类型分类精度。然而,高精度的LiDAR数据和高分辨立体相对影像获取成本较高,限制了大范围应用。利用高分辨率影像中建筑物和阴影的几何投影关系,可以较精确地估算建筑物高度,为城市建筑物高度信息的获取提供了便捷途径。
纵使高分辨遥感影像的空间分辨率高达亚米级,并可识别多数情况下的城市建筑物,但对于复杂的城市环境,特别是建筑物密集区,基于影像分类获得的城市建筑物依然存在边界描绘精度较低、相邻建筑连接在一起的问题,影响基于影像提取的建筑物的进一步信息挖掘,如建筑类型分类。多尺度图像分析从不同粒度分析和处理图像特征,通过对分析单元的进一步划分（如图像分割）获得多个尺度的图像分析单元,并能提取多个尺度的图像特征。如Johnson等[22]基于多尺度的概念进行高分辨率土地覆盖分类; Chen等[23]利用多特征分析和层次分割方法进行高分辨影像城市建筑垃圾识别,有效降低了建筑垃圾和建筑用地的混淆。因此,针对复杂城市环境,融合多尺度图像特征是提高建筑类型分类的有效手段。
综上所述,本研究基于高分辨遥感影像,考虑影像中建筑物及其阴影信息的几何投影关系估算建筑物高度特征,并在多个分析粒度下表征建筑物的高度、几何和空间结构特征,实现复杂城市环境下的高分辨影像建筑类型分类。

2 研究区概况与数据来源

研究区域位于福建省省会—福州市,地处福建省东部沿海,闽江下游,地理位置介于25°15′ N—26°39′ N、118°08′ E—120°31′ E之间。福州是一座具有两千多年历史的文化名城,同时也经历了快速城市化发展,建成区面积不断扩展,具有丰富多样的建筑风貌。本文研究区覆盖福州市鼓楼区、台江区、晋安区和仓山区等主城区（图1）,处在福州市社会经济活动最为活跃的区域。该区域建筑类型复杂多样,既包含密集连接的古建筑群,也具有规则排列的现代化居民楼,以及形状复杂的商业综合体等,对开展高精度的城市建筑类型分类具有较大挑战。
图1 研究区概况

Fig. 1 Overview of the study area

研究数据选取一景2020年2月18日采集的高分二号（GF-2）卫星PMS1遥感数据,具有1个0.76 m空间分辨率的全色波段和4个3.2 m分辨率的多光谱波段。影像成像时太阳高度角为41.83°、卫星高度角为88.49°。对获取的影像进行预处理操作,主要包括影像融合、影像重采样、影像裁剪等,处理后的研究区影像大小为12 943像素×9673像素,空间分辨率为0.8 m。此外,在GF-2影像中选取2处3 km ×4 km的区域作为模型训练样本和验证数据采集区域。

3 研究方法

高分辨影像城市建筑类型分类总体技术路线如图2所示。首先利用语义分割方法提取高分辨影像的建筑和阴影信息,根据建筑及其阴影的方向关系估算建筑高度;然后基于多尺度图像分析方法,提取建筑对象的高度、形态学、几何等多尺度特征,利用随机森林对建筑类型（密集型建筑、中低层居民楼、高层商住两用、商业综合体、工厂型建筑）进行分类。
图2 建筑类型分类技术路线

Fig. 2 Workflow of the proposed building type classification

3.1 基于UNet模型的建筑与阴影信息提取

利用UNet神经网络模型[24]提取高分辨影像建筑物和阴影信息。UNet模型是典型的端对端语义分割模型,综合影像的全局信息和局部信息逐像素进行图像分类,具有样本需求小、分割速度快的特点,被广泛应用在遥感地物提取和分类任务中[25,26,27]。模型左侧编码器部分提取图像特征,右侧解码器部分恢复特征图信息,二者间通过跳跃方式连接,将编码获取的特征图同解码获取的特征信息结合在一起,从而更好地表征目标图像深层次特征和浅层次特征。在遥感专题信息提取中,UNet模型具有分割精度高、模型参数少、对样本需求小的优势,本文采用原始UNet模型提取城市建筑及阴影信息。模型训练数据集由人工矢量化高分辨影像获得,利用二次交叉熵损失函数对模型求解和评估。

3.2 特征提取

3.2.1 高度特征
借助卫星成像时建筑和建筑阴影之间的方向性关系估算建筑高度[28,29,30]。基于阴影信息估算建筑高度需要对建筑及其阴影进行匹配,并计算阴影长度。其中建筑和阴影匹配需遵循相邻、方向一致性以及至少有一个阴影的原则。对于阴影长度计算,沿太阳方位角方向生成若干条平行直线,通过计算直线在建筑阴影内部长度的平均值来估算建筑阴影长度。假设建筑处在平原地带,且无地形因素的干扰,此情况下太阳高度角和建筑阴影存在两种几何关系,如图3所示[30]。当太阳和卫星在建筑同侧时（图3（a））,建筑高度 H估算如下：
ED = EC - CD = H tan ω - H tan θ
H = ED × tan θ × tan ω tan θ - tan ω
式中： ED为影像上阴影的长度; EC为建筑实际阴影长度; CD为因建筑遮挡在影像无法显示的阴影长度;ω为太阳高度角;θ为卫星高度角。当太阳和卫星在建筑异侧（图3（b））,此时C点和D点重合,建筑高度 H估算如下：
H = EC × tan ω = ED × tan ω
图3 太阳高度角和建筑阴影的关系[30]

Fig. 3 The relationship between the zenith of sun and buildings' shadow

3.2.2 形态学特征
本文利用数学形态学表征建筑的空间结构特性,通过一系列形态学开操作和闭操作构建一个形态学剖面[31,32],用来突出不同尺度结构元素的形状信息,消除尺寸较小的图像对象,并降低非建筑对象的噪声干扰。具体的,形态学剖面包括一个开剖面（Opening Profile,OP）和一个闭剖面（Closing Profile,CP）[33]：
O P i x = γ R i x ∀ i ∈ 0 , n
C P i x = ø R i x ∀ i ∈ 0 , n
式中： x指图像像素; γ R i和 ø R i分别指以大小为 i的结构元素对 x进行开操作和闭操作; n表示开操作或闭操作的次数。对建筑对象内像素的开剖面（OP）和闭剖面（CP）进行取平均即可得到建筑对象的形态学开剖面均值和形态学闭剖面均值。
3.2.3 几何特征
不同类型的建筑在几何形状有较大差异,通过形状特征,可区分形状复杂型建筑和规则型建筑。本文提取了包括面积、周长、圆度、紧致度、长宽比、边界指数、形状指数、矩形相似度和椭圆相似度共9个几何特征。
3.2.4 多尺度特征融合
基于影像分类获得的建筑信息,对于密集建筑区,存在相邻建筑对象连接在一起的问题,无法有效的描绘单个建筑对象。本文基于多尺度图像分析思想[31],对影像分类提取的建筑进一步划分,获得了3种不同粒度的建筑基本分析单元。具体地,将影像分类获取的建筑对象作为“父层”,在此基础上利用多分辨率分割算法进行两次细分。本文利用层次分割结构对像素在不同层级的空间上下文之间的关系进行建模。设 f ¯ l i为第 i个像素在 l层级的特征向量[34]：
f ¯ l i = f l , 1 i , … , f l , j i , … , f l , N F l i
式中： f l , j i为像素 i在 l层级的第 j个特征; N F l表示 l层级的特征数量。像素 i在多个分割层级中所提取的特征向量 F i可表示为[34]：
F i = f ¯ 1 i , f ¯ 2 i , … , f ¯ l i , … , f ¯ L i
式中： L是分割层级的数量。根据多次实验,本文设计了一个具有3个层次的分割模型,即 L=3,并在多分辨率分割算法中将2个子层的分割尺度参数分别设为20和10,其他参数保持不变。子层的高度和形态学特征通过分割后建筑分析单元内像素的高度和形态学特征的均值获得,其几何特征根据分割后的对象重新计算。最后融合不同粒度建筑基本分析单元提取的高度、形态学以及几何特征。

3.3 建筑类型分类和精度评价

不同城市区域建筑类型差异较大,很难形成一个固定和通用的建筑类型分类标准。通过考察本研究区内建筑的几何形状等特征,并结合现有研究中的建筑类型分类体系[3,35],将建筑类型划分为：密集型建筑、中低层居民楼、高层商住两用、商业综合体、工厂型建筑。不同建筑类型的示例和描述如表1所示。
Tab. 1 Demonstration of building types
建筑类型 影像示例 描述
密集型建筑（B1） 主要指一群邻接紧密的建筑群,在影像上难以描绘单个建筑对象,如老城区建筑、棚户区等,通常该类型建筑周边开放空间和植被覆盖密度较低
中低层居民楼（B2） 主要指中低层居民楼,在影像上通常具有相似的形状和大小,空间排列较规则,较密集型建筑具有较高的植被覆盖密度和开放空间
高层商住两用（B3） 主要指高层居民楼和高层商业楼,在影像上和中低层居民楼有相似的视觉效果,但楼层较高,往往邻接着完整规则的阴影
商业综合体（B4） 主要指用于商业服务或办公的复合型建筑,该类型建筑往往形状不规则、高低错落,和居民楼相比面积较大,周围存在更多的开放空间
工厂型建筑（B5） 主要指用于工业或仓库存储的工厂,较居民楼有更大的面积;与商业型建筑相比,建筑形状更规则,光谱响应更均匀
随机森林是一款经典的机器学习分类方法,基于集成学习理论,可有效处理高维特征数据和避免小样本造成的模型训练过拟合问题。本文基于多尺度建筑对象特征,利用随机森林进行建筑类型分类。为了验证所提方法的分类效果,本文设计了4组不同方案进行分类对比,具体描述如下：
（1）结合高度特征的多尺度分类方法（Multi-scale Classification With Height Features,MC）本文方法：结合阴影估算的高度特征,并融合了多个尺度下提取的对象特征;
（2）未结合高度特征的多尺度分类方法（Multi-scale Classification Without Height Features,MCNH）：融合了多个尺度下提取的对象特征,但未结合阴影估算的高度特征;
（3）结合高度特征的单一尺度分类方法（Single-scale Classification Incorporating Height Features,SC）：结合阴影估算的高度特征,在单个尺度上提取对象特征;
（4）未结合高度特征的单一尺度分类方法（Single-scale Classification Without Height Features,SCNH）：在单个尺度上提取对象特征,但未结合阴影估算的高度特征。
分别从属性精度和几何精度2个方面对基于影像分类获得的建筑信息进行精度评估。采用总体精度（OA）,交并比（IoU）,召回率（Recall）,准确率（Precision）,F1分数（F1 Score）进行属性精度评估,采用Li等[36]提出的全局过分类误差（GOC）指数、全局欠分类误差（GUC）指数、全局总体误差（GTC）指数对建筑分类结果进行几何精度评估。针对建筑类型分类结果,利用混淆矩阵评估其属性精度。各评价指标计算和描述如表2所示。
表2 建筑提取精度评价指标

Tab. 2 Accuracy evaluation measures of building extraction

评价指标 计算公式 编号 描述
总体精度（OA） OA = TP + TN TP + FN + FP + TN （8） TP（True Positive）是分类正确的类;
FP(False Positive)是被错分为正类的负类;
TN（True Negative）是分类准确的负类;
FN（False Negative）是被错分为负类的正类;
m为指定类别分类对象的数量; r为重叠参考对象的数量; area ( M i ⋂ O ij )表示某类别分类对象和参考对象的重叠面积; OC M i、 UC M i、 TC M i计算
如下：
OC M i = ∑ j = 1 r w × 1 - area ( M i ⋂ O ij ) area ( O ij ) （16）
UC M i = 1 - Σ j = 1 r area M i ⋂ O ij area M i （17）
TC M i = OC M i 2 + UC M i 2 2 （18）
交并比（IoU） IoU = TP TP + FN + FP （9）
召回率（Recall） Re cal l = TP TP + FN （10）
准确率（Precision） Pr ecision = TP TP + FP （11）
F1分数（F1 Score） F 1 = 2 × Pr ecision × Re cal l Pr ecision + Re cal l （12）
全局过分误差（GOC） GOC = ∑ i = 1 m OC M i × area M i ∑ i m area M i （13）
全局欠分误差（GUC） GUC = ∑ i = 1 m UC M i × area M i ∑ i m area M i （14）
全局总体误差（GTC） GTC = ∑ i = 1 m TC M i × area M i ∑ i m area M i （15）

4 结果与分析

4.1 建筑、阴影信息提取及建筑高度估算

本文将研究区影像数据和标签数据对应裁剪为256像素×256像素并进行数据增强得到10 000张样本数据,按照4:1的比例将样本数据划分为训练集和验证集,另外选取了3750像素×3500像素大小的区域进行建筑提取结果精度验证。模型训练过程中,初始学习率设为0.000 1,Batchsize为16,模型迭代次数为50次,当模型训练中验证集的准确度和损失率趋于稳定且模型收敛后,保存最优模型用于提取建筑及阴影信息。基于UNet模型的高分辨影像建筑和阴影信息提取结果如图4所示。叠加研究区影像数据,可以看出建筑和阴影信息的提取结果与地面真实地物吻合度较高。从验证区域（图5,底图为GF-2真彩色影像）可以看出,建筑提取误差主要是对其他人造物（如,立交桥）和相邻建筑间开放空间的误提以及对阴影遮挡下建筑物的漏提。主城区主要建筑对象均能有效提取,满足建筑物高度估算要求。建筑和阴影匹配时遵循相邻、方向一致性、以及至少有一个阴影的原则,减少了其他类型阴影信息（树木阴影、其他人造物阴影）对建筑高度估算的影响,所提取的建筑阴影和建筑邻接且形状规则,保障了建筑高度估算准确度。
图4 建筑及其阴影提取结果

Fig. 4 Results of building and shadow extraction

本文通过人工矢量化高分辨影像构建建筑信息验证数据集,图5展示了所提取的建筑信息的全局总分类误差（GTC）,全局欠分类误差（GUC）、全局过分类误差（GOC）以及属性精度评价结果如表3所示。从属性精度评价指标来看,建筑提取总体精度为89.8%,F1值为0.782,表明建筑提取结果整体较好,能够有效区分建筑和其他地物。从几何精度评价指标来看,GTC为0.225,全局几何误差较小,提取的建筑形状和轮廓较完整。
图5 建筑提取误差展示

Fig. 5 Display of building extraction error

表3 建筑提取精度评价

Tab. 3 Accuracy evaluation of building extraction

评价指标 OA IoU Recall Precision F1 Score GOC GUC GTC
预测集结果 0.898 0.642 0.809 0.756 0.782 0.169 0.231 0.225
图6展示了研究区建筑高度估算结果的三维图（底图为GF-2真彩色影像）。研究区建筑高度估算范围为1.2~182 m,其中研究区内高度范围处于0~24 m的建筑多为老城区建筑和低矮居民楼;高度范围大于100 m的建筑多数属于已知的商业大厦或国际金融中心。从局部细节可以看出,中低层建筑分布集中,邻接的建筑阴影面积较小;而高层建筑邻接的建筑阴影规则完整,阴影面积更大。根据高度估算结果,同一小区内,建筑的使用功能往往十分相似,建筑间高度差异较小,符合实际情况。
图6 建筑高度估算三维展示

Fig. 6 3D demonstration of estimated building heights

4.2 城市建筑类型分类

通过实地考察并结合高分辨影像人工解译,在研究区共选取625个建筑对象作为随机森林分类样本数据集,其中密集型建筑100个,中低层居民楼200个,高层商住两用200个,商业综合体25个,工厂型建筑100个。此外通过分层采样的方式针对不同类型建筑选取验证样本,其中密集型建筑、中低层居民楼、高层商住两用、工厂型建筑均随机选取100个验证点,研究区内商业综合体较少,验证样本点为20个。图7为结合高度特征的多尺度城市建筑类型分类结果（底图为GF-2真彩色影像）。中低层居民楼在建筑类型中占据主要比例,该类型建筑空间排列规则,各个建筑具有相似的形状和大小,且分布均匀。高层商住两用型建筑承担居住和商业用途,也是研究区建筑中重要组成部分。该类型建筑多分布在居民区的外侧以及乌龙江、闽江两岸;在商业中心区,也有集中分布。商业综合体在研究区内规模较小,主要分布在商业区域。工厂型建筑集中分布在工业用地区,存在少量零星分布。紧密连接的密集建筑群多为老城区和棚户区,该类型建筑相互邻接,呈块状分布。
图7 建筑类型分类结果

Fig. 7 Result of building type classification

图8展示了不同实验方案下各建筑类型的分类精度及建筑类型总体分类精度。结合高度特征的多尺度城市建筑类型分类总体精度达到82.98%,kappa系数为0.7677。除商业综合体外,建筑类型的分类精度均能达到70%以上,中低层居民楼分类精度最高,为94.04%;商业综合体建筑类型分类精度最低,为52.38%。分别对比方案一（MC）和方案三（MCNH）以及方案二（SC）和方案四（SCNH）的分类精度可以看出：加入高度信息的城市建筑类型分类总体精度提升明显。其中多尺度特征融合分类方法在加入高度特征后,总体精度提高了11.28%,中低层居民楼和高层商住两用型建筑用户精度分别提高10.60%和24.16%;单一尺度分类方法在加入高度特征后,总体精度提升了15.11%,中低层居民楼和高层商住两用型建筑用户精度分别提高17.89%和28.33%。基于分层分割的多尺度特征融合方法较单一尺度下的分类方法能够提高中低层居民楼、高层商住两用、工厂型建筑的分类精度,总体精度提高了2.77%。密集型建筑在多尺度分类方法中分类精度为71.67%,较单一尺度分类方法降低了11.66%。密集型建筑提取结果的破碎化现象以及将密集区内建筑轮廓明显的单个建筑识别为中低层居民楼是导致多尺度分类精度低于单一尺度分类精度的重要原因。
图8 建筑类型分类精度

Fig. 8 Classification accuracy of building type

为了分析各特征变量在建筑类型分类中的重要程度,本文对12个特征变量的分类重要性进行排序（图9）。可以看出,高度特征重要性最高,证明了高度特征在区分不同类型的建筑中特征贡献度最大,高度特征的重要性排序与建筑类型分类精度结果十分吻合,表明了本文基于阴影估算的建筑高度特征能够提升城市建筑类型分类精度。在几何特征中,形状指数和面积的特征重要性高于其他几何特征变量,表明研究区内不同类型的建筑在形状和面积中有一定差异,比如商业综合体具有更大的面积,工厂型建筑相比其他建筑形状更加规则,因此形状指数特征和面积特征在几何特征中对分类结果影响最大。
图9 建筑类型分类特征重要性排序

Fig. 9 Feature importance ranking of building type classification

从不同实验方案下的建筑类型分类精度可以看出,高度特征能够有效减少不同高度居民楼的误分,提高中低层居民楼和高层商住两用的分类精度。为了进一步验证中低层居民楼和高层商住两用类型建筑对高度特征的敏感程度,选取福州市仓山区某小区做进一步研究。通过实地考察和验证,将所选取区域内居民楼（已去除其他类型建筑）划分为中低层居民楼和高层商住两用。图10第一行从左往右分别展示了原始影像、真实标签、融合多尺度特征（加入高度特征）分类结果、融合多尺度特征（不加入高度特征）分类结果。根据统计,未加入高度特征的中低层居民楼分类准确率为69.70%,高层商住两用建筑分类准确率为62.86%;加入高度特征后的中低层居民楼分类准确率为95.95%,高层商住两用分类准确率为85.71%。中低层居民楼和高层商住两用型建筑分类精度分别提高26.25%和22.85%,由此说明高度特征是将不同形式居民楼区分开的有效特征,高度信息的加入能够提高具有相似形状特征的居民楼的区分能力。
根据建筑类型分类精度结果,融合多尺度特征的分类精度相比单一尺度分类精度在中低层居民楼、高层商住两用、工厂型建筑分类中均有小幅度提升。图10第二行从左往右分别展示了原始影像、融合多尺度特征分类结果、单一尺度特征分类结果。单一尺度下,当所获取的建筑之间相邻时,多个建筑往往被认为同一个建筑对象从而误分成密集型建筑。经过多层级分割优化,通过融合不同层级建筑对象特征提高了粘连的居民楼和密集建筑群的区分能力,减少密集型建筑分类误差,进而提高了整体分类精度。
图10 建筑类型分类细节对比

Fig. 10 Comparison of building type classification details

5 讨论

本文提出了一种融合高度特征的高分辨影像建筑类型分类方法,重点研究了高度特征对分类效果的影响。已有研究利用LiDAR数据或立体相对数据获取建筑高度信息来提高城市建筑类型分类精度,但这些数据获取成本较大,不适合大范围建筑类型制图。本文基于单一模式拍摄的高分辨影像,借助建筑和阴影的方向关系,估算建筑高度并进行建筑类型分类,分类方法具有更好的适用性。
结合高度特征的多尺度分类结果,除商业综合体外,建筑类型的分类精度均能达到70%以上,其中高层商住两用和中低层居民楼分类精度为83.33%和94.04%,这两类在研究区内覆盖占比比较大。居民楼和其他建筑类型在几何形状上存在差异,识别性强。商业综合体分类精度最低,为52.38%,这是因为商业综合体多为复合型建筑,几何形状和建筑高度差异巨大,且建筑彼此相连、高低错落。此外,影像上部分建筑体被阴影所遮挡,导致商业综合体型建筑提取破碎,且该类别训练样本相对较少,影响了最终分类结果。不同地区的建筑类型可能不同,本方法在迁移到其他区域时,需要依据目标区域的实际情况调整建筑类型的分类体系。
本文融合多尺度建筑对象的图像特征进行建筑类型分类。加入多尺度特征后中低层居民楼、高层商住两用型建筑和工厂型建筑分类精度分别提高了3.31%、5.00%和7.63%,总体分类精度提高了2.77%。密集型建筑难以有效的描绘出单个建筑对象,且其阴影信息常受建筑物遮挡,建筑高度估算误差相对较大,影像估算的高度信息对密集型建筑识别能力不足。此外,密集型建筑多为老城区和棚户区,建筑破旧,也影响了UNet模型对密集型建筑的提取结果。面向对象分类方法进行建筑提取可较好的表征密集型建筑,解决密集型建筑提取破碎的问题,但提取的单个建筑对象的边缘效果较差。城市区域中低层居民楼和高层商住两用型建筑占比更大,UNet模型对单个建筑表征效果更好,有利于建筑对象的高度特征和几何特征计算。融合多尺度图像特征的分类增加了城市区域复杂建筑类型的表征能力,但是当初始建筑对象提取结果较为破碎时,建筑类型的分类结果也会受到影响,未来可以进一步优化建筑对象的提取方法。

6 结论

针对城市建筑类型分类问题,提出了一种融合高度特征的高分辨遥感影像建筑类型分类方法,该方法基于单一模式拍摄的高分辨影像,借助语义分割提取的建筑物及其阴影在卫星成像时的几何关系估算建筑高度信息,并将高度信息与建筑对象的形态学特征、几何特征进行多尺度特征融合,最后利用机器学习方法进行分类。主要结论如下：
（1）本文提出的融合高度特征的高分遥感影像多尺度城市建筑类型分类方法总体分类精度为82.98%,kappa系数为0.7677,分类精度优于未加入高度信息的分类方法和单一尺度分类方法。基于单一模式拍摄的高分辨影像可较好的估算建筑高度,并能为大范围建筑类型分类应用提供信息支持。
（2）加入高度信息的城市建筑类型分类总体精度提升明显,结合高度特征的多尺度分类方法和单一尺度分类方法较未结合高度特征的分类方法建筑类型总体分类精度分别提高了11.28%和15.11%。结果表明,高度信息是研究城市建筑类型的重要信息,是区分具有相似形状的中低层居民楼和高层商住两用建筑的重要分类特征。考虑到地形因素和建筑间相互遮挡的情况,不同类型建筑高度估算误差不同,不同类型建筑对高度特征的敏感程度也有一定差异。
（3）采用分层分割方法获取建筑对象多尺度特征可避免单一尺度下建筑对象表征的不足,提高分类精度。针对建筑提取结果中出现的建筑粘连的情况,精细尺度下的建筑分析单元继承了粗分割尺度下建筑分析单元的特征,减少了粘连的建筑误分成密集型建筑的情况,从而提高总体分类精度。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
Lu Z Y, Im J, Quackenbush L. A volumetric approach to population estimation using LiDAR remote sensing[J]. Photogrammetric Engineering & Remote Sensing, 2011, 77(11):1145-1156.

[2]
Xie Y H, Weng A, Weng Q H. Population estimation of urban residential communities using remotely sensed morphologic data[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(5):1111-1115.

DOI

[3]
Li M M, Stein A, Bijker W, et al. Urban land use extraction from very high resolution remote sensing imagery using a Bayesian network[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 122(11):192-205.

DOI

[4]
Herold M, Goldstein N C, Clarke K C. The spatiotemporal form of urban growth: measurement, analysis and modeling[J]. Remote Sensing of Environment, 2003, 86(3):286-302.

DOI

[5]
Lu Z Y, Im J, Rhee J, et al. Building type classification using spatial and landscape attributes derived from LiDAR remote sensing data[J]. Landscape and Urban Planning, 2014, 130:134-148.

DOI

[6]
Chen W, Zhou Y Y, Wu Q S, et al. Urban building type mapping using geospatial data: A case study of Beijing, China[J]. Remote Sensing, 2020, 12(17):2805.

DOI

[7]
宫鹏, 黎夏, 徐冰. 高分辨率影像解译理论与应用方法中的一些研究问题[J]. 遥感学报, 2006, 10(1):1-5.

[ Gong P, Li X, Xu B. Interpretation theory and application method development for information extraction from high resolution remotely sensed data[J]. Journal of Remote Sensing, 2006, 10(1):1-5. ]

[8]
李德仁, 眭海刚, 单杰. 论地理国情监测的技术支撑[J]. 武汉大学学报·信息科学版, 2012, 37(5):505-512.

[ Li D R, Sui H G, Shan J. Discussion on key technologies of geographic national conditions monitoring[J]. Geomatics and Information Science of Wu Han University, 2012, 37(5):505-512. ]

[9]
Zhang L L, Wu J S, Fan Y, et al. An efficient building extraction method from high spatial resolution remote sensing images based on improved Mask R-CNN[J]. Sensors. 2020, 20(5):1465-1478.

DOI

[10]
周培诚, 程塨, 姚西文, 等. 高分辨率遥感影像解译中的机器学习范式[J]. 遥感学报, 2021, 25(1):182-197.

[ Zhou P C, Cheng G, Yao X W, et al. Machine learning paradigms in high-resolution remote sensing image interpretation[J]. Journal of Remote Sensing, 2021, 25(1):182-197. ]

[11]
惠健, 秦其明, 许伟, 等. 基于多任务学习的高分辨率遥感影像建筑实例分割[J]. 北京大学学报(自然科学版), 2019, 55(6):1067-1077.

[ Hui J, Qin Q M, Xu W, et al. Instance segmentation of buildings from high-resolution remote sensing images with multitask learning[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2019, 55(6):1067-1077. ]

[12]
朱盼盼, 李帅朋, 张立强, 等. 基于多任务学习的高分辨率遥感影像建筑提取[J]. 地球信息科学学报, 2021, 23(3):514-523.

DOI

[ Zhu P P, Li S P, Zhang L Q, et al. Multitask learning-based building extraction from high-resolution remote sensing images[J]. Journal of Geo-information Science, 2021, 23(3):514-523. ]

[13]
张浩然, 赵江洪, 张晓光. 利用U-net网络的高分遥感影像建筑提取方法[J]. 遥感信息, 2020, 35(3):143-150.

[ Zhang H R, Zhao J H, Zhang X G. High-resolution Image Building Extraction Using U-net Neural Network[J]. Remote Sensing Information, 2020, 35(3):143-150. ]

[14]
Wurm M, Schmitt A, Taubenböck H. Building types' classification using shape-based features and linear discriminant functions[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 9(5):1901-1912.

DOI

[15]
Abellán J, Moral S. Building classification trees using the total uncertainty criterion[J]. International Journal of Intelligent Systems, 2003, 18(12):1215-1225.

DOI

[16]
Du S H, Zhang F L, Zhang X Y. Semantic classification of urban buildings combining VHR image and GIS data: An improved random forest approach[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 105:107-119.

DOI

[17]
Shirowzhan S, Lim S, Trinder J, et al. Data mining for recognition of spatial distribution patterns of building heights using airborne lidar data[J]. Advanced Engineering Informatics, 2020, 43:101033.

DOI

[18]
赵传, 郭海涛, 卢俊, 等. 结合区域增长与RANSAC的机载LiDAR点云屋顶面分割[J]. 测绘学报, 2021, 50(5):621-633.

[ Zhao C, Guo H T, Lu J, et al. Roof segmentation from airborne LiDAR by combining region growing with random sample consensus[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(5):621-633. ]

[19]
郭峰, 毛政元, 邹为彬, 等 .融合 LiDAR 数据与高分影像特征信息的建筑物提取方法[J]. 地球信息科学学报, 2020, 22(8):1654-1665.

[ Guo F, Mao Z Y, Zou W B, et al. A method for building extraction by fusing feature information from LiDAR data and high-resolution imagery[J]. Journal of Geo-information Science, 2020, 22(8):1654-1665. ]

[20]
Huang Y H, Zhuo L, Tao H Y, et al. A novel building type classification scheme based on integrated LiDAR and high-resolution images[J]. Remote Sensing, 2017, 9(7):679.

DOI

[21]
Li M M, De Beurs K M, Stein A, et al. Incorporating open source data for Bayesian classification of urban land use from VHR stereo images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(11):4930-4943.

DOI

[22]
Johnson B, Xie Z X. Classifying a high resolution image of an urban area using super-object information[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 83(3):40-49.

DOI

[23]
Chen Q, Cheng Q H, Wang J F, et al. Identification and evaluation of urban construction waste with VHR remote sensing using multi-feature analysis and a hierarchical segmentation method[J]. Remote Sensing, 2021, 13(1):158.

DOI

[24]
Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]. International Conference on Medical Image Computing and Computer-assisted Intervention. Springer, Cham, 2015: 234-241.

[25]
Zhang W, Tang P, Zhao L J, et al. A comparative study of U-nets with various convolution components for building extraction[C]. IEEE Joint Urban Remote Sensing Event, 2019:1-4.

[26]
Erdem F, Avdan U. Comparison of different U-net models for building extraction from high-resolution aerial imagery[J]. International Journal of Environment and Geoinformatics, 2020, 7(3):221-227.

DOI

[27]
Li M M, Stein A. Mapping land use from high resolution satellite images by exploiting the spatial arrangement of land cover objects[J]. Remote Sensing, 2020, 12(24):4158.

DOI

[28]
Xie Y K, Feng D J, Xiong S F, et al. Multi-scene building height estimation method based on shadow in high resolution imagery[J]. Remote Sensing, 2021, 13(15):2862.

DOI

[29]
付乾坤, 吴波, 汪小钦, 等. 基于形态学建筑物指数的城市建筑物提取及其高度估算[J]. 遥感技术与应用, 2015, 30(1):148-154.

[ Fu Q K, Wu B, Wang X Q, et al. Building extraction and its height estimation over urban areas based on morphological building index[J]. Remote Sensing Technology and Application, 2015, 30(1):148-154. ]

[30]
石义方, 汪小钦, 孙振海, 等. 基于阴影的资源三号卫星数据城市建筑物高度估算[J]. 地球信息科学学报, 2015, 17(2):236-243.

DOI

[ Shi Y F, Wang X Q, Sun Z H, et al. Urban building heights estimation from the shadow information on ZY-3 images[J]. Journal of Geo-information Science, 2015, 17(2):236-243. ]

[31]
Burnett C, Blaschke T. A multi-scale segmentation/object relationship modelling methodology for landscape analysis[J]. Ecological Modelling, 2003, 168(3):233-249.

DOI

[32]
Kim M, Warner T A, Madden M, et al. Multi-scale GEOBIA with very high spatial resolution digital aerial imagery: scale, texture and image objects[J]. International Journal of Remote Sensing. 2011, 32(10):2825-2850.

DOI

[33]
Fauvel M, Benediktsson J A, Chanussot J, et al. Spectral and spatial classification of hyperspectral data using SVMs and morphological profiles[J]. IEEE Transactions On Geoscience and Remote Sensing, 2008, 46(11):3804-3814.

DOI

[34]
Bruzzone L, Carlin L. A multilevel context-based system for classification of very high spatial resolution images[J]. IEEE Transactions On Geoscience and Remote Sensing, 2006, 44(9):2587-2600.

DOI

[35]
Li M M, Stein A, De Beurs K M. A Bayesian characterization of urban land use configurations from VHR remote sensing images[J]. International Journal of Applied Earth Observation and Geoinformation, 2020, 92:102175.

DOI

[36]
Li M M, Bijker W, Stein A. Use of binary partition tree and energy minimization for object-based classification of urban land cover[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 102(1):48-61.

DOI

Options
Outlines

/

〈 〉