EN中文

地球信息科学学报 >

2024 , Vol. 26 >Issue 9: 2161 - 2176

DOI: https://doi.org/10.12082/dqxxkx.2024.230503

遥感科学与应用技术

采用Line-CNN深度学习网络的机载点云建筑轮廓线提取

  • 黄奕舒 ,
  • 臧玉府 , * ,
  • 蒋其含 ,
  • 米文瀚
展开
  • 南京信息工程大学 遥感与测绘工程学院，南京 210044
* 臧玉府（1987— ），男，江苏徐州人，博士，副教授，主要从事城市场景理解与三维建模方面研究。 E-mail:

黄奕舒（2001— ），女，江苏常州人，本科，主要从事激光点云智能处理研究。E-mail:

Editor: 蒋树芳

收稿日期: 2023-08-29

  修回日期: 2023-10-24

  网络出版日期: 2024-09-10

基金资助

国家自然科学基金面上项目(42171433)

国家自然青年科学基金项目(41701529)

收起

Extraction of Building Outlines from Airborne LiDAR Point Clouds Using Line-CNN Based on Deep Network

  • HUANG Yishu ,
  • ZANG Yufu , * ,
  • JIANG Qihan ,
  • MI Wenhan
Expand
  • Nanjing University of Information Science and Technology, School of Remote Sensing & Geomatics Engineering, Nanjing 210044, China
* ZANG Yufu, E-mail:

Received date: 2023-08-29

  Revised date: 2023-10-24

  Online published: 2024-09-10

Supported by

Geneal Program of National Natural Science Foundation of China(42171433)

National Natural Science Foundation of China(41701529)

Fold

摘要

城市三维模型是数字孪生、智慧城市建设的重要载体，实现建筑轮廓线的有效提取是城市高精度建模和三维测图的关键步骤。针对现有建筑物轮廓线提取效率与准确度较低的问题，本文提出了一种基于彩色机载点云的建筑轮廓线深度学习提取方法。首先，通过垂直投影，由经过渐进形态学滤波后的建筑物彩色机载点云，分别生成描述建筑物空间信息的高程栅格图像与反映其纹理差异的可见光栅格图像；然后，利用Line-CNN深度学习网络，经过特征提取、结点预测、路线生成等过程，从栅格图像中初步提取出线段特征；最后，为有效提取轮廓线特征，提出了一套综合修剪与补全操作的优化策略，并结合高程和可见光栅格图像中的优化线段信息，获得规则且完整的建筑物轮廓线特征。经过对南京信息工程大学的机载点云数据以及ISPRS H3D 2019数据集的实验证明，该方法对机载点云建筑物轮廓线提取有效，避免了因三维点云深度学习中标定样本不足而无法直接提取的问题；能准确、完整地提取出场景中建筑物的轮廓线特征，平均准确度与完整度均高达90%，且算法较为高效，有利于大范围城市三维建模与地籍测量等相关应用。

关键词： 城市高精度建模; 深度学习; 彩色机载点云; 高程栅格图像; 可见光栅格图像; 修剪与补全优化; 轮廓线特征

本文引用格式

黄奕舒 , 臧玉府 , 蒋其含 , 米文瀚 . 采用Line-CNN深度学习网络的机载点云建筑轮廓线提取[J]. 地球信息科学学报, 2024 , 26(9) : 2161 -2176 . DOI: 10.12082/dqxxkx.2024.230503

Abstract

Urban 3D modeling is indispensable for digital twinning and the development of smart cities. The effective extraction of building outlines is a critical step in achieving high-precision urban modeling and 3D mapping. At present, the extraction of building outlines from airborne point cloud data still faces challenges, such as low efficiency and accuracy with conventional methods and limited calibration samples. In response to these challenges, this paper introduces a deep learning method for extracting building outlines from 3D airborne point clouds. The airborne LiDAR point clouds are the primary data input. First, through vertical projection to the XOY plane, point clouds of buildings with the application of progressive morphological filtering are converted to rasterized elevation that characterizes spatial variation of terrain and visible light raster images that depict texture differences. Then, the deep learning model based on Lines-Convolutional Neural Networks (Line-CNN) is employed to preliminarily extract line features from raster images, encompassing stages of feature extraction, node prediction, route generation, and others. To enhance the quality of the primary straight-line extraction, an optimization strategy is introduced, which incorporates a range of comprehensive trimming and completion operations, aligning with information extracted from both the elevation and visible light raster images. Simultaneously, false line segments are eliminated, and missing lines are added, resulting in the regular and complete building outline features. To verify the proposed model, the airborne point cloud data from NUIST campus and the ISPRS H3D 2019 datasets are utilized in the experiment. Our results show that the proposed method accurately and comprehensively extracts building outline features from LiDAR images, achieving an impressive average accuracy and completeness rate, both up to 90%. Furthermore, the proposed method is highly efficient and effectively addresses the challenge of insufficient 3D calibration samples in traditional methods, making it suitable for various applications, particularly large-scale urban 3D modeling and cadastral surveying. To sum up, the proposed method constitutes a significant stride in advancing urban modeling and 3D mapping. It provides a novel solution to address the challenges associated with building outline extraction, particularly within the context of smart cities and digital twins. Due to the model's high accuracy, completeness, and efficiency, our method is highly helpful for a wide range of applications in the urban planning and geospatial information fields.

Key words： high precision urban modeling; deep learning; colored airborne point cloud; elevation raster image; visible light raster image; pruning and completion optimization; building contour line

1 引 言

机载激光扫描技术可以便捷、高效地采集大范围场景的高精度、高密度空间点云数据，且具备全天候、全天时的采集优势，已在地形测绘、城市建模、灾害监测等方面得到广泛应用[1]。其中，建筑物轮廓线提取是建筑提取与城市三维模型构建的重要基础，基于机载点云准确、完整地提取建筑轮廓线特征，对后续数字孪生、智慧城市、智能交通等领域有着重要意义。
根据数据源的不同，当前建筑物轮廓线提取方法主要可分为3类：基于深度影像、不规则三角网以及点云数据的方法[2]。基于深度影像的方法主要采用传统基于灰度梯度的二维影像边界提取算法，如Prewitt、Sobel等边界提取算法[3]提取建筑物屋顶轮廓线，这类算法提取效率高，但由点云重采样为深度影像时会损失细节特征，提取精度较差，对人工干预的依赖性强。基于不规则三角网的提取方法基础是Alpha-shape算法[4]和convex-hull算法[5]，通过判断空间点获得外围点集，进而连接成边界线。但传统Alpha-shape算法精度不高，对凹型建筑提取效果不佳。为此，已有不少学者对传统的Alpha-shape算法进行了改进与调整，如李云帆等[6]的双半径算法、李世林等[7]的滚动圆半径算法等，提高了轮廓线提取方法对点云密度差异的稳健性。改进后的方法具有良好的稳健性和精确度，可处理复杂屋顶结构，但对点云数据的点密度及完整度要求较高。基于点云数据的轮廓线提取方法则主要利用三维点间的空间拓扑关系，如邻域点密度、点数量、点间距等[8⇓⇓-11]，实现对屋顶轮廓线的提取，该方法对凹多边形建筑物较为稳健，但对复杂建筑的提取效果较差。这些方法普遍存在稳健性较低、效率低下等问题，难以满足大范围城市场景的建筑物轮廓线文件提取的需求。
近年来，基于深度学习的信息提取方法已成为研究热点，其高效精准的特点使其相较于传统方法有着更多的优势。目前，利用深度学习方法在二维平面图像的直线提取上已有成熟的发展，比如端点检测与直线分割并行的wireframe直线检测网络[12]、综合卷积神经网络和线性回归算法的Line-CNN直线检测网络[13]、利用三点定位的TP-LSD直线检测网络[14]，基于生成对抗网络的GAN直线提取网络[15]，都能快速、准确地提取出平面直线信息，其效果较传统的霍夫变换法[16]、基于梯度特征的LSD直线检测算法[17]、基于边缘特征的EDLines直线检测法[18]等有了极大提高。其中Line-CNN算法在人工目标丰富的环境中有其独特的优势，其网络结构包括多次上、下采样算法，既提高了效率又提升了对细节特征的捕捉能力，对于区分度良好的建筑边缘线特征有着极佳的提取效果。然而，目前三维点云数据中标定样本集较少，限制了三维机载点云提取轮廓线的深度学习提取方法。
针对上述问题，本文提出一种基于彩色机载点云的建筑轮廓线深度学习提取方法： ① 采用二维深度提取网络充分挖掘深度学习优势，避免了因三维深度学习中标定样本不足而无法提取的问题，高效、准确地提取场景中建筑物轮廓线特征； ② 提出了一套综合修剪与补全操作的优化策略，通过融合高程与纹理信息，使提取的轮廓线特征具备完整和规则性特点，有利于大范围城市三维建模与地籍测量等相关应用。

2 研究方法

本文算法流程图如图1所示。本文首先采用形态学滤波器获得非地面点云数据，并将其投影至XOY平面，获取两张相同区域的高程栅格图像与可见光栅格图像；然后结合平面直线提取的深度学习网络提取建筑物轮廓线特征，主要分以下3步： ① 采用Line-CNN深度学习网络初步提取2张平面栅格图像中的直线段信息；② 综合高程及可见光栅格图像中提取的直线段特征，并对直线段集合进行修剪优化，去除冗余线段； ③ 对剩余直线段进行轮廓线特征信息补全，依据建筑物结构特征规律等先验知识对缺失线段进行添加与调整，使其更符合现实逻辑，获得完整的建筑物屋顶轮廓线信息。
图1 算法流程

Fig. 1 Flow chart of the proposed method

2.1 基于双向距离加权的高程与可见光栅格图像生成

渐进形态学滤波方法[19]通过多尺度策略，可识别、检测出不同尺寸的目标地物，尤其适用于存在低矮树木、尺度多样目标的城市区域。因此本文采用渐进形态学方法对机载点云数据滤波处理，得到滤除地面点和植被等地物的建筑物点云。
为获得机载点云的高程与可见光栅格图像，需要将滤波获得的建筑物点云投影到XOY平面，并将点云区域划分为规则格网，每个格网对应一个平面图像的像素点。例如：要获得图像像素数为500像素×500像素，区域点云最大最小的X、Y坐标差值为ΔL，则每个格网尺寸为C=ΔL/500。每个像素点的特征值，反映了该像素所对应格网小区域中的高程或颜色加权信息，由落在对应格网中的点共同决定，即：离格网中心点越近、高程值越大的点在决定格网像素值时权重越大。记点k到其所在格网平面中点的水平距离为D，到格网中的最低点的垂直距离，即点k与格网最低点的高差，为H，则，该点在决定所在像素格网特征值时所占权重值W可用式(1)表示：
W = H ( h m i n - Z m i n ) Z m a x - h m a x ∙ e α ∙ 2 C D
式中：W为点k的权重值； C为格网尺寸； D为点k到其所在格网平面中点的水平距离； H为点k与格网最低点的高差； hmax、hmin为落在格网内的点的最大、最小高程值； Zmax、Zmin为区域点云的最大、最小高程值； α为平衡系数。由此，即可获得格网中任意点在计算格网特征时的权重值。求得格网内所有点的权值后，采用IDW空间差值法便可根据点的高程及可见光信息，求得格网特征值，获得高程与可见光栅格图像，并保留三维点与生成栅格图像像素间的映射关系。

2.2 采用Line-CNN网络的线段特征初步提取

Line-CNN网络是端到端的平面图像直线段检测提取网络，在人工目标丰富的环境中有其独特的优势，可高效、准确地提取其直线段特征。并且，网络通过多次上、下采样，提升了对细节变化的敏感度，对于如建筑物边缘这类具有良好区分性的特征有着极佳的提取效果。因此，本文采用了Line-CNN双阶段直线检测网络，初步提取建筑目标中的直线特征。
Line-CNN网络主要包含4个模块（图2），分别是提取特征的主干网络、输出候选连接点的结点预测模块、预测线段的线段采样模块和分类出预测线段的线段校正模块。最重要的主干网络采用SHN沙漏网络[20]，利用多个上、下采样共同组成的沙漏模块，高效地为网络的后续部分提取多尺度目标特征。该模块首先利用卷积和最大池化层将图像下采样到一个很低的分辨率，并以多个分支来保持特征的不丢失；再用最邻近插值法来上采样，将前面获得的不同分支下的特征进行融合，直到回到输入分辨率，即输出分辨率，继而输出特征。每次进行沙漏模块获得的预测图的权重不统一，需要经由损失函数获得该预测图的准确性，整个网络的损失为这些模块的损失之和。模块损失函数L构建如式(2)所示。
L ( x , y ) = 1 n ∑ i = 1 n ( y i - f ( x i ) ) 2
式中：f(x)为模型预测值；y为真实值。通过对各个模块的损失进行累加，可以得到整个网络的损失函数，最小化损失函数有助于优化网络训练结果。通过多次使用沙漏模块，可以使图像特征不断细化，并提高特征提取效率，以获取更准确的图像特征。
图2 采用Line-CNN网络的直线提取框架

Fig. 2 Framework of line extraction based on Line-CNN network

对于输入RGB平面栅格图像(图2)，本文将其缩放为512像素×512像素后输入Line-CNN网络，在主干网络中扩展为256维提取特征，随后，将获得的256像素×256像素的特征图输入结点预测模块，利用似然概率特征图和偏移概率特征图得到可能的结点位置列表。由可能结点列表，将所有可能结点两两生成一个预测直线段，对每个预测直线段返回降维到128×128的特征图，采样获得对应的特征向量，每个线段输出128像素×32像素个特征，这个采样过程为Lol池。最后在将线段特征的空间维度降到8后，将获得的预测直线的特征(尺寸为128像素×8像素)输入全连接层，即可获得该预测线段的分数，进而获取各直线段信息。

2.3 综合修剪与补全的轮廓线优化策略

由于生成的二维栅格图像中很多区域像素值相近，利用Line-CNN网络初步提取时直线易出现断裂、缺失等现象；而存在屋脊线或顶层建筑的建筑物，则会影响对建筑物外轮廓的判断与提取，进而产生冗余的内部线特征；上述因素还会影响 线段的端点判断，产生非正交的线段特征，如图3所示。
图3 直线初步提取问题

Fig. 3 Issues in preliminary line extraction

由于上述原因，初步提取出的直线特征存在断裂、冗余、非正交等诸多问题，无法准确地描述建筑目标真实的轮廓边界信息，因此需要对提取的轮廓线特征进一步优化处理。本文提出了一整套融合修剪与补全操作的新颖轮廓线优化策略，优化算法主要包括2个模块： ① 建筑物线特征的修剪优化：线段空间聚合、线段合并、内部线剔除； ② 轮廓线特征的信息补全：线段方向调整、线段补全，技术流程如图4所示。
图4 平面线段规则化步骤

Fig. 4 Regularization procedures of plane lines

2.3.1 建筑物线特征的修剪优化

顾及连接关系的线段空间聚类：空间聚合各栋建筑物轮廓线特征。根据初步提取的直线段特征，通过计算任意2线段间的交点与距离判断其连接关系。具体如下：在初步提取线段列表中（图5(a)），选择最长线为基准线，如图5(b)中黄线，寻找线段列表中与之存在交点的线段，将其从原始列表中转移到最长线所在列表中，并继续寻找剩余线段中与之存在交点的线段(图5(b)红线)。然后，在原始列表中重新寻找最长线段（图5(c)绿线），并继续寻找与之连接的线段，循环上述步骤，直至考虑完所有线段。
图5 线段初步聚类实例

Fig. 5 Preliminary line segment clustering

通过此方法将存在连接关系的线段进行了初分组，随后依次判断未分组线段，将其依据距离关系，归类到已经初步分出的线段组中。对于非平行两条线段，距离d计算如式(3)：
d ⊥ = l 1 2 + l 2 2 l 1 + l 2 d / / = m i n ( l 3 , l 4 ) d θ = L S 1 × s i n θ d = d ⊥ + d / / + d θ
式中：S1、S2是2条待判断距离的非平行线段； θ是2条线段的夹角，由较短线段向较长线段作垂线；l1、l2是2条垂线段的长度；l3、l4是较长线段到就近垂足的长度(图6(a))；以其中较长线段方向为基准，分别定义短线在其在垂直方向上的投影距离为d⊥，其水平方向上的投影距离d//，及2条线的夹角距离dθ，三者之和d为线段间的距离。当待分组线段到已聚合线段中的距离小于阈值(例如可取5)时，判断该线段属于目标组，将其转入该建筑物，完成线段聚合。
图6 非平行距离计算与内部线剔除原理

Fig. 6 Distance calculation of non-parallel line segments and internal line removal

基于空间拓扑关系的内部线剔除：删除不属于建筑物外轮廓线的内部线段。由于提取的直线段中有部分属于建筑物的内部线(如屋脊线)，需要将其删除。针对连接3条线段的端点(图6(b)A、B)，首先选择一条路径，形成一个闭合图形(图6(b)中红色框线)。然后选择路径外的线段上任意一点(图6中C点)，利用射线法判断该点是否在形成的闭合图形内部：若作出的竖直射线与闭合图形存在奇数个交点，则判断该点及该线段在作出的闭合图形内部，删去该线段；若为偶数，则说明线段在图形外部，则以该线段为路径形成新的闭合图形。如图6(b)所示，红色实线为初始生成路径，为一个闭合图形，蓝色实线为待判断是否为内部线的线段，取C点作水平线(图中黑色虚线)，获得如图所示a、b 2个与闭合图形的交点，交点数为偶数，则判断该点即该线段在现有闭合图形之外，删去原先路径，将该线段纳入新路径中。重复以上步骤，直到所有剩余线段可以形成一个闭合图形。
基于空间位置关系的线段合并：合并判断为同一条框线的线段。初步提取的直线段中，一条轮廓线周围往往聚集多条线段的情况(图7蓝色线段)，为合理描述外轮廓信息需要对现有线段进行合并优化。首先找到该建筑物的最长线，以此为基准，寻找线段组中与其平行且距离小于阙值的线段，加入待合并数据集，待合并数据集中的线段被判断为同一条轮廓线。然后，对待合并数据集中的所有线段求平均，获得真实线段所处直线位置(图7红色直线位置)。由待合并线段的端点向真实线段作垂线，获得如图所示A—H共8个交点，两两连接这些交点，取其中的最长线段作为最终的直线(如图7中线段AH)。在数据组中删除已合并线段后，再次找到新的最长线进行新的一轮合并操作，直到考虑完所有线段。
图7 基于空间位置关系的线段合并

Fig. 7 Merging of line segments based on spatial topology

2.3.2 轮廓线特征的信息补全

基于建筑物主体方向的线段正交化调整：因为规则的人工建筑物中，邻接的轮廓线间大多呈现垂直相交的特点。为使轮廓线更准确地描述建筑物空间信息，将对上述线段方向进行初步调整，具体过程如下：
（1） 对某栋建筑，搜索其最长的线特征，记作Lmax，以此为基准，对余下线段粗略判断分类。本文给每条线段赋予一个新的参数T用于判断线段与基准线段Lmax的关系，平行时记为0，垂直时记为1，则有式(4)：
T ( L m a x , L i ) = 0               | L m a x , L i | < 45 ° 1                 | L m a x , L i | > 45 °
（2） 将T值为1的线段方向角减去90°后，和平行线段的方向角一起，求方向角的期望值，以此获得能反映出建筑物主体方向的方向角；
（3） 以主方向为标准对线段进行调整，每条线段以中点为中心进行旋转，旋转至与标准主方向平行或者垂直，并进行一定延长，以获得新的交点。
基于连续线段正交关系的线段补全：利用连续平行线段补充缺失的线段。机载点云由于受云层、高大树木的遮挡影响，使得提取的建筑物轮廓线段存在一定的缺失现象。为合理补全缺失线段信息，具体采用如下操作。现有的线段缺失可分为：“U”型和“N”型2种情况，如图8所示。对于“U”型情况，本文从较长的线段端点(如图中B1点)向较短线段所在直线做垂线，以垂足创建新的端点(C1点)，连接新端点与两个原端点(如图中连接A1C1、B1C1)，并删除原较短线段的端点(A1)；对于“N”型情况，本文从2个端点分别向另一条线段所在直线做垂线，以2条垂线段的平均值作为补充的垂线段(图中C2D2)，并以补充的垂线段端点为新的端点，对原线段进行补充(图8所示，补充线段为A2C2、C2D2、B2D2)。
图8 基于连续线段正交关系的线段补全

Fig. 8 Line completion based on orthogonal relation of continuous line segments

2.4 建筑物三维轮廓线提取

通过上述处理，可获取各建筑物完整、规则的二维轮廓线特征。根据2.1中保存的三维点云与二维像素间的映射关系，可进一步获取建筑物的三维轮廓线特征。但由于点云中的噪声、粗差值会影响三维轮廓线的平滑度和规则性，因此对提取的三维轮廓线采用移动最小二乘法平滑处理[21]，进而提取规则、平滑的三维轮廓线，为后续高精度城市建模和数字孪生城市建设提供支撑数据。

3 实验及结果分析

3.1 实验数据

为验证该算法对机载点云建筑物轮廓线提取的有效性，本文采用南京信息工程大学的机载点云数据以及ISPRS H3D 2019数据集进行测试与验证，如图9所示。实验采用Line-CNN神经网络，采用经过wireframes数据集训练8K次生成的模型对点云投影后生成的二维图像进行直线提取，并辅以优化操作，获得建筑物轮廓线提取结果。采集的机载点云数据中，建筑物结构多样，排列情况多变，存在大量树木植被及结构复杂建筑，可充分验证算法的可行性及稳健性。
图9 实验数据

Fig. 9 Experimental datasets

3.2 采用深度学习的高程与可见光栅格图像直线初步提取结果

采用渐进形态学滤波算法对两场景点云滤波处理后，提取点云数据中的建筑物目标，并将其投影至水平面，获取高程与可见光栅格图像。再将获得的栅格图像，利用经过训练的Line-CNN模型进行图像内直线段的初步提取，取得的结果如图10所示。
图10 轮廓线初步提取结果

Fig. 10 Coarse extraction results of contour lines

图10中可看出，Line-CNN网络可以有效地提取图像中的直线信息，建筑物轮廓线信息基本齐全，能基本反映真实场景的建筑轮廓线情况。对比图10中的可见光栅格图像及高程栅格图像可发现，两者初步提取出的直线段各有侧重，高程图像中直线提取注重空间差异性，可提取出在可见光栅格图像中由于颜色区分度不大而被忽略的直线段；而可见光图像更贴合网络对特征的提取，能利用其比高程图像更加丰富的色彩信息，更好地提取图像中一些有细微弯折的特征。

3.3 高程与可见光栅格图像直线提取的合并结果

高程图像及可见光图像在分别经过直线段初步提取、规则化后，均存在细节部分提取不准确、部分缺失的问题，而这些缺失部分的问题在进行提取结果求并集后，可以得到很好的解决。在求并集作后，对新的线段组再次进行规则化操作，以删除新产生的内部线段、合并重叠线段，获得更加完整的建筑物轮廓线特征。如图11(a)、(b)中红框分别标出了可见光图像轮廓线提取、高程图像轮廓线提取中，未能提取出的部分。图像求并后，如图11(c)所示，轮廓线提取结果变得更加完整，准确。图11(e)可见光图像中，红框部分由于和背景色区分度不大，误将其判断为非建筑物部分，未能成功提取；但是高程图像却不会误判(如图11(d))，将两者合并，便能求得真实的图像。实验表明：对高程图像和可见光图像的提取直线优化合并，可实现两种数据的优势互补，获取更加完整、准确的建筑物轮廓线特征。
图11 高程与可见光图像提取轮廓线合并情况

Fig. 11 Extracted contour lines combining the results of elevation and visible light images

3.4 建筑物轮廓线优化实验结果

经过Line-CNN网络，利用深度学习方法可以初步提取出图像中的直线段信息，但其中包括了外轮廓线及内部直线段信息，还存在大量重叠、缺失、多余的问题，需要进行规则化处理。图11展现了规则化前后提取出的直线段的变化情况。图12(a)中经过网络初步提取出的直线段，不能很好地区分不同建筑物，经过规则化后(图12(b))，聚类操作使得线段之间有所区分，能很好地展现出不同的建筑物，便于后续获得三维空间中的建筑物屋顶轮廓线。此外，如图12(c)中所示，存在很多建筑内部线段的情况，通过规则化中的内部线剔除获得正确的建筑物外轮廓线特征，如图12(d)所示。初步提取的直线段中，也可能存在多条线段代表同一条直线段的情况，如图12(e)红框中所示，经过处理也如图12(f)所示得到了解决。同时，在图12(g)中存在的线段缺失的问题，经过正交化处理后也可以得到补全。但是，本文的规则化算法也会造成如图12(i)、图12(j)中展示出的问题，规则化剔除内部线过程中，错误将红框中的线段判断为外轮廓线，删去了真正的外轮廓线，造成了建筑物屋顶外轮廓线提取的不准确的情况。
图12 规则化操作前后对比

Fig. 12 Extraction results of building contour lines

优化处理之后，如图13所示，可以获得符合现实情况的完整建筑物外轮廓线特征。图13(c)是ISPRS数据的建筑物总体轮廓线提取结果，右侧为部分区域细节展示，可以看到提取结果整体符合建筑物实际的形态特征。实验结果表明，提取出的直线段能很好地贴合建筑物，能够正确地展现建筑物的整体形态和细节。
图13 建筑物轮廓线提取结果

Fig. 13 Extraction results of building contour lines

3.5 方法对比

为进一步验证本文算法提取的准确性，将其与地面真值、改良Alpha-shape[6]方法建筑轮廓线提取结果以及GAN算法[15]建筑轮廓线提取结果进行对比分析。其中，实验区域1、2的地面真值取自DOM手工提取数据，实验区域3的地面真值由标准数据集提供。
改良Alpha-shape算法为传统建筑物轮廓线提取方法，利用双阙值策略进行轮廓提取。该方法首先利用2个不同的阙值进行建筑物轮廓的初步完整提取和精细化，一定程度上平衡了轮廓线提取的完整性和精度；然后，结合简单环概念，设计轮廓搜索算法获取轮廓线；最后利用最小二乘轮廓线简化算法，删去多余细节，获得更准确的建筑物轮廓线。GAN算法为近年提出的新的轮廓线提取方法。该方法首先格网化点云数据，创建建筑物二值图像后；接着利用经过生成、判别训练的GAN模型优化建筑物形状；最后使用边界追踪算法，优化图像中提取出的建筑物轮廓线。2种方法在建筑物屋顶轮廓线提取方面有着很强的代表性，各具优势，改良Alpha-shape算法平衡了轮廓线提取的完整性和精度，而GAN算法通过深度学习实现了更高精度的轮廓线提取。因此选择这2种方法与本文方法进行对比。对比结果如图14所示。
图14 建筑物轮廓线提取结果方法对比

Fig. 14 Comparison of methods for extracting building outline lines

如图14所示，本文研究方法建筑物屋顶轮廓线提取结果呈现较高的完整性，相对准确地反映建筑物整体轮廓特征，提取效果整体优于改良Alpha-shape算法，尤其对于凹型建筑物有着显著优势。相较于GAN算法，本文方法提取结果虽然完整度略有不足，但是在准确度方面表现出更高水平，特别是针对复杂正交结构建筑物（如B5）有着明显优势。然而，由于本文算法在规则化处理阶段将初步提取出的线段进行简单正交化处理，因此在处理有着非正交屋顶轮廓线的建筑物时，轮廓线提取存在困难，可能导致无法完整提取建筑物屋顶的情况发生，进而引发提取结果与真值存在较大误差的问题，例如建筑物B7所示，其屋顶轮廓线提取结果较改良Alpha-shape算法和GAN算法有着明显不足。
通过衡量建筑物轮廓线提取的完整度与准确度评估算法性能，验证结果见表1。其中完整度是由提取出的建筑物屋顶轮廓线的结点数求出，准确度由轮廓线长度求得。记本方法提取的建筑物屋顶轮廓线长度总和为c1，建筑物面积为s1，手工标出建筑物屋顶缺失的轮廓线长度为c0；手工标出的建筑物屋顶轮廓线结点数为n2，轮廓线长度总和为c2，建筑物面积为s2，则完整度i、准确度a及建筑物面积完整度g分别为：
i = ( 1 - c 0 c 2 ) × 100 %
a = 1 - c 2 - c 1 c 2 × 100 %
g = 1 - s 2 - s 1 s 2 × 100 %
表1 建筑物轮廓提取情况对比

Tab. 1 Comparison of building outline extraction results

方法 完整度i/% 准确度a/% 面积完整度g/% 实验区域1
提取时间/s		 实验区域2
提取时间/s		 实验区域3
提取时间/s
改良Alpha-shape算法[6] 89.63 87.43 90.71 50.25 17.37 698.88
GAN算法[15] 98.32 92.84 98.64 9.73 2.72 186.54
本文方法 96.48 93.33 95.39 4.35 1.07 52.37
此外，如表2所示，以区域的面积作为评价指标，采用精确度和召回率对轮廓线提取结果进行评估。精确度p和召回率r计算为：
p = T P T P + F P
r = T P T P + F N
式中： TP为被正确提取的建筑物部分； FP为被错误判断为建筑物的非建筑物部分； FN为未被提取出、被遗漏的建筑物部分，另外还存在TN，为正确未被提取的非建筑物部分。
表2 建筑物轮廓提取面积误差

Tab. 2 Area errors of building contour extraction

方法 精确p / % 召回率r / %
改良Alpha-shape算法[6] 91.52 89.92
GAN算法[15] 95.81 96.97
本文算法 96.22 95.26
从表1、表2可知，利用本文方法3种场景中所有建筑外轮廓线都能较好地被提取，复杂情况下，轮廓线提取的完整度及准确度也都高于90%，能正确地反映建筑物特点，具有较高的稳健性。提取出的错误面积极小，提取区域正确率较高。相对于改良Alpha-shape方法，本文方法提取建筑物轮廓线的准确度、精确度及提取效率都有了不小的提升。与GAN算法相比，本文方法尽管提取结果的完整度稍有不足，但在准确性方面表现出更高水平，并且轮廓线提取效率更高。并且，将三维点云投影到二维平面，利用二维深度学习网络对建筑物轮廓线进行提取，不仅提高了直线提取的准确率，还能避免三维标定数据不足的问题，大大提高了机载建筑轮廓线的提取效率，较Alpha-shape算法和GAN算法更适合大范围、大批量建筑物屋顶轮廓线的提取。

3.6 三维轮廓线特征获取结果

再将提取出的建筑物外轮廓线段，赋予高程信息，经过映射投影到三维点云上，便可获得目标机载三维点云的建筑物轮廓线信息，结果如图15所示。利用该轮廓线信息，可以进一步进行初步建模，获得建筑物粗略模型，为后续的精细建模打下基础。
图15 建筑物轮廓线提取在三维点云中的展示

Fig. 15 Display of building contour lines in 3D point cloud

4 结论与讨论

4.1 结论

本文基于彩色机载点云数据，选取南京信息工程大学的机载点云数据以及ISPRS H3D 2019数据集作为测试场景，提出了一种采用Line-CNN平面直线提取网络的机载点云建筑屋顶轮廓线提取方法，旨在探求一种同时具有高效性与准确性的建筑物轮廓线提取方法。通过将滤波后的点云数据投影至水平面，获得反映建筑物空间信息的高程图像与反映纹理信息的可见光栅格图像；然后采用Line-CNN网络，利用深度学习方法初步获得图像中直线段特征；最后，提出一套新颖的优化策略，结合高程和可见光图像中蕴含的信息，获取完整、规则的三维建筑轮廓线特征。通过将本文方法轮廓线提取结果与改良Alpha-shape算法、GAN算法进行对比分析，得出以下结论：
(1) 本文设计方法在机载点云建筑物轮廓线提取方面有着良好的效果，可以有效避免三维定标样本不足而导致的问题。本文融合二维深度学习提取直线方法，提高了提取的精度、稳健性及效率，测试中提取的轮廓线平均准确度和完整度均高达90%，并将提取时长较传统方法缩短2~3倍，其效率优势在大范围城市建筑场景中尤为明显，使得适用于大范围城市三维建模和地籍测量等应用领域。
(2) 本文设计的直线段的优化策略，可有效解决直线初步提取存在杂乱直线段特征的问题。结合距离加权的可见光与高程栅格图像生成方法，通过修剪建优化与信息补全算法，能准确、完整地提取出三维建筑物轮廓线。
本文方法使用Line-CNN平面直线提取网络，有效解决了三维点云训练样本数据缺失的问题，提高了建筑物轮廓线提取的准确度、完整性及效率，有助于高效准确获得大范围城市建筑物信息，为数字孪生和智慧城市建设提供了重要的支持。

4.2 讨论

本文提出了一种准确有效的建筑物轮廓线提取方法，但其方法仍有一定局限性。首先，本文方法难以处理存在非正交屋顶轮廓线的建筑物，这可能导致无法完整提取建筑物轮廓线信息，进而导致提取结果与真值存在较大误差。在规则化过程中，对初步提取的线段简单正交化处理会导致建筑物细节信息丢失，使得在某些情况下，轮廓线提取的准确度和完整度会存在不足。在未来的研究中，需要进一步改进规则化算法，探索更复杂的轮廓线提取优化策略，以适应更为多样的建筑物形态。
此外，本文方法将三维点云投影至二维平面，并采用二维提直线深度学习方法进行轮廓线提取。虽然这种方法在效率方面存在明显优势，但是在投影过程中会存在细节信息的丢失，可能导致轮廓线提取准确性的降低，使得本文方法难以满足某些高精度复杂场景的需求。在未来的研究中需要进一步引入三维信息，提高轮廓线提取方法的适用性。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
杨必胜, 梁福逊, 黄荣刚. 三维激光扫描点云数据处理研究进展、挑战与趋势[J]. 测绘学报, 2017, 46(10):1509-1516..

DOI

[Yang B S, Liang F X, Huang R G. Progress, challenges and perspectives of 3D LiDAR point cloud processing[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10):1509-1516.] DOI:10.11947/j.AGCS.2017.20170351

[2]
霍芃芃, 侯妙乐, 杨溯, 等. 机载LiDAR点云建筑物屋顶轮廓线自动提取研究综述[J]. 地理信息世界, 2019, 26(5):1-13..

[Huo P P, Hou M L, Yang S, et al. Automatic extraction of building rooftop outlines using airborne LiDAR: A review[J]. Geomatics World, 2019, 26(5):1-13.]

[3]
赖旭东, 万幼川. 机载激光雷达距离图像的边缘检测研究[J]. 激光与红外, 2005, 35(6):444-446..

[Lai X D, Wan Y C. The study of the edge detection to the depth-image of light detection and ranging[J]. Laser & Infrared, 2005, 35(6):444-446.] DOI:10.3969/j.issn.1001-5078.2005.06.019

[4]
Edelsbrunner H, Mücke E P. Three-dimensional alpha shapes[J]. ACM Transactions on Graphics, 1994, 13(1):43-72. DOI:10.1145/174462.156635

[5]
Andrew A M. Another efficient algorithm for convex hulls in two dimensions[J]. Information Processing Letters, 1979, 9(5):216-219. DOI:10.1016/0020-0190(79)90072-3

[6]
李云帆, 谭德宝, 高广, 等. 双阈值Alpha Shapes算法提取点云建筑物轮廓研究[J]. 长江科学院院报, 2016, 33(11):1-4..

DOI

[Li Y F, Tan D B, Gao G, et al. Extraction of building contour from point clouds using dual threshold alpha shapes algorithm[J]. Journal of Yangtze River Scientific Research Institute, 2016, 33(11):1-4.] DOI:10.11988/ckyyb.20160811

[7]
李世林, 李红军. 自适应步长的Alpha-shape表面重建算法[J]. 数据采集与处理, 2019, 34(3):491-499..

[Li S L, Li H J. Surface reconstruction algorithm using self-adaptive step alpha-shape[J]. Journal of Data Acquisition and Processing, 2019, 34(3):491-499.] DOI:10.16337/j.1004-9037.2019.03.012

[8]
赵传. 基于机载LiDAR点云数据的建筑物三维模型重建技术研究[D]. 郑州: 解放军信息工程大学, 2017..

[Zhao C. Research on 3D model reconstruction from airborne LiDAR point cloud data[D]. Zhengzhou: PLA Information Engineering University, 2017.]

[9]
朱军桃, 王雷, 赵苗兴, 等. 基于机载LiDAR数据的建筑物屋顶边界提取[J]. 桂林理工大学学报, 2019, 39(4):879-885..

[Zhu J T, Wang L, Zhao M X, et al. Building roof boundary extraction based on airborne LiDAR data[J]. Journal of Guilin University of Technology, 2019, 39(4):879-885.] DOI:10.3969/j.issn.1674-9057.2019.04.011

[10]
周维娜, 程晓光, 严明, 等. 机载LiDAR点云中静态水体边界提取[J]. 遥感信息, 2021, 36(3):32-38..

[Zhou W N, Cheng X G, Yan M, et al. Extraction of static water boundary from airborne LiDAR point cloud[J]. Remote Sensing Information, 2021, 36(3):32-38.] DOI:10.3969/j.issn.1000-3177.2021.03.005

[11]
戴腾, 王金龙, 周锋, 等. 基于LiDAR数据的水域边界提取方法探讨[J]. 地理空间信息, 2022, 20(4):87-90.

[Dai T, Wang J L, Zhou F, et al. Discussion on water area boundary extraction method based on LiDAR data[J]. Geospatial Information, 2022, 20(4):87-90.] DOI:10.3969/j.issn.1672-4623.2022.04.017

[12]
Huang K, Wang Y F, Zhou Z H, et al. Learning to parse wireframes in images of man-made environments[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE, 2018:626-635. DOI:10.1109/CVPR.2018.00072

[13]
Zhou Y C, Qi H Z, Ma Y. End-to-end wireframe parsing[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 2019:962-971. DOI:10.1109/ICCV.2019.00105

[14]
Huang S Y, Qin F B, Xiong P F, et al. TP-LSD: Tri-points based line segment detector[C]// 2020 European Conference on Computer Vision. Cham: Springer, 2020:770-785. DOI:10.1007/978-3-030-58583-9_46

[15]
Kong G F, Fan H C, Lobaccaro G. Automatic building outline extraction from ALS point cloud data using generative adversarial network[J]. Geocarto International, 2022, 37(27):15964-15981. DOI:10.1080/10106049.2022.2102246

[16]
Fernandes L A F, Oliveira M M. Real-time line detection through an improved Hough transform voting scheme[J]. Pattern Recognition, 2008, 41(1):299-314. DOI:10.1016/j.patcog.2007.04.003

[17]
Grompone von Gioi R, Jakubowicz J, Morel J M, et al. LSD: A line segment detector[J]. Image Processing on Line, 2012, 2:35-55. DOI:10.5201/ipol.2012.gjmr-lsd

[18]
Akinlar C, Topal C. EDLines: A real-time line segment detector with a false detection control[J]. Pattern Recognition Letters, 2011, 32(13):1633-1642. DOI:10.1016/j.patrec.2011.06.001

[19]
Zhang K Q, Chen S C, Whitman D, et al. A progressive morphological filter for removing nonground measurements from airborne LIDAR data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2003, 41(4):872-882. DOI:10.1109/TGRS.2003.810682

[20]
Newell A, Yang K Y, Deng J A. Stacked hourglass networks for human pose estimation[C]// Computer Vision -ECCV 2016. Cham: Springer International Publishing, 2016:483-499. DOI:10.1007/978-3-319-46484-8_29

[21]
魏亚, 肖庸, 闫闯, 等. 基于点云预处理的路面三维重构数据优化[J]. 吉林大学学报(工学版), 2020, 50(3):987-997..

[Wei Y, Xiao Y, Yan C, et al. Data optimization of pavement 3D reconstruction based on point preprocessing[J]. Journal of Jilin University (Engineering and Technology Edition), 2020, 50(3):987-997.] DOI:10.13229/j.cnki.jdxbgxb20190121

Options
文章导航

/

〈 〉