EN中文

地球信息科学学报 >

2022 , Vol. 24 >Issue 2: 365 - 377

DOI: https://doi.org/10.12082/dqxxkx.2022.210313

遥感科学与应用技术

融合点、体素和对象特征的多基元点云分类

  • 汪文琪 , 1, 2 ,
  • 李宗春 , 1, * ,
  • 付永健 1 ,
  • 熊峰 1 ,
  • 赵昭明 1, 3 ,
  • 何华 1
展开
  • 1.中国人民解放军战略支援部队信息工程大学地理空间信息学院,郑州 450001
  • 2.北京遥感信息研究所,北京 100192
  • 3.中国人民解放军93920部队,西安 710001
*李宗春（1973— ）,男,山东日照人,博士,教授,主要从事精密工程测量、激光雷达点云数据处理研究。 E-mail:

汪文琪（1996— ）,男,安徽宿州人,硕士,主要从事激光雷达点云数据处理研究。E-mail:

收稿日期: 2021-06-03

  要求修回日期: 2021-07-04

  网络出版日期: 2022-04-25

版权

版权所有,未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。
收起

The Multiple Primitives Classification of Point Cloud Combining Point, Voxel and Object Features

  • WANG Wenqi , 1, 2 ,
  • LI Zongchun , 1, * ,
  • FU Yongjian 1 ,
  • XIONG Feng 1 ,
  • ZHAO Zhaoming 1, 3 ,
  • HE Hua 1
Expand
  • 1. Institute of Geospatial Information, PLA Strategic Support Force Information Engineering University, Zhengzhou 450001, China
  • 2. Beijing Institute of Remote Sensing Information,Beijing 100192, China
  • 3. Unit 93920 of the PLA, Xi'an 710001, China
*LI Zongchun, E-mail:

Received date: 2021-06-03

  Request revised date: 2021-07-04

  Online published: 2022-04-25

Copyright

Copyright reserved © 2022
Fold

摘要

单一基元分类方法难以全面描述复杂的点云场景,采用多基元进行分类成为一种趋势,提出了一种融合点、体素和对象特征的点云分类方法。主要包括4个方面：① 分别确定各层面分类基元,点基元方面采用最优邻域方法,体素基元方面基于八叉树方法进行体素划分,对象基元方面使用改进的多要素分割方法进行点云分割;② 提取各基元分类特征,首先提取点基元分类特征并进行局部线性约束编码(Locality-constrained Linear Coding, LLC),然后以此为基础提取体素基元和对象基元的潜在狄利克雷分布特征(Latent Dirichlet Allocation, LDA)和最大池化特征(Max Pooling, MP);③ 降低分类特征维度,利用随机森林变量重要性算法对分类特征进行筛选与降维;④ 进行点云分类,使用随机森林算法实现点云分类。采用3种不同类型的点云数据进行试验,结果表明融合3种基元特征的分类精度相比于点基元分类分别提升了1.43%、7.02%和2.48%,分类特征降维可以有效降低特征冗余度,分类器分类时间减少约70%;通过与其他算法的对比,新算法分类精度更优,且适用于多种场景点云数据的分类。

关键词： 遥感; 激光雷达; 点云分类; 多基元分类; 基元构建; 特征提取; 特征降维; 随机森林

本文引用格式

汪文琪 , 李宗春 , 付永健 , 熊峰 , 赵昭明 , 何华 . 融合点、体素和对象特征的多基元点云分类[J]. 地球信息科学学报, 2022 , 24(2) : 365 -377 . DOI: 10.12082/dqxxkx.2022.210313

Abstract

The single primitive classification method is difficult to fully describe the complex scene of point cloud, and multiple primitives classification is becoming a trend. A point cloud classification method combining point, voxel, and object features is proposed in this study. This method mainly includes the following four procedures: (1) Determining the classification primitives at each level. The point primitive adopts a method of optimal neighborhood, and the voxel primitive uses octree to carry out voxel division. In the aspect of object primitive, the improved multi-factor segmentation method is used to realize the point cloud segmentation; (2) Extracting the classification features of each primitive. Firstly, the classification features of point primitive are obtained, and then the Locality-constrained Linear Coding (LLC) is carried out. Secondly, the features of Latent Dirichlet Allocation (LDA) and Max Pooling (MP) are extracted; (3) Reducing the dimension of classification features. The variable importance algorithm of random forest is used to select classification features and reduce its dimension; (4) Completing point cloud classification. The point cloud classification is achieved using random forest algorithms. Three different types of point cloud data are used for the experiment. The result shows that the classification accuracy of multiple primitives is increased by 1.43%, 7.02%, and 2.48%, respectively on the basis of the point primitive classification. The feature dimension reduction can effectively reduce the feature redundancy, and the time cost of the classifier is reduced by about 70%. Compared with other algorithms, this proposed algorithm has a higher classification accuracy and is suitable for the classification of point cloud data acquired from different scenes.

Key words： remote sensing; light detection and ranging; point cloud classification; multiple primitives classification; primitive determination; feature extraction; features dimension reduction; random forest

1 引言

随着激光雷达技术应用领域的不断拓展,点云已成为继矢量地图和影像数据之后的第三类重要的时空数据源[1]。点云分类是点云数据处理的重要环节,也是目前研究的热点方向,对于林业资源调查[2]、道路标线识别[3]、电力巡线[4]等具有重要意义。但实际场景中,点云数据存在噪声、点云密度分布不均、地物形态复杂多样,实现自动化、高精度的点云分类依然面临挑战。
张继贤等[5]将点云分类中使用的基本处理单元称为“基元”,常用的点云分类基元包括点、体素和对象。点是点云分类中最小的基元,基于点基元的分类方法[6,7,8,9]通过逐点分析点云局部邻域中的高程、强度、法向量等特征差异,将点云数据分类成不同的目标。该类方法应用较为广泛,但基于点的邻域信息和局部变化,只能提取局部最优特征,目标分类精度易受邻域尺寸、点云密度等因素影响,用于复杂几何目标分类时精度较低。体素是将点云数据划分到具有一定体积的长方体中形成的点集,基于体素基元的分类方法[10,11,12]首先将点云数据划分成形状规则的体素,然后通过一定的算法进一步将体素转化为更高层级的对象或者超级体素,计算、提取其相应的特征,最后利用机器学习方法或者预先定义的语义规则进行分类。以体素基元代替点基元,极大减少了分类的基元数,可以提升计算效率,但单纯以体素为基元进行分类也会造成点云信息的损失。对象是点云数据分割得到的点云实体,基于对象基元的分类方法[13,14,15]先进行点云分割,得到一系列的点云实体,然后计算、提取实体的分类特征,以此为基础对点云数据进行分类。对象基元可以有效利用点云的上下文信息,降低了对局部特征的依赖,但该类方法分类效果受点云分割质量的影响较大。
现实场景中,不同类型、不同尺寸的物体相互交织,在进行点云数据分类时,单一基元难以全面描述复杂的点云场景。因此,融合多种基元的点云分类方法应运而生。相比于单基元分类方法,融合多基元的点云分类能够更为全面地概括和描述复杂的现实场景,有利于提高点云分类的精度。 Xu等[16]在不同阶段中使用不同类型的基元进行点云数据的分类,最后的分类结果体现了多基元分类相比于单一基元的优势,但该算法的分类策略没能将不同基元的特征融合到一起,对于各阶段的分类而言使用的仍然是单个基元的特征。Zhang等[17]提出了结合稀疏编码与LDA特征的点集特征提取方法,有利于获得区别性强、稳健性高的点云特征,但其利用栅格图像的方法进行点集分割需要将点云数据投影到二维平面,容易造成点云空间信息的损失。Tong等[18]引入了LLC编码方式,提出了基于LLC的点集LDA特征和MP特征提取方法,进一步提升了点集特征的稳健性;在点集构建方面基于点云密度和最大点数对点云数据进行分割,不需要进行二维投影,可以自适应地构造不同大小的点集,但是这种利用聚类方法得到的点集在地物分布密集时容易混杂不同类别的点云,造成分类精度的下降。另外,多基元分类也意味着多种多样的特征参数,如果直接将所有的特征参数用于点云分类器的构建,会导致样本数据的特征维度过高,增加分类计算的开销,降低分类效率;而且无关特征的加入也会影响最终的分类精度。因此有必要对多基元点云分类的特征参数进行筛选和降维。
综合上述问题,本文提出了一种融合点、体素和对象特征的点云分类方法,在基元构建方面,选择合适的基元构造方法,确保基元构建的准确性;在特征提取方面,融合点、体素和对象基元的点云特征,可以更有效地描述点云数据的整体场景,提升点云分类精度;在特征降维方面,利用随机森林特征变量重要性算法对提取的点云特征进行筛选与降维,减少分类特征的冗余。

2 研究方法

本文方法的整体技术路线如图1所示,主要步骤为：① 分类基元构建,包括点云数据最优邻域的确定、体素基元的划分和点云对象的分割;② 分类特征提取。首先提取点基元特征并进行LLC编码,然后构建主题模型以提取体素基元和对象基元的LDA特征和MP特征,最后进行特征融合;③ 分类特征降维。利用随机森林特征变量重要性算法进行特征的筛选与降维,以删除冗余特征,提升分类精度和效率;④ 基于随机森林分类器进行点云数据的分类。
图1 整体技术路线

Fig. 1 The overall technical route

2.1 分类基元构建

本文分类思路需要从点、体素和对象3种基元提取点云特征,然后以此为基础进行点云分类。因此,首先需要考虑3种分类基元的构建。选择点、体素和对象3种基元,一方面是因为这三者都是点云分类中常用的基元,具有很强的代表性;另一方面,从点到体素再到对象,基元覆盖的空间尺度逐渐扩大,所包含的点云空间信息也更为丰富。
3种基元中,点基元和体素基元易于构建。点基元构建的关键是如何确定点云邻域,也就是确定邻域的尺寸参数,由于点云数据密度和噪声的影响,在选取尺寸参数的过程中并不能完全顾及不同区域点云之间的差异。为了避免邻域尺寸选取的盲目性,本文选择一种自适应确定最优点云k邻域的方法[19,20]。体素基元构建方面采用八叉树对点云数据进行体素剖分,八叉树是一种用于描述三维空间的树状数据结构,结构简单易实现且能够较好地保存数据空间结构。
对象基元构建重点在于点云数据的精确分割,由于点云场景中往往包含有植被、建筑、地面等多种要素,种类复杂多样,针对单一类别物体的点云分割方法难以有效实现场景的多要素分割。本文采用了一种改进的多规则区域生长算法[21]进行点云数据对象基元的构建,针对现有点云多要素分割算法面状点集分割精度低、分割块合并效果差等问题,该算法重点在2个方面进行了改进：① 对面状点集分割进行优化,计算点云数据的平面拟合残差并用于生长种子点的选取;② 在依靠距离合并条件的同时,综合利用相似性和体积变化条件对原有分割块合并策略进行改进以实现分割块的有效合并。另外,算法中涉及的阈值参数采用自适应方法得到,提升了算法的自适应性。

2.2 分类特征提取

特征提取方面,首先,利用点云最优邻域提取点基元特征;然后,基于LLC方法对点基元特征进行编码,以此为基础构建主题模型;最后提取体素基元和对象基元的LDA特征和MP特征。
2.2.1 点基元特征
本文在点基元层面提取的点云特征包括高程特征、平面特征、空间分布特征和点特征直方图（Point Feature Histograms, PFH）4类。
（1）高程特征
高程特征主要表达不同地物的高程属性分布的特点。本文提取的高程特征包括绝对高程H,归一化高程Hn,高程的极差Hr、标准差Hstd、偏度Hske和峰度Hkur。绝对高程H就是各点对应的高程值,可以用来区分不同高程的地物;归一化高程Hn在区分地面点和非地面点方面具有很好的效果。高程极差Hr、标准差Hstd、偏度Hske和峰度Hkur的计算方式参见文献[8]。
（2）平面特征
平面特征包括平面粗糙度N、平面极差Sr、平面标准差Sstd、平面法向量与竖直方向的夹角Sn,可以体现出不同地物之间平面性的差异。基于前文计算得到的点云最优邻域,对邻域中的所有点进行平面拟合,使得所有点到平面距离的平方和最小。N即为当前点到该平面的距离,Sr为所有点到平面距离的最大值,Sstd是所有点到平面距离的标准差。
（3）空间分布特征
空间分布特征主要描述点云邻域中点的分布情况,包括邻域的3个特征值λ1、λ2和λ3,线状特征Lλ,面状特征Pλ,球状特征Sλ,全向方差Oλ,各向异性Aλ,特征熵Eλ,特征和􀰑λ,曲率变化Cλ,邻域半径r和邻域点密度D。具体计算方法参见文献[20]。
（4）PFH特征
PFH通过构造高维空间表达点的几何特征,能够详细地描述点云数据之间的关系。邻域内任意两点之间的关系可以通过3个角度参数(α,θ,φ)和一个距离参数d进行表示。张爱武等[6]利用两点之间的高差Δz代替欧氏距离d,提升了PFH特征对点云分类的贡献度,因此本文借鉴此经验,基于(α,θ,φ,Δz)提取PFH特征。综合考虑点云分类的精度和效率,本文将每个参数范围划分为3个子区间,最后得到PFH特征的维度为34维。
2.2.2 体素、对象基元特征
体素和对象基元都可以视为点的集合,但不同体素和对象中所包含点的数量、属性各不相同。为了更好地表达体素基元和对象基元的特性,借鉴文献[18]中点集特征的提取方法进行体素、对象基元特征的提取。基本原理是将每一个体素/对象看作一个文档（document）;利用点基元特征集进行稀疏编码并得到相应的编码字典（dictionary）,编码字典由单词（word）组成;根据文档中每个点的编码统计各个文档中单词的频率,以此为基础构建主题模型并提取相应的LDA特征和MP特征。
（1）LLC编码
稀疏编码算法是一种无监督学习算法,可以通过寻找一组“超完备”的基向量来更高效地表示 样本数据,在特征表示方面具有显著的优势。 Wang等[22]提出的LLC编码方法具有很好的重构性、局部平滑稀疏性,并且可以得到解析解,可以用来进行点基元特征的编码。
令 X = x 1 , x 2 , · · · , x n ∈ R d × n表示点基元的特征集,n代表点云点数,d代表特征维度; B = b 1 , b 2 , · · · , b m ∈ R d × m表示点基元特征的字典,m代表字典中的单词的数量; C = c 1 , c 2 , · · · , c n ∈ R m × n表示特征集X基于字典B的稀疏编码,则LLC编码模型表示如下
min C ∑ i = 1 n x i - B c i 2 + λ d i ⊙ c i 2 s . t .       ∀ i ,       1 T c i = 1 .     ∀ j ,       b j ≤ 1
式中： ⊙代表元素的内积; λ是约束正则项参数; d i = exp ( dist ( x i , B ) / σ )是一个局部限制条件; σ是用来控制局部区域范围的参数。
将点基元特征集进行LLC编码的目的在于得到编码字典B和对应的稀疏编码C。为此,首先采用k-means算法对特征集进行聚类得到一个初始的编码字典Bint,然后利用LLC编码遍历所有的特征逐步更新Bint,最终得到更新后的编码字典B和对应的稀疏编码C。
（2）LDA特征提取
LDA是一种文档主题生成模型,包含单词、主题（topic）和文档3层结构。LDA通过提取一定数量的潜在主题来对文档进行描述,每个文档可以表示成由一组潜在主题概率组成的向量。因此,体素/对象基元LDA特征的提取对应为各体素/对象潜在主题概率的计算。
首先,根据LLC编码得到的点基元特征集编码字典B和稀疏编码C,可以计算每个体素/对象中单词出现的频率。编码字典B中第i个单词在体素/对象中的频率为
p ( b i θ , β ) = ∑ j = 1 n r c i j
式中： c i j代表体素/对象中第j个点在第i个单词的编码系数; n r是体素/对象中的点数; β是潜在主题矩阵; θ为潜在主题概率向量。
然后构建主题模型,根据计算得到的单词频率求解各体素/对象对应的潜在主题概率,计算方法采用了变分贝叶斯推断算法[23]。最后,各体素/对象的LDA特征为
F LDA = θ 1 , θ 2 , · · · , θ l
式中,l为潜在主题的个数, θ i ( i = 1,2 , · · · , l )为第i个潜在主题的概率。
（3）MP特征提取
LDA特征可以表达各体素/对象点集的整体特征,但是还缺乏对点集内部各部分之间关系的描述。为了更完整地表达点集特性,采用MP方法对点集内部结构特征进行提取。
给定一个体素/对象点集s,根据坐标将点集分割成Ks个子点集,各子点集的MP特征fi为：
f i = F ( C ¯ s ) , i ∈ [ 1 , K s ] C s ∈ R m × n s C ¯ s = C S T
式中：ns为子点集中包含的点数; C s为子点集中各点的稀疏编码,具体计算形式为：
f i = [ f 1 , f 2 , · · · , f m ] i ∈ [ 1 , K s ] f i = max c ¯ 1 j , c ¯ 2 j , · · · , c ¯ n s j j ∈ [ 1 , m ]
则点集s的MP特征为
f MP = ∑ i = 1 K s f i
对其中各元素进行归一化,得到最终的MP特征。

2.3 分类特征融合

不同基元的特征对点云数据有不同的描述,为了实现对点云数据的有效分类,需要对前文计算的各种类型、不同层面的点云特征进行融合。由于点云数据分类是对每个点赋予相应的标签,根本还是在于对点的操作。因此,本文考虑以点层面为点云特征的基本层面,将体素特征和对象特征都统一融合到点层面上,即将计算得到的体素特征和对象特征分配至相应体素和对象包含的点中。融合完成后,点云数据中每个点p对应的特征 F p中包含有点基元特征 F point p、所在体素的特征 F voxel p和所在对象基元的特征 F object p。然后,基于融合后的点云特征进行后续的分类工作。
F p = F point p , F voxel p , F object p

2.4 分类特征降维

根据前文所述可知,相比于一般的点基元分类,多基元分类方法获取的特征参数更多。以上所提取的特征参数对分类结果的影响程度各不相同,甚至部分参数属于冗余特征。如果直接将所有的特征参数用于点云分类器的构建,会导致样本数据的特征维度过高,增加分类计算开销,降低分类效率;而且冗余特征的加入也会影响最终的分类精度。因此,对分类特征进行降维是多基元点云分类中的重要步骤。
随机森林是一种集成机器学习算法,广泛应用于点云数据的分类。由于随机森林算法可以度量变量的重要性,故可用于点云分类特征的筛选。本文采用基于随机森林的特征选择方法（Feature Selection algorithm based on Random Forest, RFFS）[24]进行点云分类特征的筛选与降维。通过对点云分类特征进行筛选与降维,删除其中无关、冗余的特征参数,可以提升分类器的训练效率和点云的分类精度。

3 试验及结果分析

3.1 试验数据

本文采用机载、车载、站载3种不同场景的点云数据集对算法进行验证,将3种点云数据集分别按高程赋色,如图2所示。其中,机载点云数据集（场景I）来自于Terrasolid软件官网（http://www.terrasolid.com/training/training_data.php）的训练数据,本文选取了其中部分数据进行分类试验;车载点云数据集（场景II）采用了Paris-Lille-3D开源数据集[25],该数据是由车载移动测量系统在法国巴黎和里尔两座城市扫描得到,由于覆盖场景太大,本文只截取了其中部分数据;站载数据集（场景III）选择了开源数据集Robotic 3D Scan Repository中场景12的数据（http://kos.informatik.uni-osnabrueck.de/3Dscans/）,该数据是在德国不莱梅市中心由Riegl VZ400站载扫描仪扫描得到。由于原始点云数据量太大,3种点云数据集均进行了降采样处理。车载点云数据集已经包含有对应的点云标签;机载、站载点云数据标签则是通过手工分类得到。在进行点云分类时,从点云数据中按类别随机抽取部分点作为训练数据,剩余点作为验证数据,各场景点云训练数据和验证数据的详细信息见表1。
图2 点云数据集

注：将点云数据按照高程进行赋色,不同的颜色代表不同的高程。

Fig. 2 Point cloud data set

表1 各场景点云训练数据和验证数据

Tab. 1 Point cloud training data and verification data of each scene

训练数据 验证数据
植被 建筑 地面 车辆 电力线 植被 建筑 地面 车辆 电力线
场景I 18 336 5788 11 453 - - 592 888 109 983 370 338 - -
场景II 5658 8611 11 832 5377 - 277 246 421 960 579 808 48 402 -
场景III 1718 10 683 4225 - 753 84 208 701 538 277 461 - 14 321
点云分类结果采用混淆矩阵的形式进行评价,具体计算指标包括精度（precision）、召回率（recall）、F1得分（F1 score）和总体分类精度（Overall Accuracy, OA）。本文试验在2.60GHz Intel Core i7-9750H CPU、16GB内存的计算机实现。

3.2 基元选择对分类的影响

本文方法融合了点、体素和对象3种基元的特征进行点云分类,为了展示不同基元选择对点云分类结果的影响,本文设计4种分类策略进行对比试验。策略①：仅利用点基元特征进行点云分类;策略②：利用点基元特征和体素基元特征进行点云分类;策略③：利用点基元特征和对象基元特征进行点云分类;策略④：融合点、体素和对象3种基元的特征进行点云分类(也即本文方法)。利用此4种策略分别对前述3种场景下的点云数据进行分类,其中体素、对象特征提取中涉及的正则项参数λ=0.005、局部区域参数σ=20、单词数M=40、主题数l=10。3种场景下点云分类结果分别见表2、表3和表4。同时,为了更直观地展示不同分类策略的优劣,图3给出了场景II场景中的分类结果。
表2 场景I分类结果

Tab. 2 Classification result of scene I (%)

指标 类别
植被 建筑 地面
R 策略① 96.79 84.81 96.41
策略② 96.79 88.48 96.90
策略③ 97.66 92.57 96.88
策略④ 97.50 92.65 97.09
P 策略① 96.49 88.04 95.85
策略② 97.00 90.06 96.06
策略③ 97.33 94.72 96.75
策略④ 97.47 94.70 96.52
F1 策略① 96.64 86.40 96.13
策略② 96.90 89.26 96.48
策略③ 97.50 93.63 96.81
策略④ 97.48 93.67 96.81
OA 策略① 95.43 策略② 95.98 策略③ 96.87 策略④ 96.86
表3 场景II分类结果

Tab. 3 Classification result of scene II (%)

指标 类别
植被 建筑 地面 车辆
R 策略① 84.20 86.68 98.75 94.96
策略② 91.87 93.34 99.26 98.09
策略③ 97.83 98.74 98.78 99.65
策略④ 97.93 98.73 99.12 99.57
P 策略① 89.06 94.41 99.37 45.21
策略② 96.25 97.17 99.34 60.82
策略③ 98.52 98.80 99.34 89.56
策略④ 98.71 99.04 99.42 89.80
F1 策略① 86.57 90.38 99.06 61.25
策略② 94.01 95.22 99.30 75.09
策略③ 98.18 98.77 99.06 94.34
策略④ 98.32 98.88 99.27 94.43
OA 策略① 91.74 策略② 95.80 策略③ 98.60 策略④ 98.76
表4 场景III分类结果

Tab. 4 Classification result of scene III (%)

指标 类别
植被 建筑 地面 电力线
R 策略① 83.28 97.63 97.65 94.76
策略② 94.54 98.90 98.14 96.83
策略③ 98.17 99.30 98.19 97.75
策略④ 97.99 99.35 98.30 97.72
P 策略① 84.60 97.02 98.66 96.43
策略② 96.16 98.60 98.44 96.12
策略③ 99.84 99.05 98.34 98.09
策略④ 99.84 99.07 98.41 98.40
F1 策略① 83.94 97.32 98.15 95.58
策略② 95.34 98.75 98.29 96.47
策略③ 98.99 99.18 98.25 97.92
策略④ 98.91 99.21 98.36 98.06
OA 策略① 96.47 策略② 98.34 策略③ 98.91 策略④ 98.95
图3 场景II点云分类

Fig. 3 The classification result of point cloud in Scene II

通过对表2—表4中点云分类结果分析可看出：
（1）随着点云分类基元数的增多、点云分类特征的增加,各场景点云总体分类精度OA均有较为显著的提升,说明融合点、体素和对象特征的多基元分类方法相比于部分基元分类能取得更优的分类结果。
（2）策略③和策略②分类精度均优于策略①,说明在点基元特征基础上增加体素基元特征或者对象基元特征都能提升点云分类的精度;另一方面,策略③分类精度要高于策略②,反映出对象基元特征具备更强的点云类别区分能力。
（3）场景I中,策略③总体分类精度OA与策略④相近,直观感觉体素特征没有在策略④分类过程中起到应有的作用,初步认为可能是由于策略④中同时融合了3种基元特征,导致分类特征中存在冗余、无关特征,影响了点云的分类结果。
（4）场景II中车辆点云分类的精度P和F1得分与其他类别点云相差较大,分析其原因,场景中低矮植被、部分靠近地面的建筑与车辆点云特征相近,当分类基元较少时,三者之间难以区分,另外,从图3中也可以看出,一些低矮植被、建筑被误分为了车辆点,但随着分类基元的增加,车辆点与其他误分点之间区别更加显著,误分类点云数量明显降低,车辆点云的精度P和F1得分也随之增长。
综合上述分析,可以发现融合点、体素和对象特征的多基元分类方法能够取得更优的分类结果,相比于点基元特征分类和点-体素基元特征分类更具有优势。但融合多基元分类方法耗时相对较高,利用策略③进行分类时,3种场景下基元构建平均耗时0.60 h、特征提取平均耗时0.59 h,平均总体耗时是策略①的1.6倍。

3.3 特征维度对分类的影响

为了展示点云特征维度对分类结果的影响,利用RFFS算法对策略④中的点云特征进行了筛选与降维。点云分类初始特征集维度为204,包括104维的点基元特征、50维的体素特征和50维的对象特征,利用RFFS算法对点云分类初始特征集进行降维,最小特征集维度设置为5。随着点云特征维数的减少,3种场景点云训练数据的总体分类精度OA以及特征降维后剩余特征的分布如图4所示。
图4 点云分类特征降维

注：黑色虚线代表最高精度对应的特征数,红色虚线代表不同基元特征的分界。

Fig. 4 Dimension reduction of point cloud classification features

从图4可以看出,3种场景点云训练数据总体分类精度OA的变化趋势相同,都可以分成2个阶段。首先是精度增长阶段,随着不重要特征的删除、整体分类特征维度的减少,总体分类精度OA呈现出上升的趋势,3种场景点云数据分别在特征数为65、93和32时,OA达到最高。这一阶段精度上升原因主要是删除了冗余、不相关的分类特征,点云分类器性能得以提升,分类精度也随之提高;接下来是精度下降阶段,在此阶段随着点云分类特征的继续减少,一些重要的分类特征被删除,点云分类精度因此下降。同时,特征降维后剩余特征中均包含有点基元特征、体素基元特征和对象基元特征,说明三者均在点云分类中发挥了作用,侧面印证了融合点、体素和对象特征的多基元点云分类的有效性。
将点云分类特征进行筛选与降维之后,对点云数据进行分类,对比降维前后点云分类器训练、测试时间和分类精度,结果见表5。
表5 点云分类器训练、测试时间和分类精度

Tab. 5 The classifier training, testing time and classification accuracy

降维前 降维后
训练/s 测试/s OA/% 训练/s 测试/s OA/%
场景I 190.96 15.22 96.86 42.19 7.22 96.98
场景II 121.04 16.43 98.76 41.66 8.78 98.86
场景III 67.70 12.57 98.95 8.51 5.15 99.03
对比特征降维前后点云分类的结果,可以发现：
（1）经过特征降维之后,3种场景点云数据的总体分类精度OA均有所提升。场景I提升0.12%、场景II提升0.10%、场景III提升0.08%,以较少的分类特征实现了更高的分类精度,说明原有分类特征中包含的一些冗余无关特征会导致点云分类精度的下降,特征降维有助于点云分类精度的提升。
（2）经过特征降维之后,点云分类器训练和测试时间明显缩短,提升了分类效率;另外,经过降维之后的特征是一些重要性高、相关性强的分类特征,对于点云分类特征的选择具有一定的借鉴意义。
综上分析,点云特征降维有利于分类精度的提升,同时能够改善分类器的分类效率,因此在多基元点云分类中有必要对特征参数进行筛选和降维。

3.4 不同分类方法的对比

为了对本文方法整体表现进行更好地评估,选择了4种应用广泛的点云分类方法作为对比算法。
方法1：按照文献[18]方法获取点云的k-means分割块和2种尺度的mean shift分割块,对应的点特征提取类型、LDA特征和MP特征提取相关参数参照本文方法,最后综合3种不同层面分割块的分类特征进行点云分类;
方法2：以文献[8,9]为代表的多尺度邻域点云分类方法——采用多尺度邻域方法提取点云特征并对特征进行降维处理,分别选择5种不同尺度的邻域进行点特征提取,特征类型参照本文方法,特征降维方法采用RFFS算法;
方法3：以文献[7]为代表的多尺度邻域点云分类方法,该类方法与方法2方法的不同之处在于未进行特征降维,其余特征提取和邻域选择均与方法2方法相同;
方法4：以文献[6]为代表的单一邻域点云分类方法,固定邻域尺寸,特征类型参照本文方法,未进行特征降维。各类方法点云总体分类精度见表6。
表6 各方法总体分类精度

Tab. 6 The overall accuracy of each method (%)

场景I 场景II 场景III
方法1 82.07 96.75 97.54
方法2 95.92 95.45 97.67
方法3 95.76 95.26 97.59
方法4 95.54 94.37 96.92
本文方法 96.98 98.86 99.03
由表6可知,方法1在场景II和场景III中分类结果较好,说明了基于多层次点集特征进行点云分类相比于其他单基元分类具有一定优势;但方法1在场景I中的分类精度不尽如人意,分析其原因,从图2中可以发现,场景II和场景III中各类地物相对分散,地物之间没有太多关联,而场景I中各类地物交叉分布,彼此之间距离较近,不同地物点云、地物点云和地面点云被划分到同一分割块的可能性大大增加,而且随着分割块尺寸的增大,这种情况更为恶化,导致点云分类精度较低;方法1方法具有其分类的优势,但同时适用场景有一定限制,更适合于简单场景点云数据或者是去除地面点之后的点云数据的分类。方法2和方法3的多尺度邻域方法相比于方法4的单尺度邻域方法能够取得更高的分类精度,其中经过特征降维的方法2方法又能进一步提升分类的精度,这也说明了多尺度邻域相比于单一邻域的优势以及特征降维的有效性。总体来看,本文方法所取得的分类精度最高,这与该方法所具有的优势息息相关：① 利用多基元特征进行分类,克服了单基元分类的不足;② 采用改进的点云多要素分割算法,提升了点云分割的精度;③ 考虑了在多基元点云分类中进行特征降维的必要性。

4 结论

本文从多基元点云分类的角度出发,设计了一种融合点、体素和对象3种基元特征的点云分类方法,分别提取点、体素和对象3个不同层次上的点云特征,利用RFFS算法对提取的点云特征进行筛选与降维,最后基于随机森林分类器对点云数据进行分类。通过试验对比,可以得出以下结论：
（1）融合点、体素和对象特征的点云分类方法分类效果优于点基元分类和点、体素基元分类,且随着基元数目的增加,分类精度也逐步提升（机载、车载、站载点云精度分别提升1.43%、7.02%和2.48%）,这是因为基元数目越多,能够提取点云特征的尺度和层次也越广,可以更加全面地描述点云场景的整体特点。
（2）融合多基元特征的分类方法将不同基元的特征进行叠加,提升分类精度的同时也容易造成特征的冗余,本文引入RFFS算法,通过判断各分类特征对分类结果影响的重要性,剔除冗余的分类特征,提升了点云分类的精度和效率（精度平均提升0.10%,分类器分类时间减少了约70%）。
本文方法分类结果优于其他分类方法,且适用于不同场景下点云数据的分类。但同时该方法也存在不足之处,特别是自适应邻域计算迭代次数过多、体素基元获取参数仍需人为确定,后续工作可以重点探索点云自适应邻域的优化以及相关参数的自适应获取方法,以提升整体分类方法的自适应性。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
杨必胜, 董震. 点云智能研究进展与趋势[J]. 测绘学报, 2019, 48(12):1575-1585.

[ Yang B S, Dong Z. Progress and perspective of point cloud intelligence[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12):1575-1585. ] DOI: 10.11947/j.AGCS.2019.20190465

DOI

[2]
Gong Y X, Yan F, Feng Z K, et al. Extraction of crown volume using triangulated irregular network algorithm based on LiDARFull-text in English[J]. 红外与毫米波学报, 2016, 35(2):177-183,189.

[ Gong Y X, Yan F, Feng Z K, et al. Extraction of crown volume using triangulated irregular network algorithm based on LiDARFull-text in English[J]. Journal of Infrared and Millimeter Waves, 2016, 35(2):177-183,189. ] DOI: 10.11972/j.issn.1001-9014.2016.02.010

DOI

[3]
方莉娜, 黄志文, 罗海峰, 等. 结合SVM与图匹配的车载激光点云道路标线识别[J]. 地球信息科学学报, 2019, 21(7):994-1008.

DOI

[ Fang L N, Huang Z W, Luo H F, et al. Integrating SVM and graph matching for identifying road markings from mobile LiDAR point clouds[J]. Journal of Geo-information Science, 2019, 21(7):994-1008. ] DOI: 10.12082/dpxxkx.2019.180697

DOI

[4]
Nardinocchi C, Balsi M, Esposito S. Fully automatic point cloud analysis for powerline corridor mapping[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(12):8637-8648. DOI: 10.1109/TGRS.2020.2989470

DOI

[5]
张继贤, 林祥国, 梁欣廉. 点云信息提取研究进展和展望[J]. 测绘学报, 2017, 46(10):1460-1469.

[ Zhang J X, Lin X G, Liang X L. Advances and prospects of information extraction from point clouds[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10):1460-1469. ] DOI: 10.11947/j.AGCS.2017.20170345

DOI

[6]
张爱武, 李文宁, 段乙好, 等. 结合点特征直方图的点云分类方法[J]. 计算机辅助设计与图形学学报, 2016, 28(5):795-801.

[ Zhang A W, Li W N, Duan Y H, et al. Point cloud classification based on point feature histogram[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(5):795-801. ] DOI: 10.3969/j.issn.1003-9775.2016.05.012

DOI

[7]
岳冲, 刘昌军, 王晓芳. 基于多尺度维度特征和SVM的高陡边坡点云数据分类算法研究[J]. 武汉大学学报·信息科学版, 2016, 41(7):882-888.

[ Yue C, Liu C J, Wang X F. Classification algorithm for laser point clouds of high-steep slopes based on multi-scale dimensionality features and SVM[J]. Geomatics and Information Science of Wuhan University, 2016, 41(7):882-888. ] DOI: 10.13203/j.whugis2014335

DOI

[8]
熊艳, 高仁强, 徐战亚. 机载LiDAR点云数据降维与分类的随机森林方法[J]. 测绘学报, 2018, 47(4):508-518.

[ Xiong Y, Gao R Q, Xu Z Y. Random forest method for dimension reduction and point cloud classification based on airborne LiDAR[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(4):508-518. ] DOI: 10.11947/j.AGCS.2018.20170417

DOI

[9]
杨书娟, 张珂殊, 邵永社. 基于多尺度自适应特征的机载 LiDAR点云分类[J]. 光学学报, 2019, 39(2):0228001.

[ Yang S J, Zhang K S, Shao Y S. Classification of airborne LiDAR point cloud data based on multiscale adaptive features[J]. Acta Optica Sinica, 2019, 39(2):0228001. ] DOI: 10.3788/AOS201939.0228001

DOI

[10]
董震, 杨必胜. 车载激光扫描数据中多类目标的层次化提取方法[J]. 测绘学报, 2015, 44(9):980-987.

[ Dong Z, Yang B S. Hierarchical extraction of multiple objects from mobile laser scanning data[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(9):980-987. ] DOI: 10.11947/j.AGCS.2015.20140339

DOI

[11]
Ramiya A M, Nidamanuri R R, Ramakrishnan K. A supervoxel-based spectro-spatial approach for 3D urban point cloud labelling[J]. International Journal of Remote Sensing, 2016, 37(17):4172-4200. DOI: 10.1080/01431161.2016.1211348

DOI

[12]
Kang Z Z, Yang J T, Zhong R F, et al. Voxel-based extraction and classification of 3-D pole-like objects from mobile LiDAR point cloud data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(11):4287-4298. DOI: 10.1109/JSTARS.2018.2869801.

DOI

[13]
Zhang J X, Duan M Y, Yan Q, et al. Automatic vehicle extraction from airborne LiDAR data using an object-based point cloud analysis method[J]. Remote Sensing, 2014, 6(9):8405-8423. DOI: 10.3390/rs6098405

DOI

[14]
Vosselman G, Coenen M, Rottensteiner F. Contextual segment-based classification of airborne laser scanner data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 128:354-371. DOI: 10.1016/j.isprsjprs.2017.03.010

DOI

[15]
Ni H, Lin X G, Zhang J X. Classification of ALS point cloud with improved point cloud segmentation and random forests[J]. Remote Sensing, 2017, 9(3):288. DOI: 10.3390/rs9030288.

DOI

[16]
Xu S, Vosselman G, Oude Elberink S. Multiple-entity based classification of airborne laser scanning data in urban areas[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 88:1-15. DOI: 10.1016/j.isprsjprs.2013.11.008

DOI

[17]
Zhang Z X, Zhang L Q, Tong X H, et al. A multilevel point-cluster-based discriminative feature for ALS point cloud classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(6):3309-3321. DOI: 10.1109/TGRS.2016.2514508

DOI

[18]
Tong, Li, Zhang, et al. Point set multi-level aggregation feature extraction based on multi-scale max pooling and LDA for point cloud classification[J]. Remote Sensing, 2019, 11(23):2846. DOI: 10.3390/rs11232846

DOI

[19]
Weinmann M, Jutzi B, Mallet C. Semantic 3D scene interpretation: A framework combining optimal neighborhood size selection with relevant features[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, II-3:181-188. DOI: 10.5194/isprsannals-II-3-181-2014

DOI

[20]
Weinmann M, Jutzi B, Hinz S, et al. Semantic point cloud interpretation based on optimal neighborhoods, relevant features and efficient classifiers[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 105:286-304. DOI: 10.1016/j.isprsjprs.2015.01.016

DOI

[21]
汪文琪, 李宗春, 付永健, 等. 基于改进多规则区域生长的点云多要素分割[J]. 光学学报, 2021, 41(5):198-212.

[ Wang W Q, Li Z C, Fu Y J, et al. Multi-factor segmentation of point cloud based on improved multi-rule region growing[J]. Acta Optica Sinica, 2021, 41(5):198-212. ] DOI: 10.3788/AOS202141.0528001.

DOI

[22]
Wang J J, Yang J C, Yu K, et al. Locality-constrained Linear Coding for image classification[C]// 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 2010:3360-3367. DOI: 10.1109/CVPR.2010.5540018.

DOI

[23]
Foulds J, Boyles L, DuBois C, et al. Stochastic collapsed variational Bayesian inference for latent Dirichlet allocation[C]// KDD '13: Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. 2013:446-454. DOI: 10.1145/2487575.2487697

DOI

[24]
姚登举, 杨静, 詹晓娟. 基于随机森林的特征选择算法[J]. 吉林大学学报(工学版), 2014, 44(1):137-141.

[ Yao D J, Yang J, Zhan X J. Feature selection algorithm based on random forest[J]. Journal of Jilin University (Engineering and Technology Edition), 2014, 44(1):137-141. ] DOI: 10.13229/j.cnki.jdxbgxb201401024

DOI

[25]
Roynard X, Deschaud J E, Goulette F. Paris-Lille-3D: A large and high-quality ground-truth urban point cloud dataset for automatic segmentation and classification[J]. The International Journal of Robotics Research, 2018, 37(6):545-557. DOI: 10.1177/0278364918767506

DOI

Options
文章导航

/

〈 〉