EN中文

地球信息科学学报 >

2024 , Vol. 26 >Issue 5: 1180 - 1192

DOI: https://doi.org/10.12082/dqxxkx.2024.230653

地球信息科学理论与方法

线面特征约束的跨源点云配准方法

  • 李华蓉 , 1, * ,
  • 毛宏宇 1 ,
  • 赵一 1 ,
  • 毕艾琳 1 ,
  • 陈团 1 ,
  • 辛伟 1 ,
  • 钟涛 2
展开
  • 1.重庆交通大学智慧城市学院，重庆 400074
  • 2.广州南方测绘科技股份有限公司重庆分公司，重庆 400021

李华蓉(1980—)，女，重庆人，博士，副教授，主要从事点云配准、地图学和地理信息系统研究。E-mail:

收稿日期: 2023-11-03

  修回日期: 2024-02-04

  网络出版日期: 2024-05-21

基金资助

重庆市研究生联合培养基地建设项目(JDLHPYJD2020005)

重庆市自然科学基金面上项目(CSTB2023NSCQ-MSX0880)

重庆市自然科学基金面上项目(CSTB2022NSCQ-MSX1625)

重庆市教育委员会科学技术研究项目(KJQN202100734)

收起

Cross-source Point Cloud Registration Method Based on Line-Planar Feature Constraints

  • LI Huarong , 1, * ,
  • MAO Hongyu 1 ,
  • ZHAO Yi 1 ,
  • BI Ailin 1 ,
  • CHEN Tuan 1 ,
  • XIN Wei 1 ,
  • ZHONG Tao 2
Expand
  • 1. School of Smart City, Chongqing Jiaotong University, Chongqing 400074, China
  • 2. Chongqing Branch of South Surveying & Mapping Technology Co., Ltd., Chongqing 400021, China
*LI Huarong, E-mail:

Received date: 2023-11-03

  Revised date: 2024-02-04

  Online published: 2024-05-21

Supported by

Graduate Joint Training Base Construction Project of Chongqing(JDLHPYJD2020005)

Natural Science Foundation's general project of Chongqing(CSTB2023NSCQ-MSX0880)

Natural Science Foundation's general project of Chongqing(CSTB2022NSCQ-MSX1625)

Science and Technology Research Project of Chongqing Education Commission(KJQN202100734)

Fold

摘要

随着三维传感器和三维重建技术的发展，跨源点云的配准融合成为了一个研究热点。传统的配准方法使用单一特征作为配准基元，会存在空间几何约束弱的问题。为了高精度融合跨源点云数据，充分表达场景中的立面信息，本文提出一种基于线面特征约束的跨源点云配准方法。通过RANSAC算法提取跨源点云中的同名线、面特征；利用四元数法描述空间变换参数，将线特征作为配准的约束条件，构建空间变换目标函数，估算变换相关参数完成粗配准，解决尺度差异性；在粗配准的基础上将面特征作为约束条件，求解旋转矩阵和平移参数完成精配准。以面特征代替点特征作为配准基元能避免从海量的点云数据中选取公共点，减少由人为选择的偶然误差，避免了误差的积累，进一步提高配准精度。最终使用影像匹配点云与激光雷达点云数据进行实验，结果为：在小区域单建筑、多建筑和大区域建筑群中RMSE值分别为0.364 7、0.032 0和0.614 6，且同名面之间的夹角最大不超过1.5°，最小不到0.1°，夹角角度均值在1°范围内。结果表明本文方法对具有尺度差异的跨源点云具有较好的配准效果。

关键词： 点云配准; 跨源点云; 线面特征约束; 激光点云; 影像匹配点云; 尺度因子; 平移参数; 旋转矩阵

本文引用格式

李华蓉 , 毛宏宇 , 赵一 , 毕艾琳 , 陈团 , 辛伟 , 钟涛 . 线面特征约束的跨源点云配准方法[J]. 地球信息科学学报, 2024 , 26(5) : 1180 -1192 . DOI: 10.12082/dqxxkx.2024.230653

Abstract

With the development of 3D sensors and 3D reconstruction techniques, the registration and fusion of cross-source point clouds have become a research hotspot. However, traditional registration methods use a single feature as the registration primitive, which leads to problems such as weak spatial geometric constraints. Combining multiple structural features with joint constraints can improve the registration accuracy to a certain extent. In order to fuse cross-source point cloud data with high accuracy and fully express the façade information in the scene, this paper proposes a cross-source point cloud registration method based on the constraints of line and surface features. Firstly, the homonymous line and plane features in the cross-source point cloud are extracted by RANSAC algorithm, which are mainly used to constrain the point cloud model in registration. Then the quaternion method is used to describe the spatial transformation parameters based on the line and surface features. The rotation and transformation in arbitrary 3D space can be realized at a faster calculation speed compared with other representations while also avoiding the gimbal lock phenomenon. The line features are used as the constraints of registration, the spatial transformation objective function is constructed, and the parameters related to the transformation are estimated to complete a coarse registration and solve the scale variability. Based on the coarse registration, the surface features are further used as the constraints to solve the rotation matrix and translation parameters to achieve a fine registration. The use of surface features instead of point features as the registration primitives can avoid the selection of common points from massive point cloud data, reducing the accidental errors selected by human selection, avoiding the accumulation of errors, and further improving the registration accuracy. Finally, experiments are conducted using the image-matched point clouds and LiDAR point cloud data for a small area and a large area to study the feasibility of this paper's method in different scales. Results show that the RMSE values for the small-area single building, multiple buildings, and large-area building clusters are 0.364 7, 0.032, and 0.614 6, respectively. The maximum angle between the homonymous surfaces does not exceed 1.5°, the minimum is less than 0.1°, and the mean value of the angle is within the range of 1°. The coarse registration based on line feature constraints can solve the scaling problem well in different scenarios, and the fine registration based on surface feature constraints can further improve the accuracy of the rotation matrix and translation parameters. These results indicate that the cross-source point cloud registration method based on line and surface feature constraints is feasible at different scales.

Key words： point cloud registration; cross-source point cloud; line-planar feature constraints; laser point cloud; image matching point cloud; scale factor; translation parameter; rotation matrix

1 引言

在信息化时代，数字三维信息的需求突飞猛进，推动了三维激光扫描技术[1]、近景摄影测量技术[2]、计算机视觉技术[3]等的飞速发展，点云数据逐渐成为一种重要的三维空间信息表达方式[4]。三维激光雷达（LiDAR）点云数据包含三维坐标信息（X，Y，Z），反射强度信息、回波次数信息等；但是，激光点云数据通常只在物体表面产生离散的点云，由于场景中三维物体的遮挡等问题，导致点云数据无法表示连续的三维形状，对于形成的空洞[5]需要额外的数据或算法来补充，而且，单纯的激光点云数据不包含颜色和纹理等信息。影像匹配点云数据[6]（或摄影测量点云[7]）包含丰富的纹理细节、光谱信息、边缘特征，可以在最大程度上直观还原真实场景[8]。但受制于影像采集的质量和拍摄气候环境，影像匹配点云的精度往往不如激光雷达点云，且噪声水平相对较高[9]。由此可见，来自不同平台的点云都具有其独特的优势和限制，跨源点云数据的融合可以优势互补，解决单一数据存在的数据空洞、信息缺乏等问题，减少场景噪声，提高点密度和精度，实现大范围场景完整、精细的数字现实描述[10-11]。但是，不同平台搭载不同类型的传感器采集的数据，因为参考坐标系差异、数据误差不一致，以及部分数据位置信息的丢失等因素都会造成影像和激光扫描点位置的变化，尤其在近景测量领域中，因为缺乏精度高的定姿仪器，容易产生位置偏移和尺度变化问题，因此，跨源点云数据配准是融合所必须要解决的关键问题[9]。
点云匹配实质上是一个变换估计问题，同源点云中常用基于优化的方法和深度学习的方法。但是，和同源点云配准相比较，跨源点云配准面临更大的挑战[12]，其需要克服噪声、离群点、密度差异、数据空洞和尺度差异等问题[13-14]。近几年，许多学者针对这些问题开展了研究。最典型的策略是采用粗配准+精配准的方法，比如Peng等[13]通过形状描述符确定候选区域，实现两种点云的粗配准，然后采用迭代最近点（Iterative Closest Point，ICP）算法[15⇓-17]进行精配准。Huang等[14,17]通过特征点实现粗配准，再采用高斯混合模型（Gaussian Mixture Model, GMM）进行精配准，但该方法没有解决跨源点云密度差异和尺度差异的问题。张琮毅等[18]针对快速点特征直方图（FPFH）和带颜色的方向直方图签名（CSHOT）这2种局部特征描述子，提出了尺度具有差异的点云特征描述，实现了尺度可变且具有抗噪能力的快速全局点云配准方法。Huang等[19]提出的特征指标配准（Feature-metric Registration，FMR）方法结合优化和深度学习，通过最小化全局特征差来估计变换参数，展示了深度学习方法对跨源点云配准的性能，但其泛化性还有待验证。郑敏辉等[20]基于建筑物的点线特征计算初始变换矩阵，进行粗配准。接着在局部闭合环内进行平差，利用误差传播定律分配点云配准累积误差，从而实现两类点云的精确配准。危双丰[4]利用边缘估算和α-shape算法分别提取了影像匹配点云和激光点云中的屋檐轮廓，实现2种轮廓点云的粗配准，然后采用ICP算法完成精配准，提高了配准精度，但是配准迭代次数较多。汪千金等[21]对不同密度的点云数据采用不同的采样方法，减小由尺度与密度差异对跨源配准带来的干扰，提高了配准精度。范怡萍等[22]采用人工蜂群算法同时求解尺度因子、旋转和平移参数，提高了配准算法的全局优化能力。武鹏等[23]采用人机交互的方式选择并分割特征平面，利用平面拟合方法和罗德里格矩阵计算点云配准参数。该方法在一定程度上提高了建筑物密集区域点云数据配准速度。李绕波等[24]将线、面同时作为点云配准基元，利用对偶四元素描述空间变换的同时考虑尺度因子，完成了不同坐标系中点云数据的高精度配准。
综上所述，跨源点云配准大多集中于特征匹配（尤其是结构特征为配准基元）的方法[25]。根据配准基元的不同，又可分为基于同名特征点、线、面的点云配准方法。随着众多文献研究的深入，许多学者发现使用单一特征作为配准基元，存在空间几何约束弱的问题[24]，结合多种结构特征共同约束能在一定程度上提高配准精度，因此，本文提出了一种线和平面特征约束下的跨源点云配准方法，在解决尺度问题的同时，提高跨源点云匹配的精度。

2 跨源点云配准方法描述

2.1 跨源点云配准问题定义

设源点云集 P = p i ∈ R 3   i = 1 N和目标点云集 Q = q j ∈ R 3   j = 1 M，其中pi、qj分别为两点云集中的对应点；N，M分别表示点云集中的点数。源点云和目标点云之间应满足的几何关系：
q j = s · R · p i + t
式中： pi、qj分别为两点云集中的对应点； s为尺度因子； R为正交旋转矩阵； t为平移向量。点云配准就是恢复2个点云集之间的对应关系和估算可以对齐相应点云对的最佳变换，其可以表示为一个优化问题：
A r g   m i n ∑ q j - s · R · p i + t 2
配准问题的关键是寻找最佳的变换 s * , R * , t *使源点云和目标点云中的点尽可能的重合。在这个过程中，需解决不同传感器采集数据时数据有不同位置的点云缺失、密度差异大和尺度差异大等问题，这些问题往往会导致点云中缺失重要的同名特征、影响配准精度和增加配准难度等。
本文基于RANSAC（Random Sample Consensus）算法从点云数据中提取线特征和面特征，随后采用线特征约束估算尺度因子和相似变换的基本算子，实现粗配准，在此基础上利用面特征约束进一步求解R和t，实现精配准，其技术流程如图1所示。
图1 线面特征约束的跨源点云配准技术流程

Fig. 1 Flowchart of cross-source point cloud registration based on line-planar feature constraints

2.2 基于线特征约束的粗配准

设线段ab和AB分别为不同来源点云中的同名线，但端点并没有一一对应，基于配准原理和共线方程，2条线段存在以下关系：
X t Y t Z t + s R X a Y a Z a = X A Y A Z A + λ 1 X B - X A Y B - Y A Z B - Z A
X t Y t Z t + s R X b Y b Z b = X A Y A Z A + λ 2 X B - X A Y B - Y A Z B - Z A
式中： X t , Y t , Z t T表示源点云与目标点云之间的平移参数； X a , Y a , Z a T、 X b , Y b , Z b T、 X A , Y A , Z A T、 X B , Y B , Z B T为同名点坐标；R表示旋转矩阵；s表示尺度因子；λ1、λ2为引入的未知参数，不同的λ1、λ2对应着AB线上一系列的同名点。对式(3)、式（4）求差可得：
X B - X A Y B - Y A Z B - Z A = μ · R · X a - X b Y a - Y b Z a - Z b
式中： μ表示尺度因子s与(λ1-λ2)的比值。
根据跨源点云配准的原理，要求同名线间的刚体变换达到最优解。
设 Q = X B - X A Y B - Y A Z B - Z A， P = X a - X b Y a - Y b Z a - Z b，则有：
f m i n = ∑ i = 1 n Q i - μ · R · P i 2 2
式中：Qi和Pi分别表示不同点云中线段两端点坐标的差值。
为了求解旋转矩阵R，将其用四元数法表示。在四元数表示法中，假设任一向量绕旋转轴M(a,b,c)旋转角度为θ，相应的单位四元数可以表示为：
q = q 0 q 1         q 2 q 3 T
式中： q 0 = c o s θ / 2； q 1 = a s i n θ / 2； q 2 = b s i n θ / 2； q 3 = c s i n θ / 2。
则旋转矩阵R可表示为：
R = q 0 2 + q 1 2 - q 2 2 - q 3 2       2 ( q 1 q 2 - q 0 q 3 )     2 ( q 1 q 3 - q 0 q 2 ) 2 ( q 1 q 2 + q 0 q 3 )       q 0 2 - q 1 2 + q 2 2 - q 3 2     2 ( q 2 q 3 - q 0 q 1 ) 2 ( q 1 q 3 - q 0 q 2 ) 2 ( q 2 q 3 + q 0 q 1 )         q 0 2 - q 1 2 - q 2 2 + q 3 2
将最优函数（式（6））线性展开，当 ∑ i = 1 n Q i · R P i达到最大时，目标函数可达到最小值。将其用四元数法表示如下：
∑ i = 1 n Q i · R P i = ∑ i = 1 n q P i · Q i q                                         = ∑ i = 1 n q T P - i T Q i q = q T ∑ i = 1 n P - i T Q i q
其中， P - i（反对称矩阵）和Qi分别为：
P - i = 0     - ∆ x b a   - ∆ y b a   - ∆ z b a ∆ x b a   0   - ∆ z b a   ∆ y b a ∆ y b a   ∆ z b a 0   - ∆ x b a ∆ z b a   - ∆ y b a ∆ x b a   0
Q i = 0     - ∆ x B A   - ∆ y B A   - ∆ z B A ∆ x B A   0   - ∆ z B A   ∆ y B A ∆ y B A   ∆ z B A 0   - ∆ x B A ∆ z B A   - ∆ y B A ∆ x B A   0
根据单位四元数的性质和矩阵运算可知，求得矩阵 ∑ i = 1 n P - i T Q i的最大特征值， ∑ i = 1 n Q i · R P i即可达到最大，相应的最大特征值对应的特征向量即为旋转矩阵的四元数表示。
在完成旋转矩阵的求解以后,还需求解点云配准过程中的平移向量和尺度因子。令 x 1 , y 1 , z 1 T = R X a , Y a , Z a T 和 x 2 , y 2 , z 2 T = R X b , Y b , Z b T，分别代入式（3）和式（4），然后分别在2个等式中将第1行和第2行分别除于第3行，最终结合方程组可得：
  X t + s x 1 - X A Z t + s z 1 - Z A = X t + s x 2 - X A Z t + s z 2 - Z A Y t + s y 1 - Y A Z t + s z 1 - Z A = Y t + s y 2 - Y A Z t + s z 2 - Z A
分析该公式可知，其包含平移参数Xt,Yt,Zt和尺度因子s 4个待求未知数，则至少需要2对同名线段才能求解，当多余2对同名线段时采用最小二乘法求解。
为了验证基于公共特征线的点云配准方法的可行性，利用某建筑物激光雷达点云数据与影像匹配点云数据进行点云配准验证实验，线面特征丰富，如图2（a）和图2（b）。采用人机交互结合RANSAC算法的方式，从点云数据中提取了4对同名线段line1、line2、line3和line4，如图2（c）。4对线特征通过2个端点坐标进行标识，具体数据如表1所示。基于表中的数据，分别采用line1、line2两对同名线；采用lin1—line4 共4对同名线计算变换参数，结果如表2所示，点云配准的结果如图3所示。
图2 点云数据和同名线特征

Fig. 2 Point cloud data and homonymous line feature

表1 同名线的端点数据

Tab. 1 Endpoint data of homonymous lines

直线
编号		 源点云 目标点云
起点（x,y,z） 终点（x,y,z） 起点（x,y,z） 终点（x,y,z）
Line1 233.725, 161.147, 364.894 236.280, 170.515, 363.945 627 279.370, 3 257 184.816, 370.310 627 267.899, 3 257 204.164, 370.285
Line2 233.725, 161.147, 364.894 233.444, 160.970, 359.965 627 279.370, 3 257 184.816, 370.310 627 279.070, 3 257 185.216, 357.298
Line3 262.091, 166.310, 362.490 263.862, 172.814, 361.830 627 316.904, 3 257 239.645, 370.275 627 308.376, 3 257 254.924, 370.256
Line4 262.091, 166.310, 362.490 261.740, 165.892, 357.700 627 316.904, 3 257 239.645, 370.275 627 316.649, 3 257 241.406, 357.414
表2 配准变换计算结果

Tab. 2 Registration transformation calculation result

方案 旋转矩阵R 平移参数Xt, Yt, Zt 尺度因子s
line1、line4两对同名线     1.636 - 1.657     0.089 1.654     1.618 - 0.273 0.132     0.255     2.313   (627 131.580, 3 256 636.70, -545.760) 2.313
lin1—line4四对同名线     1.631 - 1.672     0.093 1.668     1.610 - 0.298 0.149     0.274     2.316   (627 133.967, 3 256 643.900, -554.841) 2.316
图3 点云配准结果

Fig. 3 Point cloud registration results

分析变换参数，旋转矩阵中2种方案求解的参数最大差值为0.025，尺度因子的差值为0.003，而平移参数的变化较大，其差值分别为-2.387、-7.2、9.081。可以看出，旋转矩阵和尺度因子对于同名线的数量并不敏感，但平移参数受同名线参数的影响较大。从配准结果图3中的蓝色方框处也可以看出，不同数量的同名线进行配准，所得配准结果有明显的差异，其中图3（b）配准结果较好。因此，要提高相关参数的解算精度应尽量选取多的同名线。但是，也应注意到随着同名线数量的增加，解算精度有所提高但解算的复杂度和花费的时间也将急剧增加。为了兼顾精度和效率，本文提出了将基于线特征的配准作为粗配准，在此基础上，利用面特征的约束解算旋转矩阵和平移参数，进一步提高这2个变换参数的精度，从而实现跨源点云的精配准。

2.3 基于面特征约束的精配准

假设平面 P ( a x + b y + c z + d = 0 )在坐标系O1-X1Y1Z1中可以表示为(a1, b1, c1, d1)，在另一坐标系O2-X2Y2Z2可以表示为(a2, b2, c2, d2)。则基于平面的坐标转换模型为：
a 2 b 2 c 2 d 2 = r 11 r 12 r 13 0 r 21 r 22 r 23 0 r 31 r 32 r 33 0 t 1 t 2 t 3 s   a 1 b 1 c 1 d 1
式中： rij为旋转矩阵中的元素；(t1, t2, t3)为平移向量；s为尺度因子。
其中平面方程的参数采用人机交互结合RANSAC算法的方式，从点云数据中获取。
考虑到在上一节的粗配准中，本文通过实验，将图3中的点云通过CloudCompare软件进行ICP算法精配准，得到的尺度因子为0.999，且通过观察，两点云已完全重合。说明在粗配准过程中已较好的解决两点云的尺度差异性。因此在本节中，假设尺度因子s=1，则上式利用矩阵分块可表示为：
n 2 d 2 = R 0 t 1   n 1 d 1
展开得：
n 2 = R n 1
d 2 = t n 1 + d 1
旋转矩阵R可采用类似于上一节中的四元数法表示，其仅由平面的法向量确定。由于向量可等效于坐标系中的一个点，可采用点转换方式求取旋转矩阵，因此3个平面唯一确定旋转矩阵R。若平面个数多于3个，则需经最优化算法得到，具体步骤参见文献[26]。平移向量 t采用平差理论方式进行求取，至少需要3对公共平面。而由式（13）可知，旋转发生在平移以后，这使得与基于公共点的坐标转换模型恰好相反，因此还需对使用平差理论方式求取所得的平移向量t'进行变换，以得到最终可用于配准工作中的平移向量t=-Rt'。
需要注意：3个平面之间需要满足以下关系： ① 3个平面不能共线，即它们不能在同一条直线上。否则，将无法唯一地确定它们之间的相对位置和方向； ② 3个平面中至少有2对平面之间需要存在一个非零夹角。若3对平面的法线方向都共面或平行，则它们之间的相对位置和方向也不能被唯一地确定。

3 实验及结果分析

为了验证跨源点云配准方法的有效性，本实验以AMD Ryzen 5 5600 CPU，16G内存的计算机为实验平台，利用Visual Studio 2020和PCL(Point Cloud Library)第三方点云库进行实验。

3.1 实验数据说明

实验数据是采用六旋翼无人机（型号KWT-X6L-L15）搭载Sony数码相机（ILCE-Alpha 7R IV）和激光雷达传感器（RIEGL VUX-1LR）对重庆交通大学科学城校区进行采集，利用ContexCapture软件进行一系列处理得到的影像匹配点云数据如图4（a）和激光雷达点云数据如图4（b）。为了验证基于线面特征约束的跨源点云配准方法的适用性和鲁棒性，设置3个不同的场景：① 小区域单个建筑物（校园图书馆）； ② 小区域多个建筑（某城乡结合部提取的小块区域）； ③ 大区域多建筑群（整个校园区域）。
图4 跨源点云实验数据

Fig. 4 Cross-source point cloud experimental data

3.2 小区域单个建筑物的配准

该场景中主体建筑为校园图书馆，另外还包括周围的道路以及绿化设施，如图5所示。其中激光雷达点云数据包含3 446 175个点，影像匹配点云数据包含126 472 367个点。考虑到激光雷达点云具有真实的地理坐标(CGCS2000坐标系)，即具有真实的地理尺度，因此以图书馆的影像匹配点云为源点云，激光雷达点云为目标点云。采用图1的技术流程对数据进行处理。首先采用人机交互结合RANSAC算法的方式，从2类点云数据中提取到2组同名线状特征；根据数据（图6）计算初配准的变换参数旋转矩阵、平移参数和尺度因子，并进行粗配准，结果如图7所示。由图可以看出，基于线特征约束的粗配准大致对齐了两类点云，解决了尺度差异，但平移精度明显不够。
图5 小区域单个建筑物的实验数据

Fig. 5 Experimental data for individual buildings in small area

图6 同名线配准数据

Fig. 6 Homonymous line registration data

图7 粗配准的变换参数和配准结果

Fig. 7 Transformation parameters and registration results of coarse registration

在粗配准结果的基础上，再次利用人机交互结合RANSAC算法的方式，从2类点云数据中提取到5组同名面状特征，将其中3组同名面作为精配准的配准单元，估算精配准参数。另外2组用于评价精配准结果。精配准变换参数和配准结果如图8所示。
图8 精配准的变换参数和配准结果

Fig. 8 Transformation parameters and registration results of fine registration

3.3 小区域多建筑的配准

该场景是从某城乡结合部中提取的包含多个建筑的小区域，主要包括了若干砖房、道路及耕地，点云数据如图9所示。经处理后的激光雷达点云数据包含288 925个点，影像匹配点云数据包含1 432 351个点。
图9 小区域多建筑群的实验数据

Fig. 9 Experimental data for small-area multi-building complexes

通过4对线特征根据上一小节方法流程对该片区域进行粗配准，同名线配准数据如表3所示，粗配准变换参数和配准结果如图10所示。
表3 小区域的同名线配准数据

Tab. 3 Registration data of the same name line in a small area

同名线 影像匹配点云配准数据
起点(x, y, z) 终点(x, y, z)
Line1 -4 529 044.6, 4 497 491.21, -6 191 176.73 -4 529 051.27, 4 497 483.92, -6 191 163.17
Line2 -4 529 037.5, 4 497 498.57, -6 191 157.18 -4 529 040.35, 4 497 495.59, -6 191 151.51
Line3 -4 529 031.2, 4 497 504.86, -6 191 179.25 -4 529 033.5, 4 497 502.22, -6191 173.17
Line4 -4 529 026.88, 4 497 508.36, -6 191 182.75 -4 529 032.75, 4 497 502.68, -6 191 187.53
同名线 激光雷达点云配准数据
起点(x, y, z) 终点(x, y, z)
Line1 388 012.657 013, 3 985 690.226, 195.916 000 366 388 029.941 986, 3985 692.622, 195.940 002 441
Line2 388 019.675 995, 3 985 711.128, 196.697 998 047 38 802 740 009, 398 571.02.112, 196.860 992 432
Line3 387 997.558 014, 3 985 702.315, 195.942 993 164 388 004.470 001, 3 985 703.869, 196.001 007 08
Line4 387 991.080 994, 3 985 703.807, 195.268 005 371 387 993.729 004, 3 985 694.47, 195.238 998 413
图10 粗配准结果

Fig. 10 Coarse alignment results

在粗配准结果的基础上，同样通过RANSAC算法从两类点云数据中提取5组同名面状特征，将其中3组同名面作为精配准的配准单元，估算精配准参数。另外2组用于评价精配准结果。精配准变换参数和配准结果如图11所示。
图11 精配准结果

Fig. 11 Precise matching of results

3.4 大区域多建筑群的配准

该场景覆盖范围主要为整个校园区域内，包括教学楼、宿舍楼、道路、湖泊以及各种绿化设施等。其中激光雷达点云数据经预处理后包含 152 520 844个点，影像匹配点云数据经预处理后包含154 794 225个点。考虑到大区域内同名线、面特征较多，因此提取出4组同名线特征进行粗配准，6组面特征进行精配准，结果如表4所示。
表4 大区域多建筑群的配准结果

Tab. 4 Registration results of multiple building groups in large area

配准过程 变换参数 配准结果
旋转矩阵 平移参数 尺度因子
粗配准     31.572     - 40.537         - 0.724     40.535           32.579         - 0.467         0.818         - 0.271           51.999   627 406.300
3 257 184.000
536.443		 52.006
精配准     1.000             - 0.021             0.000 0.021                   1.000       - 0.003 0.000                   0.003             1.000       4.770
0.718
-0.472		 1

3.5 结果分析

为了验证本文提出的算法在不同场景中的性能，采用均方根误差（Root Mean Square Error，RMSE）、配准后平面间二面角θ以及中心点到平面的距离 d i s t a n c e _ c e n t e r p i / q i作为配准效果的精度评价指标。RMSE是指配准后影像匹配点云与激光雷达点云之间最近邻点间欧式距离的均方根误差，计算公式如下：
R M S E = ∑ i = 1 n p i - q i 2 n
式中： n表示成功配准的点对总数； pi、qi表示一组匹配点对。RMSE值表征了所有对应点之间的平均距离大小，RMSE值越小，表明配准精度越高。
平面间二面角θ是指配准后的影像匹配点云和激光雷达点云中同名面之间的夹角，计算公式如下：
θ = a r c c o s n 1 n 2 n 1 n 2
式中：n1、n2表示同名面的法向量。角度θ越小，同名面特征之间更加贴合，配准精度更高。
中心点到平面的距离是指平面pi的中心点到成功配准的同名平面qi的距离。距离越小，表明配准精度越高。计算公式如下：
d i s t a n c e _ c e n t e r p i / q i = a x i + b y i + c z i + d a 2 + b 2 + c 2
式中： (xi, yi, zi)为平面pi的中心点坐标； (a, b, c, d)为同名面qi的平面参数。
为了验证本方法的可行性，与文献[12]和文献[17]中的方法进行对比分析，表5显示了不同算法在不同场景中计算的RMSE，其中本文方法的配准精度均高于另外2种方法。文献[17]是对经典ICP算法的扩展，其基于点特征实现跨源点云的配准，且受点云密度的影响较大；文献[12]采用基于角度约束的方法实现跨源点云配准，实际上是一种点线特征相结合的方法，所以文献[12]的精度要优于文献[17]，但和本文提出的线面特征约束相比较，其几何约束性偏弱，因此本文提出的算法配准精度要略高于文献[12]，尤其是在约束线面较多的情况下改进效果明显。
表5 各算法在不同场景中下计算的RMSE

Tab. 5 RMSE calculated by each algorithm in different scenarios

场景 文献[12] 文献[17] 本文方法
小区域单建筑 0.368 5 0.517 3 0.364 7
小区域多建筑 0.127 5 0.313 5 0.032 0
大区域建筑群 0.702 6 0.879 1 0.614 6
为了定量描述不同尺度跨源点云的配准精度，统计了配准后多组同名面（小区域单建筑2组，小区域多建筑3组，大区域建筑群3组，且未参与变换参数解算）之间的夹角和中心点到平面的距离（表6）。
表6 面与面的夹角及中心点到平面的距离

Tab. 6 The angle between planes and the distance between the center point and the plane

场景 二面角θ
/(°)		 d i s t a n c e _ c e n t e r ( p i ) / ( q i ) d i s t a n c e _ c e n t e r
小区域单建筑 0.557 8 0.117 0.109
1.371 6 0.012 0.004
小区域多建筑 1.564 1 0.216 0.216
0.381 2 0.177 0.169
1.723 1 0.089 0.090
大区域建筑群 0.092 8 0.649 0.644
0.416 4 0.613 0.604
0.363 7 0.462 0.460
从表6可以看出，在大区域中同名面之间的夹角整体小于小区域，而中心点到平面的距离整体大于小区域，造成以上结果的原因是因为2个区域在配准过程中所取同名线、同名面的数量及均匀程度不同，使得大区域在配准中旋转精度较高，而平移精度较低。因此在对点云数据进行配准时，应尽量提取一定数量的同名特征，且分布均匀，以提高整体配准精度。总体来看，2个区域中同名面之间的夹角最大值不超过1.5°，最小值不到0.1°，夹角均值在1°范围内，说明本文方法配准跨源点云是可行的。

4 结论与展望

4.1 结论

相对于单一的点、线和面特征，线面特征约束的点云配准强化了几何约束性，因此本文提出了一种线面特征约束下的跨源点云配准方法。通过RANSAC算法提取出同名线和面特征，通过线特征约束估算变换来完成粗配准，解决尺度差异性。为了兼顾计算效率和精度，本文在粗配准的基础上根据面特征求解旋转矩阵和平移参数完成精配准。从RMSE值来看，在不同的场景下，本文方法对比文献[12]和文献[17]精度分别高了15.6%和40.8%。并且同名面夹角和中心点到平面的距离均符合精度要求。
综上所述，对于不同场景，基于线特征约束的粗配准能够很好地解决尺度问题，基于面特征约束的精配准进一步提升了旋转矩阵和平移参数的求解精度，说明基于线面特征约束的跨源点云配准方法是可行的。

4.2 展望

本文算法在不同尺度的跨源点云数据上的配准精度优于一些传统的算法，但仍存在些许不足。本文在精配准中没有考虑尺度的差异性，而且本方法主要依赖于线面特征的提取，如果实际场景中包含较少的线面特征，该方法将受到一定的限制。因此在后续研究中将考虑增加点特征的约束，并在精配准中考虑尺度差异性，采用对偶四元数来求解空间变换参数，最后使用多组不同场景下的跨源点云数据进行实验验证，并采用多个评价指标对不同算法进行对比分析，以提高算法的配准精度和保证算法的鲁棒性。
本文图文责任编辑：蒋树芳

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
李晓斌, 林志军, 杨玺, 等. 基于激光扫描和倾斜摄影技术的三维实景融合建模研究[J]. 激光杂志, 2021, 42(8):166-170.

[Li X B, Lin Z J, Yang X, et al. Research on 3D real scene fusion modeling based on laser scanning and oblique photography[J]. Laser Journal, 2021, 42(8):166-170.] DOI:10.14016/j.cnki.jgzz.2021.8.166

[2]
张祖勋, 陶鹏杰. 谈大数据时代的“云控制”摄影测量[J]. 测绘学报, 2017, 46(10):1238-1248.

DOI

[Zhang Z X, Tao P J. An overview on "cloud control" photogrammetry in big data era[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10):1238-1248.] DOI:10.11947/j.AGCS.2017.20170337

[3]
Özbay E, Çinar A. A voxelize structured refinement method for registration of point clouds from Kinect sensors[J]. Engineering Science and Technology, an International Journal, 2019, 22(2):555-568. DOI:10.1016/j.jestch.2018.09.012

[4]
危双丰, 汤念, 黄帅, 等. 基于建筑物轮廓的地面激光点云与影像匹配点云配准研究[J]. 计算机应用研究, 2021, 38(8):2515-2520.

[Wei S F, Tang N, Huang S, et al. Research on registration of terrain laser scanning point cloud and image matching point cloud based on building footprint[J]. Application Research of Computers, 2021, 38(8):2515-2520.] DOI:10.19734/j.issn.1001-3695.2020.08.0393

[5]
王树臻. 古建筑三维点云配准及精细建模研究[D]. 济南: 山东建筑大学, 2021.

[Wang S Z. Research on 3D point cloud registration and fine modeling of ancient buildings[D]. Jinan: Shandong Jianzhu University, 2021.]

[6]
Mahphood A, Arefi H, Hosseininaveh A, et al. Dense multi-view image matching for dsm generation from satellite images[C]// ISPRS International GeoSpatial Conference 2019, Joint Conferences of 5th Sensors and Models in Photogrammetry and Remote Sensing (SMPR) and 3rd Geospatial Information Research (GI Research). ISPRS, 2019:709-715. DOI:10.5194/isprs-archives-XLII-4-W18-709-2019

[7]
Xie L F, Zhu Q, Hu H, et al. Hierarchical regularization of building boundaries in noisy aerial laser scanning and photogrammetric point clouds[J]. Remote Sensing, 2018, 10(12):1996. DOI:10.3390/rs10121996

[8]
汤念. 影像匹配点云与地面激光点云配准技术研究[D]. 北京: 北京建筑大学, 2021.

[Tang N. Research on the registration technology of image matching point cloud and terrain laser scanning point cloud[D]. Beijing: Beijing University of Civil Engineering and Architecture, 2021.]

[9]
俞路路. 光学影像与三维激光点云配准方法研究[D]. 淄博: 山东理工大学, 2020.

[Yu L L. Research on registration method of optical image and 3D laser point cloud[D]. Zibo: Shandong University of Technology, 2020.]

[10]
张靖, 江万寿. 激光点云与光学影像配准:现状与趋势[J]. 地球信息科学学报, 2017, 19(4):528-539.

DOI

[Zhang J, Jiang W S. Registration between laser scanning point cloud and optical images: status and trends[J]. Journal of Geo-information Science, 2017, 19(4):528-539.] DOI:10.3724/SP.J.1047.2017.00528

[11]
彭澍, 李明磊, 魏大洲, 等. 城市场景中的异源点云配准方法[J]. 激光杂志, 2023, 44(10):25-31.

[Peng S, Li M L, Wei D Z, et al. Registration method of heterogeneous point clouds in urban scene[J]. Laser Journal, 2023, 44(10):25-31.] DOI:10.14016/j.cnki.jgzz.2023.10.025

[12]
阎翔鑫, 蒋峥, 刘斌. 基于角度约束的跨源点云配准算法[J]. 激光与光电子学进展, 2023, 60(22):272-279.

[Yan X X, Jiang Z, Liu B. Cross-source point cloud registration algorithm based on angle constraint[J]. Laser & Optoelectronics Progress, 2023, 60(22):272-279.] DOI:10.3788/LOP230478

[13]
Peng F R, Wu Q, Fan L X, et al. Street view cross-sourced point cloud matching and registration[C]// 2014 IEEE International Conference on Image Processing(ICIP). IEEE, 2014:2026-2030. DOI:10.1109/ICIP.2014.7025406

[14]
Huang X S, Zhang J, Fan L X, et al. A systematic approach for cross-source point cloud registration by preserving macro and micro structures[J]. IEEE Transactions on Image Processing, 2017, 26(7):3261-3276. DOI: 10.1109/TIP.2017.2695888

PMID

[15]
Besl P J, McKay N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2):239-256. DOI:10.1109/34.121791

[16]
Lin B W, Tamaki T, Raytchev B, et al. Scale ratio ICP for 3D point clouds with different scales[C]// 2013 IEEE International Conference on Image Processing. IEEE, 2013:2217-2221. DOI:10.1109/ICIP.2013.6738457

[17]
Huang X S, Zhang J, Wu Q, et al. A coarse-to-fine algorithm for registration in 3D street-view cross-source point clouds[C]// 2016 International Conference on Digital Image Computing: Techniques and Applications(DICTA). IEEE, 2016:1-6. DOI:10.1109/DICTA.2016.7796986

[18]
张琮毅, 魏子庄, 徐昊文, 等. 尺度可变的快速全局点云配准方法[J]. 计算机学报, 2019, 42(9):1939-1952.

[Zhang C Y, Wei Z Z, Xu H W, et al. Scale variable fast global point clouds registration[J]. Chinese Journal of Computers, 2019, 42(9):1939-1952.] DOI:10.11897/SP.J.1016.2019.01939

[19]
Huang X S, Mei G F, Zhang J. Feature-metric registration: A fast semi-supervised approach for robust point cloud registration without correspondences[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). IEEE, 2020:11363-11371. DOI:10.1 109/CVPR42600.2020.01138

[20]
郑敏辉, 臧玉府, 梁福逊, 等. 不同场景的地面激光点云配准方法研究[J]. 测绘通报, 2015, 0(8):30-34.

DOI

[Zheng M H, Zang Y F, Liang F X, et al. Registration Method Research of Terrestrial Laser Point Clouds from Different Scenarios[J]. Bulletin of Surveying and Mapping, 2015, 0(8):30-34.] DOI:10.13474/j.cnki.11-2246.2015.0238

[21]
汪千金, 崔海华, 张益华, 等. 面向光学测量跨源点云的多尺度采样配准方法[J]. 光学学报, 2022, 42(10):139-148.

[Wang Q J, Cui H H, Zhang Y H, et al. Multi-scale sampling registration method for optical measurement of cross-source point clouds[J]. Acta Optica Sinica, 2022, 42(10):139-148.] DOI:10.3788/AOS202242.1015002

[22]
范怡萍, 葛宝臻, 陈雷. 基于人工蜂群优化的异尺度点云配准算法[J]. 激光与光电子学进展, 2023, 60(12):246-255.

[Fan Y P, Ge B Z, Chen L. Registration algorithm for differently scaled point clouds based on artificial bee colony optimization[J]. Laser & Optoelectronics Progress, 2023, 60(12):246-255.] DOI:10.3788/LOP221735

[23]
武鹏. 平面特征的多站地面激光雷达点云配准[J]. 测绘科学, 2016, 41(9):108-111.

[Wu P. Plane-based registration of terrestrial LiDAR point clouds acquired by multiple scans[J]. Science of Surveying and Mapping, 2016, 41(9):108-111.] DOI:10.16251/j.cnki.1009-2307.2016.09.021

[24]
李绕波, 袁希平, 甘淑, 等. 一种基于对偶四元素描述的线面特征约束的点云配准方法[J]. 光学学报, 2022, 42(2):167-175.

[Li R B, Yuan X P, Gan S, et al. Point cloud registration method based on dual quaternion description of line-planar feature constrains[J]. Acta Optica Sinica, 2022, 42(2):167-175.] DOI:10.3788/AOS202242.0214003

[25]
盛庆红, 张斌, 肖晖, 等. 直线簇约束下的地面LiDAR点云配准方法[J]. 武汉大学学报(信息科学版), 2018, 43(3):406-412.

[Sheng Q H, Zhang B, Xiao H, et al. A registration method based on line cluster for terrestrial LiDAR point clouds[J]. Geomatics and Information Science of Wuhan University, 2018, 43(3):406-412.] DOI:10.13203/j.whugis20150292

[26]
王力, 李广云, 张启福, 等. 激光扫描中平面拟合及坐标转换模型构建[J]. 测绘科学技术学报, 2012, 29(2):101-104,108.

[Wang L, Li G Y, Zhang Q F, et al. Plane fitting and transformation in laser scanning[J]. Journal of Geomatics Science and Technology, 2012, 29(2):101-104,108.] DOI:10.3969/j.issn.1673-6338.2012.02.006

Options
文章导航

/

〈 〉