EN中文

地球信息科学学报 >

2019 , Vol. 21 >Issue 2: 137 - 146

DOI: https://doi.org/10.12082/dqxxkx.2019.180339

地球信息科学理论与方法

局部点、线仿射不变性约束的近景影像直线段匹配

  • 王竞雪 , 1, 2 ,
  • 崔昊 , 1, *
展开
  • 1. 辽宁工程技术大学测绘与地理科学学院,阜新 123000
  • 2. 西南交通大学地球科学与环境工程学院,成都 611756
*通讯作者：崔 昊(1992-),男,河南淮阳人,硕士生,主要从事遥感三维重建理论与方法研究。E-mail:

作者简介：王竞雪(1981-),女,河南淮阳人,博士,副教授,研究方向为影像匹配与三维建模。E-mail:

收稿日期: 2018-07-25

  要求修回日期: 2018-12-06

  网络出版日期: 2019-01-30

基金资助

国家自然科学基金项目（41871379）

地球观测与时空信息科学国家测绘地理信息局重点实验室经费资助项目（201801）

收起

Line Segment Matching based on Local Point-Line Affine Invariance Constraints for Close-Range Image

  • WANG Jingxue , 1, 2 ,
  • CUI Hao , 1, *
Expand
  • 1. School of Geomatics, Liaoning Technical University, Fuxin 123000, China
  • 2. Faculty of Geosciences and Environmental Engineering, Southwest Jiaotong University, Chengdu 611756, China
*Corresponding author: CUI Hao, E-mail:

Received date: 2018-07-25

  Request revised date: 2018-12-06

  Online published: 2019-01-30

Supported by

National Natural Science Foundation of China No.41871379

Key Laboratory of Earth Observation and Geospatial Information Science of NASG, No.201801

Copyright

《地球信息科学学报》编辑部 所有
Fold

摘要

针对直线匹配过程中存在直线提取断裂、影像尺度不一、纹理断裂处灰度相似性约束可靠性弱的问题,本文提出了一种基于局部点、线仿射不变性约束的直线段匹配算法。该算法首先利用SIFT匹配得到的同名点构建参考影像、搜索影像同名三角网,并采用三角网约束直线匹配的搜索范围获得初始候选直线;然后利用方向约束对候选直线进行二次筛选,滤掉明显的错误候选直线;最后分别建立参考直线与候选直线的支持区域,搜索并确定位于直线支持区域内的匹配点并以直线为基准对其进行区域划分,并根据点、线仿射不变性原理分区域约束确定同名直线。通过选取网上公开影像数据库中典型影像对进行直线匹配实验,结果表明本文算法具有较好的鲁棒性,并能获取可靠的直线匹配结果。

关键词： 直线匹配; 三角网约束; 方向约束; 支持区域; 仿射不变

本文引用格式

王竞雪 , 崔昊 . 局部点、线仿射不变性约束的近景影像直线段匹配[J]. 地球信息科学学报, 2019 , 21(2) : 137 -146 . DOI: 10.12082/dqxxkx.2019.180339

Abstract

We proposed the line-segment-matching approach with the constraint of local point-line affine invariance, to seek the solution to the fracture in straight lines extraction, the inconsistency of image scale, and the weakness of the gray similarity constraint in the texture fracture. Firstly, the corresponding triangulation network is established by the corresponding points which are obtained using SIFT(Scale-Invariant Feature Transform) matching algorithm in the references and searching images, at the same time, the candidate straight lines are obtained by triangulation network which searching range is constrained in the process of straight lines matching; Secondly, the direction constraint is used to perform secondary screening for the candidate straight lines in order to filter the candidate straight lines with obvious error. It can not only get further filter results of triangulation network constraint, but also provide a solution for angle transformation which caused by image rotation in the process of straight lines matching. The direction angles of each characteristic point of the reference image and the searching image are calculated separately, and the angle histogram is established according to the statistical results. Angle difference corresponding to the maximum peak of two histograms is called rotation angle. Finally, the support regions with the center of target straight line segment in the reference image and the corresponding support region with the center of candidate straight line segment in the searching image are both determined, and then the matching points in the support region are determined, after that the matching points are divided based on the straight line, meanwhile the corresponding straight line is determined according to subregional constraint by the principle of point-straight line affine invariance. Using proposed algorithm to perform straight line matching experiments in the typical image pairs which are selected from the online public image database, and the experiment results show that the proposed algorithm has better robustness and it can obtain reliable straight line matching results. What's more, instability problems caused by many factors exist in other algorithms of straight lines matching are improved by our algorithm.

Key words： straight line matching; triangulation network constraint; direction constraint; support region; affine invariance

1 引言

随着计算机视觉与数字图像处理技术的飞速发展,基于影像三维重建成为众多学者研究的热点问题[1]。相较于点特征,直线特征蕴含更丰富的人工地物结构信息,因此,三维线特征提取是基于影像三维重建的关键基础,其核心步骤是直线匹配[2,3,4,5,6]。
现有的直线匹配算法多利用直线特征属性的相似性确定同名直线,传统直线特征多用直线段自身的几何属性,如直线段的方向、长度以及直线段邻域窗口的灰度信息等[7,8,9,10]。随着SIFT点梯度描述子提出及应用,直线段描述子也利用区域梯度信息[11],一般通过构建参考直线与候选直线的支持区域[12,13,14],利用支持区域内像元点的梯度、灰度等信息构建区域描述子,根据描述子间的相似性完成直线匹配,如Wang等[15]提出了MSLD均值-标准差直线描述符（Mean-Standard Deviation Line Descriptor, MSLD）,通过统计像元支持区域内每个子区域4个方向的梯度向量来构建描述符矩阵,但该算法对尺寸变化比较敏感;Zhang等[16]提出了LBD （Line Band Descriptor） 直线描述子,该方法将直线支持区域分成若干个子区域,通过统计每个子区域内的4个方向的梯度向量形成描述矩阵;此外,还有它们相应的改进算法等[17,18,19]。现有研究在描述子方面取得了较大的进展,但受限于影像成像差异,现有方法虽对投影变形较小的影像均能取得较好的结果,但对于视角变化、尺度变化较大的影像区域描述子难以获得可靠的匹配结果。此外,现有直线段描述子构建过程较为复杂,计算量相对较大。鉴于此,一些研究利用先验知识、拓扑几何等原理进行直线匹配。如林意等[20]利用叉积符号和顶点的线束交比2个不变量进行直线匹配,该方法通过凸包顶点的交比序列建立点与点的对应关系完成直线匹配,不足之处是只能处理顶点大于4的凸包;Fan等[21]利用共面同名点与直线构建仿射不变量与投影不变量,在参考直线与候选直线周围搜索具有上述不变量的同名点,并根据最大中值获得最终匹配,但该算法构建仿射不变量要求直线局部特征邻域内至少存在2个与其共面的特征点,投影不变量更是要求至少存在4个共面的特征点;王竞雪等[22]利用物方高程面上参考直线和候选直线间的垂直距离和重叠距离,结合像方点-线拓扑关系确定同名直线,但该算法受限于物方直线类型;梁艳等[23]基于局部仿射不变原理,利用待匹配直线两侧匹配点连线构建虚拟直线确定候选直线,并利用核线约束计算参考直线和候选直线的重叠部分,然后通过直线方向角及支持区域灰度的相似性约束确定同名直线,但该算法对断裂直线易造成候选遗漏,导致直线匹配数目相对较少。这些算法充分利用点、线几何拓扑约束匹配,有效避开了支持域内灰度信息敏感问题,但都局限于一些条件,适普性一般。
综上所述,为兼具匹配的可靠性、算法的鲁棒性及低复杂度,本文提出一种局部点、线仿射不变性约束的直线段匹配算法。该算法首先利用同名三角网约束候选直线,有效地减少了匹配的搜索范围,然后依据点-线之间的拓扑关系,利用已有的同名点,通过点、线仿射不变性原理由点匹配推动完成直线段匹配。

2 算法原理

本文算法整体流程如图1所示。首先对参考影像、搜索影像进行直线段提取,同时利用SIFT[24]算法匹配得到参考影像、搜索影像上的同名点,利用RANSAC方法剔除误匹配后的同名点构建两影像上同名Delaunay三角网;然后遍历参考影像中的每条待匹配直线段,利用同名三角形约束获得搜索影像上的初始候选直线组。结合两幅影像上SIFT特征点方向直方图计算两幅影像之间存在的旋转角,利用参考直线、候选直线之间的方向对候选直线进行二次筛选;接着依次建立参考直线与候选直线的支持区域,确定位于直线支持区域内的同名点,并以直线为基准对其进行分区标记为直线左侧点及直线右侧点;最后依据点、线仿射不变性原理约束直线匹配,通过计算两幅影像上对应同名点到待匹配直线距离确定同名直线。
Fig. 1 Flowchart of line matching

图1 本文算法整体流程

2.1 确定匹配候选直线

2.1.1 同名三角网约束
SIFT匹配算法是公认的比较成熟的匹配算法,且能够获得一定数量均匀分布的同名点。本文结合SIFT匹配算法和RANSAC算法对影像进行匹配获取可靠的同名点用于构建同名三角网约束直线匹配,具体步骤如下：① 利用参考影像中的同名点依据Delaunay三角网的构网规则构网,记录三角网中各三角形顶点索引,对应的得到搜索影像上同名三角网;② 遍历参考影像中的所有直线,记录当前直线经过的三角形,对应的搜索影像上的同名三角形构成当前参考直线的候选约束区域;③ 遍历搜索影像所有直线,将在候选区域中的直线全部提取出来,作为该参考直线的初始候选直线。以参考影像上直线段L为例,如图2所示,确定参考影像上直线段L经过的三角形,对应的搜索影像上同名三角形约束区域内经过的直线段L1、L2、L3即为L的候选直线。从图2可看出,三角网约束明显缩小了候选直线的搜索范围,提高计算效率的同时还降低了错误匹配率。
Fig. 2 Triangulation network constraint

图2 三角网约束

2.1.2 直线段方向约束
方向约束不仅可以进一步对三角网约束结果进行筛选,还为直线匹配中因影像发生旋转产生的角度变化提供了解决方案。在本文匹配算法实验中,同名特征点提取采用SIFT算法,该算法不仅能够获得特征点的位置,还可以提取到特征点的方向和尺寸。其中,特征点的方向是通过直方图统计邻域内像元的梯度方向和幅值,梯度直方图峰值所对应的方向即为该特征点的方向。进而统计参考影像上所有特征点的方向,并建立梯度直方图,将直方图最大峰值对应的方向记为参考影像的梯度方向,同理计算搜索影像的梯度方向,两幅影像直方图最大峰值对应的角度差值即为两幅影像之间的旋转角度θ。同时,定义参考直线和候选直线的方向差为γ,表示两条直线方向之间的夹角。利用直线方向约束对第2.1节中满足三角网约束的候选直线进一步筛选,如果两直线方向差γ与影像的旋转角度θ的角度差小于规定阈值t,则保留该候选直线,否则将其删除,如式（1）所示。
γ - θ < t （1）
为获得两直线的方向差γ,本文算法利用提取到的直线段端点坐标计算直线段的斜率,然后根据式（2）计算γ的值。
tan γ = ( k 2 - k 1 ) ( 1 + k 1 × k 2 ) （2）
式中：k1、k2分别为参考直线与候选直线的斜率。

2.2 支持区域

2.2.1 构建直线支持区域
本文利用已有的同名特征点约束直线匹配,为了增强同名直线描述的有效性,尽可能地选择位于直线附近的特征点用来约束直线,因此,构建合适大小的直线支持区域,不仅方便快速准确地查询直线附近的特征点,也在一定程度上提高了匹配算法的速度与正确率。在本文算法实验中,根据直线长度构建直线的支持区域,具体步骤为：假设一条长度为l的直线段L,若某一点到直线L的距离小于 α×l,并且该点到直线L垂直平分线的距离小于β×l,那么就认为该点在直线L的支持区域内,其中,α、β是构建直线支持区域形状的2个比例因子,α、β是通过大量实验确定的经验值。为了观察本文实验在不同直线支持区域下的匹配性能,设置了不同的α、β值（表1）进行了多组实验,观察同一直线不同形状支持区域下的匹配效果,并将各组实验结果进行对比分析,结果表明本文实验具有良好的匹配性能。
Tab. 1 The value of α、β

表1 α、β取值

参数 第1组 第2组 第3组 第4组
α 0.5 0.5 0.75 0.75
β 0.5 0.75 0.5 0.75
2.2.2 支持区域内点划分
由于匹配过程中直线提取易断裂、直线部分被遮挡等因素的影响,造成参考影像、搜索影像上提取到的同名直线端点不一致,因此对应的两条直线支持区域可能不完全对应。为避免这方面影响,本文算法只要求参考直线与候选直线的部分支持区域存在对应。为了避免不同视角拍摄引起的投影变形及有效解决部分直线支持区域内只有一侧存在特征点（如位于边缘的直线）,而另一侧特征点较少或没有特征点等问题,本文利用函数关系（式（3））将直线支持区域内的点进行分区域处理,将位于直线左侧的点存到点集 C L i 中,位于直线右侧的点存到点集 C R j 中,具体表示如式（4）所示。
f ϕ = a x + b y + c （3）
式中：a、b是不为零的常数,c为常数。当f(ϕ)大于零时,认为点位于直线左侧;当f(ϕ)小于零时,认为点位于直线右侧。
C L i = { X ; X ∈ Region ( L ) & X ∈ Left ( L ) } C R j = { Y ; Y ∈ Region ( L ) Y & ∈ Rig h t ( L ) } （4）
式中：Region(L)表示直线段L的支持区域;Left(L)、Right(L)分别表示直线段L的左侧和右侧。然后,依次用两组点集分别约束直线匹配（式（3））,并规定两条直线互相匹配的条件为至少有一侧满足匹配条件。

2.3 仿射变换与直线匹配

2.3.1 点、线仿射不变性
仿射变换是一种二维坐标到二维坐标之间的线性变换,在变换过程中它保持了二维图形的“平直性”（即直线经过变换之后仍然是直线）和“平行性”（即二维图形之间的相对位置关系保持不变,平行线依然是平行线,且直线上点的位置顺序不变）。任意的仿射变换都能表示为一个向量空间乘以一个矩阵（线性变换）,再加上一个平移向量的形式,齐次坐标形式下的仿射变换如式（4）所示。
x ' y ' 1 = cos θ x sin θ y t x - sin θ x cos θ y t y 0 0 1 x y 1 （5）
如图3所示,点i与直线P的位置如图,当它们从所在的坐标系O-XSYS变化到坐标系O-XTYT下,点i以及直线P的坐标值随着坐标系的改变发生了改变,但点i和直线P的相对位置却保持不变,即仿射变换不改变它们的相对位置。根据点、线的这种仿射不变性,可以有效地利用同名点、线的相对位置关系约束直线匹配,进而获得同名直线。
Fig. 3 Line-point affine invariance

图3 点、线仿射不变性

2.3.2 直线匹配
近景影像中局部特征之间的几何变换可以近似为仿射变换。将局部范围内的点和线所在的表面近似看作平面,利用直线支持区域内的同名点约束直线匹配,根据不同影像上同名点、同名线之间的仿射不变性,通过判断点、线之间的拓扑关系,可以快速有效地查找匹配直线。具体原理如下：
对依次采用三角网约束、直线方向约束后获得的初始候选直线,基于局部点、线仿射不变性原理,利用点-线距离约束确定同名直线。以图4为例,假设参考直线P与候选直线P ',点i、j、k、u、v、w和点i'、 j'、k'、u'、v'、w'分别为两直线支持区域内的同名点。利用直线左侧点约束匹配,并分别计算参考影像上点i、j、k到直线P的距离并求和,记为D1,对应的计算搜索影像上i '、j '、k '到直线P '的距离并求和,记为D2,若 | D 1 - D 2 | < T D ,则参考直线与候选直线为一对同名直线。或者利用直线右侧的点进行相同的匹配处理,对应的同名点到参考直线、搜索直线的距离和分别记为 D ' 1 、 D ' 2 ,若 | D ' 1 - D ' 2 | < T D ,则两直线为一对同名直线。特别地,当参考影像、搜索影像之间尺寸发生变换时,则以对应点到对应直线的欧氏距离比与缩放尺寸S的绝对差值来约束直线匹配。研究从参考影像、搜索影像中找出几组由同名特征点连线构成的同名特征线,将两影像上对应的同名特征线的长度比作为两幅影像之间的缩放比例S。对于参考直线和候选直线,如果上述结果满足 | D 1 D 2 - S | < T S 或者 | D ' 1 D ' 2 - S | < T S 该条件,即为同名直线,否则不匹配。
Fig. 4 The affine invariance of point and line

图4 点和线的仿射不变性

3 实验及分析

为了验证本文匹配算法的正确性,本文选取 5组具有代表性变化的近景影像作为测试图像进行直线匹配实验,如图5所示,这些影像均来自网上公开的影像数据库,其中前4组影像（图5（a）-（d））来源于网站http://www.robots.ox.ac.uk/~vgg/data,第5组影像（图5（e））来自于网站http://www.vision.ee.ethz.ch/showroom/zubud/。实验在处理器AMD A10 PRO-7800B R7, 12 Compute Cores 4C+8G 3.50GHz、64位、4G内存的台式电脑上进行,并借助MATLAB 2016a软件平台编辑和运行了实验算法。图中5组立体像对之间依次存在视角变化、尺寸变化、旋转变化、光照变化、视角及前景变化,大小分别为800像元×600像元、800像元×600像元、640像元×480像元、640像元×480像元、640像元×480像元。
Fig. 5 Experimental image pairs

图5 实验图像

3.1 不同参数对比分析

在匹配过程中,影响直线匹配的因素主要有直线的方向夹角、点-线距离以及支持区域形状。直线的方向夹角是指参考直线与候选直线方向之间的夹角,当两幅影像之间存在视角变化时,相同直线在不同影像上方向不同,为了避免拍摄视角变化对匹配结果的影响,本文算法引入了直线段方向约束,保留两直线方向夹角与影像旋转角差值小于阈值t=10°的候选直线。点-线距离约束是确定同名直线的关键因素,理想状态下,不同影像上位于同一平面上的对应的同名点与同名直线的拓扑关系应一致,但由于中心投影变形及点、线定位精度的影响会存在较小的偏差,因此设置距离阈值TD=0.8。α、β参数决定支撑域形状及用于约束匹配同名点的数目,当比例因子α、β取不同值时,相应地直线支持区域的形状也将随之发生改变,参考直线和候选直线支持区域内所包含的匹配点也会随之改变,匹配直线的数目与匹配正确率也将随之改变,所以α、β值选取对匹配结果起至关重要的影响。为了检查不同支持区域形状对直线匹配的影响,本文算法在角度约束、点-线距离约束不变的条件下,研究首先对α、β取不同参数进行对比分析,参数设置如表1所示。采用本文算法对上述5组影像进行直线匹配,得到的同名直线结果数据统计如表2所示,表中MN（Matching Number）表示直线匹配的总数目,MC（Matching Correct）表示正确匹配的数目,MR（Matching Ratio）表示直线匹配的正确率。从表2可看出,在一定的参数设定范围内,本文算法均能取得较好的匹配结果。对比分析可以看出,当参数设置为α=0.75、β=0.75,支持区域范围相对较大,匹配得到同名直线数目较多,但结果正确率相对较低;当参数设置为α=0.50、β=0.50,支持区域范围相对较小,部分影像匹配结果正确率相对较高,但匹配得到同名直线数目相对较少;而当α、β分别取0.50、0.75或0.75、0.50时,如第2、3组参数所示,所构建的支持区域形状近似为长方形,可以综合考虑适应不同长度的直线段匹配,因此匹配得到同名直线数目和匹配正确率均比较理想。其中,前者更适合于影像上存在较多的长直线段情况,后者更适合于影像上短直线段较多的情况。此外,不同影像的直线匹配结果表明,本文算法具有很好的鲁棒性。鉴于文章篇幅,本文仅显示不同α、β参数条件下,不同影像的最优直线匹配结果,如图6所示。
Tab. 2 The results of matching experiments

表2 匹配实验结果

实验影像 两影像上线提取数目/条 α、β MN/对 MC/对 MR/%
图5(a) (1011, 948) 0.50、0.50 529 526 99.43
0.50、0.75 598 594 99.33
0.75、0.50 567 563 99.29
0.75、0.75 641 635 99.06
图5(b) (874, 686) 0.50、0.50 213 207 97.18
0.50、0.75 238 232 97.48
0.75、0.50 250 244 97.60
0.75、0.75 270 262 97.04
图5(c) (488, 526) 0.50、0.50 143 142 99.30
0.50、0.75 168 167 99.40
0.75、0.50 161 161 100.00
0.75、0.75 176 175 99.43
图5(d) (572, 427) 0.50、0.50 194 194 100.00
0.50、0.75 229 226 98.69
0.75、0.50 221 218 98.64
0.75、0.75 254 250 98.43
图5(e) (996, 1017) 0.50、0.50 234 225 96.15
0.50、0.75 296 286 96.62
0.75、0.50 262 252 96.18
0.75、0.75 323 307 95.05
Fig. 6 The results of straight line matching

图6 直线匹配结果

由图7（见第145页）可看出,本文算法有效地解决了直线提取断裂问题。如参考影像中索引号16、4两条直线,匹配结果分别对应搜索影像中3条同名直线。这是由于本文算法采用同名点约束直线匹配,当对应的同名直线邻域存在正确的匹配点就可以实现二者的有效匹配。研究将被遮挡的直线部分看做一种特殊的断裂情况,即假设遮挡部分是一个比较大的断裂点,因此本文算法在一定程度上可以有效解决遮挡问题。
Fig. 7 Fracture line matching

图7 断裂直线匹配情况

3.2 不同算法对比实验

为了进一步验证本文算法的匹配性能,将本文算法与文献[15]算法和文献[23]算法进行对比分析,3种算法的直线匹配结果统计如表3所示（见第145页）。同上,MN表示直线匹配的总数目,MC表示正确匹配的数目,MR表示直线匹配的正确率。对比 表2分析可看出,本文算法在表2参数下直线匹配结果均优于其他2种算法的结果。兼顾匹配得到同名直线的数目和匹配正确率,本文算法选取α=0.75、 β=0.50参数条件下的直线匹配结果与其他2种算法的结果进行对比分析。从表3对比分析可以看出：
Tab. 3 Line matching results of different algorithms

表3 不同算法的匹配结果

实验影像 不同算法 MN/对 MP/对 MC/%
图5(a) 文献[15] 554 522 94.2
文献[23] 223 220 98.7
本文算法 567 563 99.3
图5(b) 文献[15] 24 9 37.5
文献[23] 54 54 100
本文算法 250 244 97.6
图5(c) 文献[15] 148 115 77.7
文献[23] 101 99 98.1
本文算法 161 161 100
图5(d) 文献[15] 271 250 92.2
文献[23] 80 77 96.3
本文算法 221 218 98.6
（1）与文献[15]算法相比,本文算法匹配正确率明显高于文献[15]算法,这是由于文献[15]算法侧重于描述子构建,在匹配过程中未考虑几何约束候选匹配,全局搜索增加了错误匹配的概率,特别对于尺度变化影像较为敏感。
（2）与文献[23]算法相比,本文算法匹配得到的同名直线数目和正确匹配数目均高于文献[23]算法结果。这是由于文献[23]在确定候选直线过程中,首先在参考影像上确定参考直线段两侧离参考直线段距离最近的匹配点,然后将其对应的搜索影像上的同名点连线构建虚拟直线段,确定搜索影像上与该虚拟直线段相交的直线段为匹配候选直线段。该方法选择具有相交仿射不变性的直线作为候选直线,对于断裂或部分被遮挡而不能相交的直线段易造成漏选。而本文利用同名三角网约束候选直线,避免了上述候选直线漏选的问题。
另外,本文算法具有较高的匹配正确率,对于视角变化、旋转变化、光照变化3组实验影像,本文算法的匹配正确率均优于文献[23]算法的匹配正确率。而对于尺寸变化影像,本文算法的匹配正确率略低于文献[23]算法的匹配正确率,但本文算法得到的同名直线数目和正确匹配数目明显高于文献[23]算法。这是由于文献[23]采用了支持区域灰度均值的相似性约束直线匹配,该过程压缩了大部分灰度信息,对于纹理断裂、重复纹理等区域难以获得正确匹配。本文算法利用局部点、线仿射不变性约束确定同名直线,一方面该过程有效避开了利用灰度相似性约束因纹理断裂产生的影响;另一方面,本文算法对直线支持区域点进行分区,该处理考虑了点、线的共面性,有效解决了投影差对匹配产生的影响。因此,本文利用已有同名点约束直线匹配,原理简单、方便快捷、可以准确地匹配同名直线。实验结果表明本文算法具有一定的鲁棒性,对于存在视角变化、旋转变化、尺寸变化等影像均能获得较好的匹配结果,具有较好的适用性。

4 结论

本文提出一种局部点、线仿射不变性约束的直线段匹配算法,该算法结合同名三角网和直线段方向约束匹配候选直线,利用两影像梯度方向避免了影像视角不同产生的直线段方向差异的影响,有效减少候选直线搜索范围,提高后续直线精准匹配的效率;避开影像灰度信息,研究利用点、线仿射不变性原理匹配确定同名直线,一方面完全避开边缘纹理断裂对直线匹配的影响,另一方面有效地解决了直线提取断裂、直线部分被遮挡的难点问题;顾及点、线共面性条件,对同名点分区处理,有效解决投影差对匹配产生的影响,提高匹配可靠性。实验结果表明,本文算法具有较强地鲁棒性,对本文选取的不同类型的立体影像均能取得较好的匹配结果。但该算法受已有同名点影响较大,当结果中存在错误匹配点,本文算法很难达到理想的匹配结果。此外,本文算法对存在一定尺度变化的影像具有较好的适应性,但对于存在较大尺度变化的影像后续将需进一步验证。

The authors have declared that no competing interests exist.

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
王思洁,方莉娜,陈崇成,等.基于结构化场景的单幅图像建筑物三维重建[J].地球信息科学学报,2016,18(8):1022-1029.lt;p>针对无法利用激光扫描或多张图像实现三维重建的已损或不复存在的建筑,本文提出了一种基于结构化场景的单张图像建筑物三维重建方法。该方法先基于RANSAC算法及最小距离法分别解算灭点直线和灭点;然后基于平行平面、包含平行信息的任意平面和包含垂直信息的任意平面的平面模型解算三维坐标。本文以现存某高校图书馆为例,重建了三维模型,并分析了模型精度。结果表明,重建误差最小为0,最大为5.8%,模型整体精度在1.9%左右,符合三维重建精度要求。在四川省白鹿领报修院教堂的三维重建应用中,建立了已损建筑物的三维模型,获得了较好的重建效果。该方法适用于包含平行、垂直、灭点和平面结构的建筑物场景,可得到建筑物三维几何线框模型,几何细节采用纹理映射替代,可应用于现存建筑和文化遗存遗址的三维重建。</p>

DOI

[ Wang S J, Fang L N, Chen C C, et al.A single view type 3D reconstructive method for architecture based on structured scene[J]. Journal of Geo-information Science, 2016,18(8):1022-1029. ]

[2]
李畅,刘亚文,胡敏,等.面向街景立面三维重建的近景影像直线匹配方法研究[J].武汉大学学报·信息科学版,2010,35(12):1461-1465.提出了一种新的基于直线自动分组、核线约束、灭点方向引导和影像金字塔模型的直线匹配算法。该算法利用核线约束缩小搜索范围但不完全依赖于核线,利用灭点方向引导匹配但不完全依赖于灭点,并且符合空间物体整体分布不连续但局部连续的客观规律,再加上大范围的搜索,不仅克服了一般直线匹配算法中核线约束退化或基于单应性映射失效的缺陷,而且能匹配出直线段端点。同时,还提出了基于随机抽样一致性的单片剔除误匹配直线的算法。实验验证了此算法的实时性、准确性和实用性。

[ Li C, Liu Y W, Hu M, et al.Study on street elevation 3D reconstruction-oriented straight line matching for close-range images[J]. Geomatics and Information Science of Wuhan University, 2010,35(12):1461-1465. ]

[3]
王建敏,刁寅午,娄安颖,等.改进的同名直线匹配及三维重建技术[J].海洋测绘,2011,31(2):68-71.针对已有三维直线重建算法的不足,提出了基于同名直线和点云数据的三维直线重建算法,该算法先应用单应矩阵与核线双重约束实现直线匹配,再依据共线条件方程的基本原理,经过初步确定高程值、验证与精化高程值、光束与物面交会及精化三维空间直线段等一系列过程,最终实现空间直线的三维重建。该实现过程简单易懂,并能获得较高精度的三维空间直线。

DOI

[ Wang J M, Diao Y W, Lou A Y, et al.Improved matching of homonymous line and the technology of three-dimensional reconstruction[J]. Hydrographic Surveying and Charting, 2011,31(2):68-71. ]

[4]
娄安颖. 遥感影像直线提取、匹配及三维重建[D].阜新:辽宁工程技术大学,2011.

[ Lou A Y.Line extraction, matching and three-dimensional reconstruction in satellite images[D]. Fuxin: School of Geomatics, Liaoning Technical University, 2011. ]

[5]
高新凯. 基于几何不变量的直线匹配与三维建模[D].大连:大连理工大学,2017.

[ Gao X K.Line matching and 3D modeling using geometric invariants[D]. Dalian: Dalian University of Technology, 2017. ]

[6]
邓刘洋,沈占锋,柯映明.城市建成区遥感影像边界提取与扩张分析[J].地球信息科学学报,2018,20(7):996-1003.

[ Deng L Y, Shen Z F.Built-up area extraction and urban expansion analysis based on remote sensing images[J]. Journal of Geo-information Science, 2018,20(7):996-1003. ]

[7]
张云生,朱庆,吴波,等.一种基于三角网约束的立体影像线特征多级匹配方法[J].武汉大学学报·信息科学版, 2013,38(5):522-527.针对直线匹配可靠性问题,提出 了一种基于三角网约束的立体影像线特征多级匹配方法。首先采用SURF算法匹配一部分可靠的种子点,利用这些种子点约束其邻域内的直线匹配;然后,将这些 种子点构建三角网,利用三角网约束直线匹配的搜索范围,进行三角网约束下的线-线匹配;再次,在三角网的约束下,进行线-面匹配。为了提高直线匹配相似性 测度的可区分性,提出了基于移动窗口的自适应直线相关方法,不仅在表面非连续区域能取得可靠匹配,在纹理缺乏区域也能取得可靠匹配结果。利用具有典型纹理 特征的近景影像和航空影像进行了试验分析,结果表明,本方法能获取可靠的直线匹配结果。

[ Zhang Y S, Zhu Q, Wu B, et al.A hierarchical stereo line matching method based on a triangle constraint[J]. Geomatics and Information Science of Wuhan University, 2013,38(5):522-527. ]

[8]
刘亚文. 基于TIN的半自动多影像同名线段匹配算法研究[J].武汉大学学报·信息科学版, 2004,29(4):342-345.提出了根据同名像点构成三角网(TIN)来进行同名直线的匹配.依据TIN预测左影像上一条给定直线在右影像上同名直线的搜索范围,计算给定直线与候选直线的灰度相关系数,取最大相关系数所对应的直线为同名直线.实验证明,该算法简单、可行.

DOI

[ Liu Y W,. A semi-automatic algorithm for line matching based on delaunay triangulation[J]. Geomatics and Information Science of Wuhan University, 2004,29(4):342-345. ]

[9]
娄安颖,宋伟东,刘薇.基于单应矩阵的直线匹配[J].遥感信息,2011(3):9-13.提出了在单应矩阵原理约束下进行直线匹配的算法.首先利用单应矩阵将从不同影像上提取出的直线集变换到同一影像坐标系下;然后结合直线自身的几何特性及其特性支持区域的灰度特性,初步确定同名直线;最后依据左右一致性准则,剔除错误匹配.当引入直线特性支持区域的灰度测度时,只考虑几何变形和灰度畸变较小的一侧,提高了匹配的可靠性.实验表明,该算法简单、易行,并有效解决了部分被遮挡直线以及断裂直线的匹配问题.

DOI

[ Lou A Y, Song W D, Liu W.Matching straight lines on the basis of homography[J]. Remote Sensing Information,2011(3):9-13. ]

[10]
黄杰,于瑞鹏,丁翠,等.直线特征的多层次仿射不变匹配方法研究[J].测绘科学,2016,41(7):28-32.针对直线两侧表面视差非连续、影像几何变形大等问题，提出了一种直线特征的多层次、仿射不变匹配方法。首先利用核线几何、相对方位、重叠距离、长度比等约束条件确定候选直线，根据仿射不变参数纠正直线支撑窗口并计算两侧邻域灰度加权相似性，得到线特征两侧表面视差连续情况下的直线匹配结果，并利用左右双向一致性检验剔除错误匹配；然后对未匹配直线采用顾及线特征两侧表面视差不连续的单侧邻域灰度加权相似性准则和双向一致性检验得到最终匹配结果。不同纹理类型的倾斜立体影像数据验证了方法的有效性，为倾斜立体影像直线特征匹配提供了一种可行的思路。

DOI

[ Huang J, Yu R P, Ding C, et al.Study on line matching based on multi-level and affine invariant[J]. Science of Surveying and Mapping, 2016,41(7):28-32. ]

[11]
王志衡,吴福朝.均值-标准差描述子与直线匹配[J].模式识别与人工智能,2009,22(1):32-39.提出一种通过直线描述子来进行自动直线匹配的思想.直线描述子的建立分为以下3个主要步骤:首先为直线定义平行邻域并将该邻域分解为一系列平行线，其次通过选择图像特征建立直线描述矩阵，最后通过计算描述矩阵列向量的均值和标准差获得直线描述子.基于不同的图像特征(灰度、梯度和梯度幅值)，提出3个具有平移、旋转和线性光照不变性的直线描述子.实验结果表明本文提出的直线描述子具有较好的匹配性能.

DOI

[ Wang Z H, Wu F C.Mean-standard deviation descriptor and line matching[J]. Pattern Recognition and Artificial Intelligence, 2009,22(1):32-39. ]

[12]
Mcintosh J H, Mutch K M.Matching straight lines[J]. Computer Vision Graphics & Image Processing, 1988,43(3):386-408.

[13]
Burns J B, Hanson A R, Riseman E M. Extracting straight lines[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2009,PAMI-8(4):425-455.

[14]
陈宁江,李介谷.基于支持区域的直线段匹配[J].红外与激光工程,2000,29(5):10-14.以往的直线段匹配算法都是利用直线段之间位置顺序的限制条件 ,而基于支持区域[1,2 ]的直线段匹配算法则充分利用了图像本身提供的灰度信息。每条直线段的支持区域为直线段提供几何和灰度的特性值 ,这些特性可以通过加权作为匹配度计算的一部分。使用支持区域 ,直线段的匹配更客观、准确。

DOI

[ Chen N J, Li J G.Match straight line based on line support region[J]. Infrared and Laser Engineering, 2000,29(5):10-14. ]

[15]
Wang Z, Liu H, Wu F.MSLD: A robust descriptor for line matching[J]. Pattern Recognition, 2009,42(5):941-953.Line matching plays an important role in many applications, such as image registration, 3D reconstruction, object recognition and video understanding. However, compared with other features (such as point, region matching), it has made little progress in recent years.In this paper, we investigate the problem of matching line segments automatically only from their neighborhood appearance, without resorting to any other constraints or priori knowledge. A novel line descriptor called mean 搒tandard deviation line descriptor (MSLD) descriptor is proposed for this purpose, which is constructed by the following three steps: (1) For each pixel on the line segment, its pixel support region (PSR) is defined and then the PSR is divided into non-overlapped sub-regions. (2) Line gradient description matrix (GDM) is formed by characterizing each sub-region into a vector. (3) MSLD is built by computing the mean and standard deviation of GDM column vectors. Extensive experiments on real images show that MSLD descriptor is highly distinctive for line matching under rotation, illumination change, image blur, viewpoint change, noise, JPEG compression and partial occlusion.In addition, the concept of MSLD descriptor can also be extended to creating curve descriptor (mean tandard deviation curve descriptor, MSCD), and promising MSCD-based results for both curve and region matching are also demonstrated in this work.

DOI

[16]
Zhang L, Koch R.An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J]. Journal of Visual Communication & Image Representation, 2013,24(7):794-805.We present a line matching algorithm which utilizes both the local appearance of lines and their geometric attributes. To overcome the problem of segment fragmentation and geometric variation, we extract lines in the scale space. To depict the local appearance of lines, we design a novel line descriptor called Line Band Descriptor (LBD). To evaluate the pairwise geometric consistency, we define the pairwise geometric attributes between line pairs. Then we built a relational graph for candidate line matches and employ a spectral technique to solve this matching problem efficiently. The advantages of the proposed algorithm are as follows: (1) it is robust to image transformations because of the multi-scale line detection strategy; (2) it is efficient because the designed LBD descriptor is fast to compute and the appearance similarities reduce the dimension of the graph matching problem; (3) it is accurate even for low-texture images because of the pairwise geometric consistency evaluation.

DOI

[17]
王竞雪,张雪,朱红,等.结合区域仿射变换的MSLD描述子与直线段匹配[J].信号处理,2018,34(2):183-191.针对直线匹配过程中直线描述子的稳定性问题,提出一种结合区域仿射变换的MSLD直线描述子用于直线段匹配。匹配在同名三角网和核线约束基础上,首先对左影像上目标直线建立直线平行支撑域;再根据目标直线段两端点及其平行支撑域四角点的核线确定候选直线对应区域及其平行支撑域;然后根据目标直线支撑域长度和宽度对目标直线和候选直线平行支撑域分别进行仿射变换,建立目标直线和候选直线的MSLD特征描述子;最后结合欧式距离和最邻近比值(NNDR)确定最终同名直线。选取具有不同类型纹理特征的近景影像进行实验,结果表明,本文方法能获得可靠的直线匹配结果。

[ Wang J X, Zhang X, Zhu H, et al.MSLD descriptor sombined regional affine transformation and straight line matching[J]. Journal of Signal Processing, 2018,34(2):183-191. ]

[18]
武盟盟,焦伟利,龙腾飞,等.基于描述子与几何约束的直线段匹配[J].计算机工程与设计,2014,35(6):1983-1987.提出了基于描述子与几何约束的直线段匹配方法。采用LSD(line segment detection)算法提取直线特征并用LBD(line band descriptor)描述子表示直线,通过计算2幅影像中直线描述子之间的距离得到N(N3)对描述子距离最小的匹配直线对;估计影像间的变换模型参数,以变换模型约束下直线段中点间的距离和直线段间的距离作为相似性测度实现直线段匹配。与现有的直线段匹配算法进行对比,比对结果表明,对于真实的遥感影像及仿射变换、旋转、噪声、光照变化等仿真遥感影像,该方法均得到了更多的匹配直线段对,且耗时更少、匹配准确率高。

DOI

[ Wu M M, Jiao W L, Long T F, et al.Line segment matching based on descriptor and geometric constraints[J]. Computer Engineering and Design, 2014,35(6):1983-1987. ]

[19]
缪君,储珺,张桂梅.一种仿射不变的直线描述子与直线匹配[J].电子学报,2015,43(12):2505-2512.lt;p>从图像中提取的直线常出现不完整、端点位置不准确等问题,针对这些问题造成的直线匹配难点,本文提出了一种仿射不变的直线描述子.首先将待匹配直线离散为对应点的集合,将直线描述转化为点的描述,避免了直线不完整造成的支撑区域大小不一致的问题;然后结合直线的方向和长度,定义点描述子的主方向和尺度,通过统计离散点集的局部邻域的梯度信息使描述子具有仿射不变性.为了提高直线匹配速度,在进行直线描述之前,本文采用了极线约束精简了待匹配直线集合,再利用最近邻距离比准则对直线精确匹配.实验结果表明本文提出的直线描述子在仿射、亮度、视点、遮挡等变化条件下具有精确的匹配性能.</p>

DOI

[ Miao J, Chu J, Zhang J M.An affine invariant line descriptor and line matching[J]. Acta Electronica Sinica, 2015,43(12):2505-2512. ]

[20]
林意,李进明.基于几何不变量的直线匹配方法[J].计算机工程与设计,2011,32(10):3465-3469.针对目前直线匹配算法大多基于直线段支持区域的几何特性、灰度特 性,但这些特性又极易受外界因素干扰造成匹配失败的情况,提出了基于直线几何不变量的匹配方法,该方法在无任何已知条件的情况下,运用叉积符号、点的线束 交比不变量进行直线匹配.对于各个视点图像,采用Hough变换提取直线间交点集,再采用Graham扫描法构造一个最小的凸包,并通过匹配凸包顶点的交 比序列来建立点与点的对应关系,选取其中一个对应关系完成直线的匹配.实验结果表明,该方法鲁棒性较好,具有广泛的应用性.

[ Lin Y, Li J M.Match method of straight line based on geometric invariance[J]. Computer Engineering and Design, 2011,32(10):3465-3469. ]

[21]
Fan B, Wu F, Hu Z.Robust line matching through line-point invariants[J]. Pattern Recognition, 2012,45(2):794-805.78 We address the problem of automatic line matching. 78 Two line–point invariants are introduced for robust line matching. 78 The proposed method is robust to various image transformations. 78 Experiments have shown its effectiveness and superiorities.

DOI

[22]
王竞雪,宋伟东,王伟玺.同名点及高程平面约束的航空影像直线匹配算法[J].测绘学报,2016,45(1):87-95.针对直线匹配的难点问题及匹配约束的有效性,提出了同名点及高程平面约束的航空影像直线匹配算法。该算法在边缘点匹配结果和直线提取结果的基础上,首先利用直线邻域内的同名点确定候选直线及直线投影平面的高程值,再结合物方和像方相似性约束确定同名直线;然后根据直线索引对"一配多"的匹配结果进行整合,并对结果中的多直线进行合并,得到"一对一"的同名直线;最后利用"像方-物方-像方"的映射模式确定同名直线的同名端点。论文选取典型纹理特征的航空影像进行直线匹配试验,结果表明,本文算法能获得可靠的直线匹配结果。

DOI

[ Wang J X, Song W D, Wang W X.Line matching algorithm for image based on corresponding points and Z-plane constraints[J]. Acta Geodaetica et Cartographica Sinica, 2016,45(1):87-95. ]

[23]
梁艳,盛业华,张卡,等.利用局部仿射不变及核线约束的近景影像直线特征匹配[J].武汉大学学报·信息科学版,2014,39(2):229-233.针对近景影像中直线因遮挡、提取算法等带来的匹配问题，提出了一种基于局部仿射不变及核线约 束的直线特征匹配方法。该方法在对立体近景影像进行同名点匹配及直线特征提取的基础上，首先利用直线特征与邻域内以同名点为端点的虚拟直线段的相交仿射不 变性进行候选同名直线的搜索，再借助核线约束确定目标直线与候选同名直线的重叠部分，然后通过直线特征的角度及支撑域灰度的综合相似性测度进行匹配，得到 正确的同名直线。利用该方法对不同几何变换下的近景影像进行实验，结果表明，本方法具有较好的可靠性和准确性。

DOI

[ Liang Y, Sheng Y H, Zhang K, et al.Linear feature matching method based on local affine invariant and epipolar constraint for close-range image[J]. Geomatics and Information Science of Wuhan University, 2014,39(2):229-233. ]

[24]
Lowe D G.Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004,60(2):91-110.

DOI

Options
文章导航

/

〈 〉