EN中文

Journal of Geo-information Science >

2021 , Vol. 23 >Issue 8: 1508 - 1523

DOI: https://doi.org/10.12082/dqxxkx.2021.200660

A Dense Matching Algorithm for Remote Sensing Images based on Reliable Matched Points Constraint

  • ZHANG Xin , 1 ,
  • WANG Jingxue , 1, 2, * ,
  • LIU Suyan 1 ,
  • GAO Song 1
Expand
  • 1. School of Geomatics, Liaoning Technical University, Fuxin 123000, China
  • 2. Faculty of Geosciences and Environmental Engineering, Southwest Jiaotong University, Chengdu 611756, China
* WANG Jingxue, E-mail:

Received date: 2020-11-03

  Request revised date: 2021-01-28

  Online published: 2021-10-25

Supported by

National Natural Science Foundation of China(41871379)

National Natural Science Foundation of China(42071343)

Liaoning Revitalization Talents Program(XLYC2007026)

Copyright

Copyright reserved © 2021
Fold

Abstract

To avoid the problem of mismatches caused by initial matched points that may contain false matches during iterative dense matching based on corresponding points, a dense matching algorithm for remote sensing images based on reliable matched point constraint is presented. Firstly, to increase the number of initial matching points and expand the covering range of initial matching points, the initial set of matched points containing the matched Scale-invariant Feature Transform (SIFT) points and virtual corresponding points is constructed, where the virtual corresponding points are generated from the intersections of corresponding lines obtained by the line matching algorithm based on the matched SIFT points constraint. Secondly, the initial set of matched points is checked to remove the false matches using local image information and local geometry constraints in turn. This process first uses the local texture feature constraint constructed based on fingerprint information and gradient information to eliminate the mismatched points with low similarity, and then uses the local geometric constraint constructed by Delaunay triangulation to remove the false matches generated by similar textures, thereby obtaining the optimized set of reliable matched points. Finally, the Delaunay triangulation is constructed using reliable matched points, and the gravity center of the triangles satisfying the areal threshold is used as the matching primitive during the dense matching process. The matching based on the epipolar constraint and affine transformation constraint is performed iteratively to obtain the dense matching results. This paper used four sets of forward and backward viewing data of ZY-3 to perform parameter analysis experiment and comparative analysis experiment to prove the effectiveness of the proposed dense matching algorithm. The results of parameter analysis experiment show that the reliable matched points can be obtained when the weighted index, texture feature similarity threshold, and local geometric similarity threshold are 0.3, 0.95, and 0.85, respectively. The average matching accuracy of the reliable matched points on the four sets of data is improved by 19% compared with the initial matched point. Meanwhile, the results of comparative analysis experiment show that the dense matching algorithm based on the reliable matched point constraint can effectively avoid the error propagation, which has higher matching accuracy compared with the comparison algorithms selected in this paper. The average matching accuracy of the four sets of data is 95%. Therefore, the algorithm can obtain better dense matching results by effectively eliminating mismatched points.

Key words： reliable matched points; dense matching; remote sensing images; epipolar constraint; affine transformation; ZY-3; Delaunay triangulation network

Cite this article

ZHANG Xin , WANG Jingxue , LIU Suyan , GAO Song . A Dense Matching Algorithm for Remote Sensing Images based on Reliable Matched Points Constraint[J]. Journal of Geo-information Science, 2021 , 23(8) : 1508 -1523 . DOI: 10.12082/dqxxkx.2021.200660

1 引言

近年来,随着航天技术和传感器技术的飞速发展,所获取的卫星遥感影像具有覆盖范围广和分辨率高的优点,利用其实现地面三维信息的有效获取是遥感领域持续研究的热点,其中影像匹配是关键核心技术之一,主要目标是在两个或多个影像中获得足够可靠的特征点和匹配关系[1,2]。对于由稀疏到密集的迭代匹配算法,初始点的可靠性至关重要,直接决定后续密集匹配的精度。由于影像匹配不可避免地会存在误匹配,直接利用初始点约束加密后续匹配,其中存在的误匹配点会引起误差传播或难以获得正确匹配,因此,需要采取有效的粗差检测方法对误匹配点进行剔除[3],该过程是实现高精度密集匹配的关键步骤。
现有遥感影像匹配方法主要分为2类。① 基于模板的匹配方法。该类方法通过在影像中定义某一窗口作为特征实现匹配,即通过区域相似度进行匹配,常用的相似性测度算法为归一化互相关系数（Normalized Correlation Coefficient, NCC）和互信息法（Mutual Information, MI）。NCC算法能很好地适用于两匹配区域存在灰度线性变化的情况,但对于灰度呈非线性变化区域效果不理想[4,5,6,7]。MI算法起源于信息论,其利用熵值统计匹配区域相关性,通过计算两区域之间的联合概率分布衡量其统计独立程度,虽然可获得较好的匹配效果,但计算量大,无法广泛应用[8,9]。② 基于特征的匹配方法。该类方法通过提取兴趣特征点并利用相似性测度构建影像间匹配特征集合,其中最为经典的是尺度不变特征变换（Scale-invariant Feature Transform, SIFT）匹配算法,该算法被广泛用于遥感影像初始匹配,取得较好的匹配效果,但所获取的初始匹配点依旧存在一些误匹配点,影响后期匹配点迭代加密结果[10,11,12,13]。对误匹配点进行剔除最为经典的算法是基于全局几何约束的随机采样一致性（Random Sample Consensum, RANSAC）算法,其通过考虑全局损失最小而剔除较大误差点[14,15,16]。近年来,有学者提出基于局部几何约束的误匹配点剔除算法,文献[17]提出的空间一致性模型通过对参考影像和搜索影像初始匹配点间构造邻域点约束关系,以便对每个匹配点进行误差分析实现误匹配剔除获取可靠匹配点。也有学者针对影像信息建立局部辐射约束模型,文献[18]通过对SIFT匹配算法所获取匹配点构建K-VLD约束模型实现误匹配点剔除。因此,联合匹配点之间的局部几何关系以及局部影像信息关系可有效剔除误匹配点获取可靠匹配点,最终通过对可靠匹配点进行迭代拓展得到高精度密集匹配结果。但是大多局部连接构建方案采用K最近邻算法,导致难以确定K最近邻数量并存在局部连接状态不稳定的问题[19,20]。尽管上述误匹配点剔除算法取得了一定的进展,但受限于单一约束的限制,以及基于最大正确概率模型保留的匹配点,仍存在少数误匹配点难以剔除。
综上所述,提出一种基于可靠匹配点约束的遥感影像密集匹配算法。考虑到初始匹配点稀疏及覆盖范围有限,借鉴文献[21]虚拟交点思想,本文利用匹配直线间交点构建虚拟匹配点集,该过程不仅有效地增加了初始匹配点数目,同时也扩展了初始点的覆盖范围。进一步为了确保初始匹配点集的可靠性,分别构建局部纹理特征约束和局部几何约束模型用于结果检核,剔除较为明显的误匹配点和由相似纹理产生的误匹配点。利用约束后所获取的可靠匹配点构建Delaunay三角网,并以此为基础,通过迭代匹配拓展实现遥感影像的密集匹配。

2 算法原理

本文算法整体流程如图1所示。① 利用SIFT算法获得初始匹配点,为了扩大初始匹配点覆盖范围及数目,进一步利用SIFT匹配点约束直线匹配获得的同名直线构建虚拟匹配点;② 结合虚拟匹配点与SIFT匹配点建立初始匹配点集;③ 根据影像纹理信息特征相似性和空间角度顺序仿射不变性分别设计了基于影像信息的局部纹理特征约束和基于Delaunay三角网的局部几何特征约束模型对初始匹配点集进行检核,剔除误匹配点获取可靠匹配点集;④ 利用可靠匹配点集构建匹配三角网,以三角形重心作为迭代加密匹配基元,结合核线约束和仿射变换实现迭代匹配拓展,得到最终密集匹配点集。
图1 基于可靠匹配点约束的遥感影像密集匹配算法流程

Fig. 1 A dense matching algorithm flow for remote sensing images based on reliable matched points constraint

2.1 构建初始匹配点集

鉴于SIFT匹配算法获取的匹配点较为稀疏,进一步考虑利用匹配得到的同名直线构建虚拟匹配点集。该过程在已有直线段检测（Line Segment Detector, LSD）算法提取直线的基础上,利用SIFT匹配点约束直线匹配获取同名直线,分别通过两影像上对应的同名直线相交构建虚拟匹配点,将得到的虚拟匹配点集和SIFT匹配点集相结合得到最终的初始匹配点集。该过程一方面可以增加初始匹配点数目,另一方面可以扩大初始匹配点的覆盖范围,为后续加密匹配提供有利的基础保障。
2.1.1 同名直线提取
本文利用SIFT匹配点集合和已有LSD算法提取直线的基础上构建同名直线。假设S={(si, s'i), i=1, 2, ···, M},L={lj, j=1, 2, ···, N},L'={l'k, k=1, 2,···,Q},其中,si和lj分别为参考影像SIFT匹配点和LSD提取直线,s'i和l'k分别为搜索影像SIFT匹配点和LSD提取直线,M为匹配点数量,N和Q分别为参考影像和搜索影像LSD提取直线数量。首先,对任一直线段lj,判断其两侧一定范围内距离其垂线距离最近的匹配点sa和sb,其中a, b∈[1,M],对其构建虚拟直线段lab,对应得到搜索影像上两匹配点s'a和s'b构建的虚拟直线段l'ab,利用l'ab建立矩形候选区用以确定匹配候选直线段集合Hj;接着,分别计算lab和lj以及l'ab和候选直线段集合Hj中每条线段间的夹角,记为角度A和角度集合A',根据计算角度A与集合A'中每个角度之间的差值,剔除差值大于一定阈值的候选直线;然后,利用核线约束确定lj和候选直线集Hj中每条线段之间的重叠部分构成集合p,在参考影像和搜索影像上分别以p中元素为基准构建相同尺寸矩形支撑域,选取灰度相似性系数最大对应的候选直线h'j作为lj的初始同名直线;最后,提取lj和h'j两侧一定范围内匹配点,利用两影像上匹配点到lj和h'j间的距离约束确定最终同名直线[22,23]。
2.1.2 构建虚拟点集
假设同名直线集为T={(tn, t'n), n=1, 2,···,E},其中,tn和t'n分别代表参考影像和搜索影像同名直线,E为同名直线数量。计算tn中任意两条直线段在影像范围内的交点,同时计算t'n中对应的两直线段交点,将二者记为1组虚拟匹配点。将两影像上所有同名直线相交得到的虚拟匹配点记为虚拟匹配点集。如图2所示I={(pc, p'c), c=1, 2, 3}为参考影像和搜索影像上3组同名直线相交构建的虚拟点集示意图。
图2 利用同名直线构建虚拟点集

Fig. 2 Using corresponding lines to construct virtual corresponding points

2.2 可靠匹配点获取

为了避免初始点集中存在误匹配点对后续匹配产生的影响,本文结合纹理和几何信息约束对其进行检核。鉴于参考影像和搜索影像之间纹理信息特征同分布特点,利用指纹信息和梯度信息构建匹配点局部区域纹理特征,同时为了避免相似或重复纹理对匹配的影响,构建基于Delaunay三角形的局部几何属性,结合上述局部纹理和几何特征约束模型对误匹配点进行剔除,得到最终可靠匹配点集。
2.2.1 基于影像信息的局部纹理特征约束
依据参考影像和搜索影像之间纹理信息特征同分布特点,在局部区域设计加权约束条件用于剔除明显误匹配点。假设初始匹配点集为F={( fm, f'm), m=1, 2, ···, G},其中,G为匹配点数量,fm和f'm分别代表参考影像和搜索影像上第m个匹配点。遍历两影像所有初始匹配点,分别以fm和f'm为中心选取11像素×11像素矩形区域,记所选取区域集合为R={(rm, r'm), m=1, 2, ···, G},其中,rm和r'm分别代表参考影像和搜索影像第m个矩形区域。针对匹配点fm和f'm,利用均值哈希算法分别计算矩形区域rm和r'm之间的指纹信息[24],并利用巴氏系数算法计算二者相似性值,同时计算两区域梯度信息及其不同方向梯度相似性,梯度相似性计算规则如下：首先根据式(1)和式(2)计算rm和r'm之间水平方向和垂直方向的梯度值。
g h x , y = f ( x + 1 , y ) - f ( x , y ) , x = 1 f ( x , y ) - f ( x - 1 , y ) , x = 10 f ( x + 1 , y ) - f ( x - 1 , y ) 2,2 ≤ x ≤ 9 g v x , y = f ( x , y + 1 ) - f ( x , y ) , y = 1 f ( x , y ) - f ( x , y - 1 ) , y = 10 f ( x , y + 1 ) - f ( x , y - 1 ) 2,2 ≤ y ≤ 9
g h x ' , y ' = f ( x ' + 1 , y ' ) - f ( x ' , y ' ) , x ' = 1 f ( x ' , y ' ) - f ( x ' - 1 , y ' ) , x ' = 10 f ( x ' + 1 , y ' ) - f ( x ' - 1 , y ' ) 2,2 ≤ x ' ≤ 9 g v x ' , y ' = f ( x ' , y ' + 1 ) - f ( x ' , y ' ) , y ' = 1 f ( x ' , y ' ) - f ( x ' , y ' - 1 ) , y ' = 10 f ( x ' , y ' + 1 ) - f ( x ' , y ' - 1 ) 2,2 ≤ y ' ≤ 9
式中：gh(x, y)和gv(x, y)分别为rm水平方向和垂直方向梯度值;gh(x', y')和gv(x', y')分别为r'm水平方向和垂直方向梯度值,然后通过梯度值建立不同方向梯度直方图并利用巴氏系数最终获得rm和r'm之间水平方向和垂直方向梯度相似性[25]：
G h = ∑ i = 1 n hist ( g h x , y ) ∙ hist ( g h ( x ' , y ' ) ) G v = ∑ i = 1 n hist ( g v x , y ) ∙ hist ( g v x ' , y ' )
式中：hist(·)为直方图函数;Gh和Gv分别为水平方向和垂直方向梯度相似性。为保证最小差异,指纹信息相似性和梯度相似性均采用巴氏系数算法实现对匹配点的相似性加权约束,则匹配点fm和f'm加权相似性值为,
T GH = λH + ( 1 - λ ) ( G h + G v ) 2
式中：H为rm和r'm之间指纹信息相似性值;λ为组合系数,取值范围为0~1;TGH为rm和r'm之间梯度相似性值和指纹信息相似性值的加权和,设置相似性阈值Tgh,针对所有匹配点,对小于相似性阈值Tgh的匹配点进行剔除,得到更新后的匹配点集F1={(fm1, f'm1), m1=1, 2, ···, G1}。图3为某区域指纹信息计算结果示意图以及利用式（1）和式（2）对不同方向梯度值计算结果。
图3 基于影像信息的局部纹理特征约束

Fig. 3 Local texture feature constraint based on image information

2.2.2 基于Delaunay三角网的局部几何特征约束
鉴于局部纹理特征约束不能有效剔除因相似或重复纹理产生的错误匹配[26],进一步利用局部几何约束对上述结果进一步检核。对局部纹理特征约束后得到的匹配点构建Delaunay三角网,每个匹配点即为三角网中三角形的某一顶点,根据三角形构建规则可知,三角网每个顶点至少拥有2个直接连接点。假设参考影像第m1个顶点fm1直接连接点集合为B={be, e=1, ···, O},定义局部极坐标系：极点为fm1,以fm1至某一直接连接点be射线方向为极轴,计算极点fm1与不同连接点be所构造射线之间的极角,得到极点fm1的极角集合为C={Ce, e=1,···,O};利用相同方法计算搜索影像极点f'm1对应的极角集合C'={C'e, e=1,···,O},求取极角集合C和C'之间的相似性值;设置相似性阈值Tgeo,将最小相似性值与阈值Tgeo相比,若其小于Tgeo,则删除最小相似性值所对应的顶点并更新匹配点集和三角网;按照上述规则重新迭代计算匹配点极角相似性,并比较最小相似性值与Tgeo值,直到所有顶点的相似性值大于阈值Tgeo,得到更新后的参考影像三角网顶点集合为F2={fm2, m2=1, 2, ···, G2},搜索影像三角网顶点集合为F'2={f'm2, m2=1, 2,···,G2}。通过上述处理可有效降低误匹配点对Delaunay三角网构建整体结构的影响。
cos ( θ ) = ∑ e = 1 O C × e C ' e ∑ e = 1 O C e 2 × ∑ e = 1 O C ' e 2
图4为匹配点(fm1, f'm1)的极角示意图,fm1与f'm1与相应连接点所构造射线集合分别为{l1, l2, l3, l4, l5}和{r1, r2, r3, r4, r5},以l5和r5为极轴方向,利用相同顺序计算每条射线与极点的极角值以构建极角集合。为降低旋转影响,选用在数值上不敏感的余弦相似性算法计算极角集合相似性值,如式(5)所示,其所计算的是向量之间夹角的余弦值,更注重向量之间方向上的差异性[27]。
图4 基于Delaunay三角网的局部几何特征约束

Fig. 4 Local geometric feature constraint based on Delaunay triangulation network

2.3 迭代匹配拓展

经过上述局部纹理特征约束和局部几何约束优化后,有效地确保了初始匹配点的可靠性。为了进一步满足高精度的三维建模需求,本文在上述结果三角网基础上进一步实现匹配点的拓展加密。在参考影像中,假设V={(Triη, SηTri, GηTri), η=1, 2,···,E},其中,Triη表示第η个三角形,SηTri和GηTri分别代表三角形Triη的面积和重心点。首先,设置三角形面积阈值Ts,选取面积大于阈值Ts的三角形。通过基于共面条件的相对定向线性变换(Relative orientation Linear Transformation, RLT)算法[28],结合fm2和f'm2利用间接平差法获取同名核线关系参数L0j(j=1,2, 3,···,8)。对于参考三角形中的重心点GηTri=(GηTrix, GηTriy),可得到其在搜索影像上核线的 两端点坐标：
N xst η = 1 N yst η = 1 - L 3 0 G Trix η - L 1 0 - L 2 0 G Trix η - L 4 0 - L 5 0 G Trix η - L 7 0 G Triy η 1 + L 6 0 G Trix η + L 8 0 G Triy η
N xend η = ξ N yend η = 1 - L 3 0 G Trix η - L 1 0 - L 2 0 G Trix η - L 4 0 ξ - L 5 0 ξ G Trix η - L 7 0 ξ G Triy η 1 + L 6 0 G Trix η + L 8 0 G Triy η
式中：Nηxst和Nηyst为GηTri对应核线起始点坐标;Nηxend和Nηyend为GηTri对应核线终点坐标;ξ为搜索影像的总列数。然后,将得到的核线搜索范围定位到匹配三角形中获得局部核线段,利用影像局部纹理特征约束遍历局部核线段上的所有候选点,以Tgh为相似性阈值条件,若某段核线所有候选点均小于Tgh,则转至下一段核线,反之,则选取最大加权相似性值点作为新增匹配点（图5）;接着,判断Triη与搜索影像上三角形Tri'η之间的相似性[29],若两三角形相似,则如图6所示,根据仿射变换原理[30],可得出Triη在Tri'η的仿射变换模型Φ,对于GηTri可得到其在Tri'η中的预测点位置G'ηTri=Φ⊙GηTri,因此,对于未匹配到匹配点的三角形得到其G'ηTri,并作为新增匹配点。最后,将新增匹配点导入,重新开始迭代匹配,直到无新增点,获得最终匹配拓展结果。
图5 基于匹配三角形的核线段提取

Fig. 5 Epipolar extraction based on matching triangles

图6 仿射变换模型

Fig. 6 Affine transformation model

3 实验分析

3.1 影像数据

资源三号卫星携带三线阵加小面阵立体测绘相机,3个星敏器和精密定轨GPS,轨道高度为550 km,回归周期为69 d。为了验证本文基于可靠匹配点约束的遥感影像密集匹配算法的有效性,在自然资源卫星影像云服务平台[31]获取了2013年3月9日福州地区的资源三号卫星数据,位于119°02'E—119°39'E,25°34' N—26°12' N,将前视相机和后视相机获取的全色影像进行裁剪选取4组子影像数据,如图7(a)—图7(d)为前视数据,图7(e)—图7(h)为后视数据,以前者作为参考影像,后者作为搜索影像,前后视数据选取时稍有位置偏移。为计算方便,前视数据和后视数据均为400像素×400像素。4组数据中,前3组数据特征较为明显,主要地物为建筑物和农田,第4组数据为山地地区,分布较为均质,各特征表现不明显,本文实验均在该4组数据上进行。相机具体参数如表1所示。本文实验在3.30 GHZ Intel core i5-7400CPU、8G内存的电脑上进行,采用MATLAB2016a平台完成本文实验算法。
图7 原始实验影像

Fig. 7 Original experimental image

表1 资源三号卫星前后视相机参数

Tab. 1 Parameters of the forward and backward view cameras of the ZY-3 satellite

有效载荷 光谱范围/μm 空间分辨率/m 幅宽/km 侧摆能力 重访时间/d
前视相机 0.50~0.80 3.5 52 ±32° 5
后视相机 0.50~0.80 3.5 52 ±32° 5

3.2 参数分析

本文利用影像局部纹理特征约束和局部几何特征约束对初始匹配点集进行检核剔除误匹配点,该过程共包含3个参数,分别为纹理特征约束加权相似性阈值Tgh、加权指数λ和局部几何约束相似性阈值Tgeo,通过约束后所获取的可靠匹配点实现迭代匹配拓展,在匹配拓展过程中利用三角形面积阈值Ts控制最终匹配密集度。以第3组数据为例,本节对参数Tgh、λ和Tgeo设置不同阈值分析其最佳参数值,为保证实验均在同一条件下实现,本节所有实验中将三角形面积阈值Ts均设置为50（详见3.3.2节）。为进行匹配结果的精度评定,本文利用单应性矩阵判断匹配点正确性,该算法可有效反映2幅影像之间的映射关系[32],表示为：
X ' = HX X = H - 1 X '
式中：X和X'分别为参考影像和搜索影像上相互对应的匹配点。通过4对以上的匹配点可确定3阶单应性矩阵H。已知参考影像上匹配点的坐标,通过式(8)可求得其在搜索影像上的映射点,计算搜索影像上的点与映射点之间的距离,将距离小于设定阈值Td的点定义为正确匹配点,为使匹配结果评定更加严谨,本文距离阈值Td均设置为1。以正确匹配点对数在总匹配点数中所占的比例为精度评价算法性能。为方便表示,以Imatch表示匹配点对数,Icor表示正确匹配点对数,Iacc表示匹配精度。
3.2.1 纹理特征约束参数分析
如表2所示为不同阈值下基于影像信息的局部纹理特征约束参数分析表,统计了在不同加权指数λ和不同加权相似性阈值Tgh下的Imatch、Icor和Iacc,为更直观体现,依据表2绘制了图8(a)—图8(d)。由图8(a)和图8(b)可知,当加权指数λ固定时,影像匹配精度Iacc和正确匹配点数Icor随Tgh增加而不断提高,且在不同λ下随Tgh增加其Iacc和Icor变化趋势基本一致,表明了指纹信息约束和梯度约束的有效性;由图8(c)和图8(d)可知,当Tgh取不同值时,Iacc和Icor随着加权指数λ的变化趋势基本一致,当λ在[0.1, 0.3]之间时,影像匹配精度不断提高,在取值为0.3时Iacc达到最大,在0.3之后,其Iacc有明显下降,加权指数λ值在偏低值区较偏高值区其匹配精度表现更佳,表明了在基于影像信息的局部纹理特征约束中梯度约束相对于指纹信息约束表现更加重要,并且随着阈值的增大,其Imatch变化也较小。
表2 不同阈值下纹理特征约束参数分析表

Tab. 2 Texture feature constraint parameter analysis table under different thresholds

Tgh λ=0.1 λ=0.2 λ=0.3 λ=0.4 λ=0.5
Imatch/对 Icor/对 Iacc Imatch/对 Icor/对 Iacc Imatch/对 Icor/对 Iacc Imatch/对 Icor/对 Iacc Imatch/对 Icor/对 Iacc
0.75 2591 133 0.05 2592 240 0.09 2591 305 0.11 2591 99 0.03 2585 89 0.03
0.80 2595 280 0.10 2596 444 0.17 2593 480 0.19 2587 219 0.08 2588 188 0.07
0.85 2592 702 0.27 2592 753 0.29 2597 816 0.31 2590 534 0.20 2589 482 0.19
0.90 2586 1786 0.69 2599 1996 0.76 2622 2170 0.80 2586 1691 0.65 2588 1609 0.62
0.95 2374 2190 0.92 2379 2210 0.93 2367 2225 0.94 2398 2221 0.93 2449 2271 0.92
图8 基于影像信息的局部纹理特征约束参数分析

Fig. 8 Local texture feature constraint parameter analysis based on image information

3.2.2 几何约束参数分析
设置加权指数λ=0.3,纹理特征约束加权相似性阈值Tgh=0.95,以此为基础进行局部几何约束相似性阈值Tgeo分析,如图9所示为影像匹配精度Iacc随Tgeo值变化折线图,由图可知,Tgeo值在区间[0.75, 0.85]时,其Iacc逐步递增,但Tgeo值在[0.85, 0.95]区间递增时匹配点精度均为98%。如表3所示为不同阈值下局部几何约束参数分析表,由表可知Tgeo值于0.85逐步递增时所得正确匹配点数依次减少,表明Tgeo值在0.85时可达到较好的状态。
图9 基于Delaunay三角网的局部几何特征约束参数分析

Fig. 9 Analysis of local geometric feature constraint parameters based on Delaunay triangulation network

表3 不同阈值下局部几何约束参数分析表

Tab. 3 Analysis table of local geometric constraint parameters under different thresholds

Tgeo λ=0.3,Tgh=0.95
Imatch/对 Icor/对 Iacc
0.75 2463 2370 0.96
0.80 2451 2378 0.97
0.85 2438 2387 0.98
0.90 2344 2301 0.98
0.95 2231 2180 0.98

3.3 对比分析

3.3.1 初始匹配点集可靠性分析
为了验证本文算法可靠匹配点集获取的必要性及有效性,分别采用初始匹配点集及错误剔除后的可靠匹配点集作为后续迭代匹配的基础数据,对4组影像数据密集匹配结果进行对比分析。基于3.2节不同参数对比分析实验,本节实验参数设置如下：λ=0.3、Tgh=0.95、Tgeo=0.85。如图10所示为利用初始匹配点集构建的Delaunay三角网图,其中 图10(a)—图10(d)代表参考影像,图10(e)—图11(h)代表搜索影像,可以看出初始匹配点数量较多,但含有明显误匹配点,在图中已用红色框对明显误匹配区域进行标记。图11所示为利用可靠匹配点构建的Delaunay三角网图,其中图11(a)—图11(d)代表参考影像,图11(e)—图11(h)代表搜索影像,可以看出虽然匹配点较为稀疏,但所含误匹配点较少。如表4所示为初始匹配点和可靠匹配点对比结果,经过约束后的匹配点数量虽然明显降低,但匹配精度显著增加,4组数据其Iacc分别增加22%、20%、21%和12%,为后续迭代匹配拓展奠定良好基础。
图10 初始匹配点Delaunay三角网

Fig. 10 Initial matched points of Delaunay triangulation network

图11 可靠匹配点Delaunay三角网

Fig. 11 Reliable matched points of Delaunay triangulation network

表4 初始匹配点和可靠匹配点对比

Tab. 4 Comparison of initial matched points and reliable matched points

数据 第1组 第2组 第3组 第4组
初始匹配点 可靠匹配点 初始匹配点 可靠匹配点 初始匹配点 可靠匹配点 初始匹配点 可靠匹配点
Imatch /对 622 154 1943 382 712 176 224 121
Icor /对 406 133 1534 379 547 173 190 116
Iacc 0.65 0.87 0.79 0.99 0.77 0.98 0.85 0.97
3.3.2 不同算法对比分析
本文采用3种算法实现对比实验,即文献[30]匹配算法、文献[33]匹配算法和本文匹配算法。3种算法均由SIFT算法获取初始匹配点,并均在Delaunay三角网基础上通过平面三角形重心实现密集匹配。文献[30]利用SIFT算法获取的匹配点作为匹配基元,通过构建Delaunay三角网,以匹配三角形重心为基础利用同名核线和仿射变换迭代拓展匹配点获得最终密集匹配点;文献[33]提出了一种基于等比Delaunay三角网的影像密集匹配算法,该算法首先在参考影像上基于SIFT稀疏匹配点构造Delaunay三角网,并依据平面三角形重心仿射不变性利用仿射变换匹配重心点;然后在此基础上计算出搜索影像中三角剖分等比点位置;最后利用等比点位置对匹配的三角形区域进行相似性检验以剔除误匹配点集获得最终密集匹配点。3种算法在三角形面积阈值T1、三角形相似性阈值r和三角形面积阈值Ts分别取不同值的情况下,匹配结果显示及统计分别如图12、表5所示。
图12 不同算法不同阈值下加密匹配结果

Fig. 12 Encryption matching results under different algorithms and different thresholds

表5 不同算法在不同阈值下密集匹配结果比较

Tab. 5 Comparison of dense matching results of different algorithms under different thresholds

T1 文献[30]算法 r 文献[33]算法 Ts 本文算法
Imatch/对 Icor/对 Iacc Imatch/对 Icor/对 Iacc Imatch/对 Icor/对 Iacc
85 1584 1251 0.78 15 1506 1451 0.96 80 1449 1423 0.98
53 2569 1987 0.76 20 2907 2803 0.96 50 2438 2366 0.97
20 6358 4810 0.75 30 6198 5984 0.96 18 6409 6287 0.98
15 8385 6478 0.77 45 8194 7817 0.95 14 8241 8082 0.98
如表5所示为3种算法在不同阈值下的Imatch、Icor和Iacc值,图12所示为利用不同算法在不同阈值下的加密匹配结果图,其中图12(a)—图12(d)为文献[30]算法在三角形面积阈值T1分别设置为85、53、20和15下的匹配结果图,图12(e)—图12(h)为文献[33]算法在三角形相似性阈值r分别设置为15、20、30和45下的匹配结果图,图12(i)—图12(l)为本文算法在Ts分别设置为80、50、18和14下的匹配结果图,可看出文献[30]算法和本文算法随着面积阈值的降低密集匹配点数量不断增加,文献[33]算法随着三角形相似性阈值的提升密集匹配点数量不断增加,并且匹配结果中空洞现象也有所减小。就整体而言,3种算法随着匹配点的不断加密,其匹配精度基本保持在同一水平。
由图12可知,匹配点数量过于稀疏,算法的匹配性能展示不清晰,相反,匹配点过密则会出现匹配点粘连现象,影响匹配结果的观察。在T1=53、r=20、Ts=50时3种算法不仅获得相当数目的匹配点,且匹配结果更直观,可很好地进行观察分析,因此,分别设置T1=53、r=20、Ts=50对4组数据进行实验对比分析。图13、图14和图15为分别利用文献[30]算法、文献[33]匹配算法和本文匹配算法所得到的匹配点构建的Delaunay三角网图,其中图13(a)-图13(d)、图14(a)—图14(d)和图15(a)—图15(d)代表参考影像,图13(e)—图13(h)、图14(e)—图14(h)和图15(e)—图15(h)代表搜索影像。表6统计了不同算法在4组数据上的密集匹配点结果,分别对不同算法的Imatch、Icor和Iacc进行了记录,并增加匹配运行时间作为各算法运行效率评定标准,以Times表示。
图13 文献[30]算法匹配结果

Fig. 13 Literature[30] algorithm matching result

图14 文献[33]算法匹配结果

Fig. 14 Literature[33] algorithm matching result

图15 本文算法匹配结果

Fig. 15 Algorithm matching results in this paper

表6 不同算法实验结果比较

Tab. 6 Comparison of experimental results of different algorithms

数据 文献[30]算法 文献[33]算法 本文算法
Imatch/对 Icor/对 Iacc Times/s Imatch/对 Icor/对 Iacc Times/s Imatch/对 Icor/对 Iacc Times/s
第1组 2577 1933 0.75 25 6466 5341 0.82 98 2490 2283 0.91 68
第2组 2455 2055 0.83 24 1479 1325 0.89 77 2482 2403 0.97 65
第3组 2569 1987 0.76 26 2907 2803 0.96 85 2438 2387 0.98 65
第4组 2218 1796 0.81 21 2318 2109 0.91 84 2175 2068 0.95 47
均值统计 2454 1618 0.79 24 3292 2894 0.90 86 2396 2285 0.95 61
由图13可以看出,文献[30]在4组数据中表现良好,获得了不错的效果,并基本能覆盖多数区域,但很明显在某些区域可以看到错误匹配点,在图中已将明显误匹配点用红色框标记,在4组数据上其平均匹配精度为79%,这是由于其利用SIFT匹配点直接作为匹配基础,仅用RANSAC算法剔除明显误匹配点,并未针对单个匹配点进行条件约束。由图14可以看出,文献[33]算法相较于文献[30]算法其密集匹配点分布不均匀,这是由于其通过三角形相似性约束控制密集匹配效果,导致在某一区域内会存在大量粘连匹配点,而在其他某些区域内其匹配结果存在空洞现象,在4组数据上的平均匹配精度为90%,相较于文献[30]算法有11%的提升。图15为本文算法匹配结果,本文密集匹配算法利用虚拟交点和SIFT匹配点作为初始匹配点,通过基于影像信息的局部纹理特征约束来剔除因纹理信息变化较大而产生的误匹配点,并设计基于Delaunay三角网的局部几何特征约束很好地消除相似或重复纹理影响而产生的误匹配点,其在4组数据上的平均匹配精度为95%,较文献[30]和文献[33]算法提升了16%和5%。从匹配效率上看,文献[30]算法匹配效率最高,平均耗时仅24 s,相对于其他2种算法具有较大优势,这是因其未对单个匹配点进行粗差检验,导致所获匹配点精度较低;文献[33]算法匹配效率比本文匹配算法低,平均耗时为86 s,这是因其通过不断的迭代过程计算影像三角剖分等比点位置,并利用等比点位置对匹配的三角形区域进行相似性计算,耗时相对较长;本文算法平均耗时为61 s,相对于文献[33]算法其匹配效率有所提升,但相对于文献[30]算法有一定差距,这是因为本文算法通过同名直线进行初始匹配点的拓展,并对初始匹配点进行粗差剔除,该操作一定程度上降低了算法匹配效率。相比较,文献[30]算法虽然匹配效率较高,但其匹配精度相对较低,综合匹配效率与匹配精度两方面,本文算法具有较好的可用性,在保证匹配精度的同时也确保了影像密集匹配的效率。

4 结论

本文提出了一种可靠匹配点作用下的遥感影像密集匹配算法。该算法通过构建虚拟匹配点增加初始匹配点的数目及覆盖范围,并结合影像局部纹理特征和局部几何特征双重约束对初始匹配点进行优化获取可靠匹配点集。以可靠匹配点集作为密集匹配基础实现迭代匹配拓展,得到较好的密集匹配结果。本文以4组资源三号卫星前视数据和后视数据为例,通过不同算法的对比分析,验证了本文算法的有效性,并得出了以下结论：
（1）在基于影像信息的局部纹理特征约束中,通过指纹信息和梯度信息对匹配点邻域内的纹理特征进行充分考虑,对特征相差较大的误匹配点实现了有效剔除,并且通过参数分析证明,当λ=0.3时可得到最佳剔除效果,表明梯度相似性较指纹信息相似性对匹配点的约束具有更高权重。
（2）在基于Delaunay三角网的局部几何特征约束中,利用局部连接结构计算匹配点间极角相似性值,通过不断迭代更新剔除相似性值低于0.85的匹配点,有效地避免了由于重复或相似纹理引起的误匹配。通过纹理特征和局部几何约束后的匹配点在4组数据上的平均匹配精度相对于约束前提高了19%,优化后的可靠匹配点为后续匹配拓展奠定了基础。
（3）在迭代匹配拓展中,以可靠匹配点所构建的Delaunay三角网重心点为匹配基元,通过核线约束和仿射变换对匹配点实现拓展加密,有效地降低了误差传播,所得密集匹配结果在4组数据上的平均匹配精度为95%,平均匹配时间为61 s,具有较好的匹配稳定性和匹配效率。
综上,本文提出的遥感影像密集匹配算法通过综合考虑匹配点的局部纹理特征关系和局部连接关系,有效地剔除了误匹配点得到可靠匹配点,利用可靠匹配点进行迭代匹配拓展实现密集匹配,其匹配结果很好地适用于复杂特征和均质特征影像。虽然本文方法得到了较好的匹配效果,但目前研究仅针对资源三号卫星前视数据和后视数据,对于异源以及不同时相数据的适用性需进一步验证,后续将针对异源和不同时相数据进行针对性研究。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
Marr D, Poggio T. A computational theory of human stereo vision[J]. Proceedings of the Royal Society of London, 1979, 204(1156):301-328.

[2]
Mayhew J E W, Frisby J P. Psychophysical and computational studies towards a theory of human stereopsis[J]. Artificial Intelligence, 1981, 17(1-3):349-385.

DOI

[3]
凌霄. 基于多重约束的多源光学卫星影像自动匹配方法研究[D]. 武汉:武汉大学, 2017.

[Ling X. Automatic matching of multi-sources optical satellite images based on multiple constraints[D]. Wuhan: Wuhan University, 2017. ]

[4]
马方龙. 基于归一化积相关匹配的彩色图像灰度化研究[D]. 兰州:兰州大学, 2018.

[Ma F L. Research on color-to-gray conversion based on normalized cross correlation[D]. Lanzhou: Lanzhou University, 2018. ]

[5]
杨佳宾, 姜永涛, 杨幸彬, 等. 基于Dense SIFT特征的无人机影像快速拼接方法[J]. 地球信息科学学报, 2019, 21(4):588-599.

DOI

[Yang J B, Jiang Y T, Yang X B, et al. A fast mosaic algorithm of UAV images based on dense SIFT feature matching[J]. Journal of Geo-information Science, 2019, 21(4):588-599. ]

[6]
Masry S E. An automatic method for height profile determination[J]. The Photogrammetric Record, 2006, 7(42):728-730.

DOI

[7]
Hel-Or Y, Hel-Or H, David E. Fast template matching in non-linear tone-mapped images[C]// 2011 International Conference on Computer Vision. IEEE, 2011:1355-1362.

[8]
Wang C, Wan T R, Palmer I J. A real-time dynamic simulation scheme for large-scale flood hazard using 3D real world data[C]// 2007 11th International Conference Information Visualization (IV '07). IEEE, 2007:607-612.

[9]
施颖琦, 顾力栩. 基于互信息多步骤优化的医学图像配准[J]. 计算机工程, 2006, 32(22):187-188.

[Shi Y Q, Gu L X. Optimized multistage medical image registration method based on mutual information[J]. Computer Engineering, 2006, 32(22):187-188. ]

[10]
Valgren C, Lilienthal A J. SIFT, SURF & seasons: Appearance-based long-term localization in outdoor environments[J]. Robotics and Autonomous Systems, 2010, 58(2):149-156.

DOI

[11]
Vijayan V, Kp P. A comparative analysis of RootSIFT and SIFT methods for drowsy features extraction[J]. Procedia Computer Science, 2020, 171:436-445.

DOI

[12]
Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

DOI

[13]
姜文聪, 张继贤, 程春泉, 等. SIFT与粗差剔除算法相结合的机载SAR影像匹配研究[J]. 地球信息科学学报, 2013, 15(3):440-445.

DOI

[Jiang W C, Zhang J X, Cheng C Q, et al. Matching of airborne SAR images based on a combination of SIFT algorithm with mismatching points eliminated algorithm[J]. Journal of Geo-information Science, 2013, 15(3):440-445. ]

[14]
Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6):381-395.

DOI

[15]
Chum O, Matas J. Matching with PROSAC - progressive sample consensus[C]// 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). IEEE, 2005:220-226.

[16]
Raguram R, Chum O, Pollefeys M, et al. USAC: A universal framework for random sample consensus[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8):2022-2038.

DOI PMID

[17]
Sattler T, Leibe B, Kobbelt L. SCRAMSAC: Improving RANSAC's efficiency with a spatial consistency filter[C]// 2009 IEEE 12th International Conference on Computer Vision. IEEE, 2009:2090-2097.

[18]
Liu Z, Marlet R. Virtual line descriptor and semi-local graph matching method for reliable feature correspondence[C]// Procedings of the British Machine Vision Conference 2012. British Machine Vision Association, 2012:1-11.

[19]
Hu H, Zhu Q, Du Z Q, et al. Reliable spatial relationship constrained feature point matching of oblique aerial images[J]. Photogrammetric Engineering & Remote Sensing, 2015, 81(1):49-58.

[20]
Li J Y, Hu Q W, Ai M Y. 4FP-structure: A robust local region feature descriptor[J]. Photogrammetric Engineering & Remote Sensing, 2017, 83(12):813-826.

[21]
李建晔. 点、线结合下的多源高分辨率遥感影像匹配[D]. 阜新:辽宁工程技术大学, 2012.

[Li J Y. The matching of Multi-source high resolution image based on points and lines[D]. Fuxin: Liaoning Technical University, 2012. ]

[22]
刘肃艳, 王竞雪. 结合同名点及核线约束的近景影像直线匹配[J]. 测绘科学, 2019, 44(10):128-135.

[Liu S Y, Wang J X. Line matching for close-range images by combining corresponding points and epipolar constraint[J]. Science of Surveying and Mapping, 2019, 44(10):128-135. ]

[23]
梁艳, 盛业华, 张卡, 等. 利用局部仿射不变及核线约束的近景影像直线特征匹配[J]. 武汉大学学报·信息科学版, 2014, 39(2):229-233.

[Liang Y, Sheng Y H, Zhang K, et al. Linear feature matching method based on local affine invariant and epipolar constraint for close-range images[J]. Geomatics and Information Science of Wuhan University, 2014, 39(2):229-233. ]

[24]
鲜翠琼, 秦学, 朱道恒, 等. 一种图文组合相似度算法的设计与优化[J]. 软件工程, 2020, 23(8):9-12.

[Xian C Q, Qin X, Zhu D H, et al. Design and optimization of a similarity algorithm for combination of graphics and text[J]. Software Engineering. 2020, 23(8):9-12. ]

[25]
Jain P, Dixit V S. Proposed similarity measure using Bhattacharyya coefficient for context aware recommender system[J]. Journal of Intelligent and Fuzzy Systems, 2018, 36(5):1-12.

DOI

[26]
Jiang S, Jiang W S. Reliable image matching via photometric and geometric constraints structured by Delaunay triangulation[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 153:1-20.

DOI

[27]
Nguyen H V, Bai L. Cosine similarity metric learning for face verification[C]. Computer Vision-ACCV 2010, Lecture Notes in Computer Science, 2010:709-720.

[28]
张卡, 盛业华, 叶春. 基于数字视差模型和改进SIFT特征的数字近景立体影像匹配[J]. 测绘学报, 2010, 39(6):624-630.

[Zhang K, Sheng Y H, Ye C. Digital close-range stereo image matching based on digital parallax model and improved SIFT feature[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(6):624-630. ]

[29]
吴波. 自适应三角形约束下的立体影像可靠匹配方法[D]. 武汉:武汉大学, 2006.

[Wu B. A reliable stereo image matching method based on the self-adaptive triangle constraint[D]. WuHan: WuHan University, 2006. ]

[30]
王竞雪, 张晶, 张雪. 迭代三角网约束的近景影像密集匹配[J]. 信号处理, 2018, 34(3):347-356.

[Wang J X, Zhang J, Zhang X. A dense matching algorithm of close-range images constrained by iterative triangle network[J]. Journal of Signal Processing, 2018, 34(3):347-356. ]

[31]
自然资源部国土卫星遥感应用中心. 自然资源卫星影像云服务平台[DB/OL]. http://sasclouds.com/chinese/normal/.

[Land Satellite Remote Sensing Application Center, Ministry of Natural Resources. The Cloud Service Platform of Natural Resources Satellite Images[DB/OL]. http://sasclouds.com/chinese/normal/.]

[32]
欧阳欢, 范大昭, 纪松, 等. 结合离散化描述与同名点约束的线特征匹配[J]. 测绘学报, 2018, 47(10):1363-1371.

[OuY H, Fan D Z, Ji S, et al. Line matching based on discrete description and conjugate point constrain[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(10):1363-1371. ]

[33]
Jia D, Wu S, Zhao M Y. Dense matching for wide baseline images based on equal proportion of triangulation[J]. Electronics Letters, 2019, 55(7):380-382.

DOI

Options
Outlines

/

〈 〉