EN中文

Journal of Geo-information Science >

2019 , Vol. 21 >Issue 4: 588 - 599

DOI: https://doi.org/10.12082/dqxxkx.2019.190001

Orginal Article

A Fast Mosaic Algorithm of UAV Images based on Dense SIFT Feature Matching

  • YANG Jiabin , 1, * ,
  • JIANG Yongtao 1 ,
  • YANG Xingbin 2 ,
  • GUO Guangmeng 1
Expand
  • 1. Key laboratory of Natural disaster and remote sensing of Henan province, Nanyang Normal University, Nanyang 473061, China
  • 2. College of Surveying and Urban Spatial Information, Beijing University of Civil Engineering and Architecture, Beijing 100044, China
*Corresponding author: YANG Jiabin, E-mail:

Received date: 2019-01-01

  Request revised date: 2019-03-14

  Online published: 2019-04-24

Supported by

National Natural Science Foundation of China, No.41604009, 41071280

Nanyang Normal University Youth Project, No.18060

Copyright

《地球信息科学学报》编辑部 所有
Fold

Abstract

The UAV (Unmanned Aerial Vehicle) photography is a new remote sensing system emerging in recent years. It plays an important role in the rapid emergency response of natural disasters. However, due to the large amount of UAV image data, the traditional method for image matching and mosaic is low accuracy and time-consuming. Feature matching is one of key steps in UAV image mosaic. Traditional matching algorithms have several problems, including less feature points, feature maldistribution, and time-consuming. To solve these problems, a fast image mosaic algorithm based on Dense SIFT feature matching is proposed. Firstly, the connection matrix is build based on POS (Position and Orientation System) data to conduct the matching process. The UAV images are then down-sampled. Secondly, image segmentation is performed on the down-sampled images. Then the Dense SIFT operator is used in overlap area of down-sampled images to obtain the initial matching points which are eliminated through matching by the RANSAC (Random Sample Consensus) algorithm and refined by the NCC algorithm on the original and down-sampled images, respectively. Finally, processed images are projected to the object coordinate system based on collinear equation which is calculated by the bundle adjustment method. By contrast, the SIFT (Scale-Invariant Feature Transform) and SURF (Speeded Up Robust Feature) algorithms and the Pix4Dmapper Photogrammetry software are used to test the quality and efficiency of the Dense SIFT algorithm. Two groups of UAV images mosaic experiment results indicate: (1) The Dense SIFT algorithm can be used to obtain about five times more evenly distributed matching points than the SIFT and SURF algorithm at the same time; (2) The Dense SIFT algorithm can be used to effectively improve the quality of the images mosaic by removing the phenomenon of ghosting; (3) It takes about half the time of Pix4D mapper software to complete the same image mosaic test using the Dense SIFT algorithm. This indicates that the presented algorithm has a high image mosaic quality and fast processing speed, which can play an important role in the rapid emergency response of natural disasters.

Key words： UAV image mosaic; Dense SIFT feature matching; connection matrix; NCC algorithm; collinear equation; bundle adjustment

Cite this article

YANG Jiabin , JIANG Yongtao , YANG Xingbin , GUO Guangmeng . A Fast Mosaic Algorithm of UAV Images based on Dense SIFT Feature Matching[J]. Journal of Geo-information Science, 2019 , 21(4) : 588 -599 . DOI: 10.12082/dqxxkx.2019.190001

1 引言

无人机遥感是近年来兴起的一种新型遥感系统,具有快速、灵活、低成本、高影像分辨率等特点[1]。很多遥感影像处理的软件都带有遥感影像拼接的功能,但由于无人机影像的数据量较大,利用传统的方法进行影像匹配和拼接速度慢,耗时长,在自然灾害的快速应急响应中难以发挥良好的作用。
影像匹配是无人机影像拼接的关键步骤,为解决无人机影像匹配拼接耗时长的问题,国内外学者已做了大量研究。Lowe[2]提出了尺度不变特征变换（Scale-invariant Feature Transform, SIFT）算法,该方法具有匹配精度高、与影像的尺度和旋转无关、对光线、噪声、微视角改变的容忍度好等优点。该方法对于边缘光滑目标的特征点提取能力较弱,特征点分布不均,且匹配耗时长,难以满足实时处理的要求[3]。也有一些学者对基于SIFT匹配的影像拼接方法进行了改进。Moussa和El-Sheim[4]根据无人机影像坐标信息构建Delaunay三角网,进行相邻影像的SIFT特征匹配,一定程度上缩短了影像匹配的时间。刘如飞等[5]通过对影像进行分块处理,再对分块影像进行SIFT特征提取匹配,缩小了SIFT算法匹配特征点的范围,提高了影像匹配拼接的速度。Mehrdad等[6]提出一种面向实时的无人机影像拼接方法,用SIFT算法提取关键点,然后,使用 rotation-aware BRIEF描述关键点形成特征描述向量,提高了影像匹配速度。董梅等[7]根据无人机影像的航带排布关系避免众多无关影像之间的盲目匹配,缩小匹配点的搜索范围,提高了SIFT特征点的提取效率。然而,这些算法并未从根本上解决SIFT算法本身耗时量大的问题,影像拼接速度仍受到一定限制。针对这一问题,Bay等[8]改进了SIFT算法的特征提取和描述方式,提出高鲁棒性的局部特征点检测算法,即SURF（Speeded Up Robust Feature）算法,该算法对兴趣点提取及其特征向量描述方面进行了改进,相比于SIFT算法在特征提取匹配的速度方面有所提升,但匹配点数量减少。胡同喜等[9]将SURF算法用于无人机影像拼接,影像匹配速度相比于SIFT算法有所提高,但匹配点数量和分布欠佳,影像拼接质量不高。王勃等[10]提出一种快速的无人机影像无缝拼接方法,先对原始影像进行降采样处理,再对降采样影像进行SURF特征提取和匹配,虽然该方法使拼接速度得到较大提升,但由于只是在降采样影像上进行匹配,影像拼接精度也大大降低。ORB算法由Rublee等[11]在2011年提出,该算法最大的优点是匹配速度极快,能够完成实时处理。佘建国等[12]采用ORB （Oriented FAST and Rotated BRIEF）算法,并结合空间一致性检测理论改进 RANSAC （Random Sample Consensus）算法,减少迭代次数以提高拼接速度。尽管已有研究表明ORB算法在像幅不大的影像上能够做到实时匹配[13],但该算法匹配的特征点数量和分布受影像纹理信息影响,匹配点数量和分布均匀度有所限制。深度学习技术已开始在影像特征点提取中得到应用,但深度学习方法的定位精度目前尚不能同传统的方法相比,相差约一个数量级[14],因此应用于影像快速拼接仍有一些问题亟待解决。
通过上述影像匹配拼接方法能够看出,传统的无人机影像匹配方法存在提取到的特征点数量不多、匹配成功的特征点分布不均匀、特征匹配耗时长,效率低等问题。本文提出一种基于Dense SIFT特征的无人机影像快速拼接算法,其采用的Dense SIFT算子能够快速有效地提取到均匀分布的密集特征点,对于特征匹配拼接耗时长,效率低的问题,本文通过连接矩阵引导匹配、降采样影像Dense SIFT匹配以及影像投影拼接的方法予以解决。另外,为保证匹配点精度保持在原始影像的一个像素以内,采用了速度快、精度高、适合小窗口影像匹配的NCC（Normalized Cross Correlation）算法进行匹配精化。本文算法基本思路是：首先利用POS （Position and Orientation System）信息构建连接矩阵,并对原始影像进行降采样处理,而后在降采样影像重叠区域上进行影像分块并在分块影像上使用Dense SIFT算法进行特征提取和匹配,采用RANSAC算法剔除匹配粗差,使用2次NCC匹配方法分别实现降采样影像匹配结果的精化以及原始影像精匹配。在匹配完成后,通过光束法平差方法实现影像外方位元素的精确求解,最后利用平差结果将原始影像投影至物方平均高程面上,完成影像快速拼接。

2 影像快速拼接算法

本文所述的无人机影像拼接方法包含4个阶段：影像预处理、影像匹配、整体平差和影像投影拼接,其中主要的耗时步骤为影像匹配和影像投影拼接2个阶段。影像快速拼接算法流程图如图1所示。
Fig. 1 Flow chart of UAV image fast mosaic

图1 无人机影像快速拼接流程

2.1 影像预处理

2.1.1 影像重叠度估计
影像POS信息中包含了像片摄影瞬间的定位数据和姿态数据,即影像的6个外方位元素,其中定位数据为3个直线元素 ( X s , Y s , Z s ) ,姿态数据为3个角元素 ( ϕ , ω , κ ) 。相邻影像的重叠区域如图2所示。
Fig. 2 Estimation of overlap area between of adjacent images

图2 影像重叠区域估计

影像重叠度估计的基本步骤如下：
（1）利用影像的3个线元素 ( X s , Y s , Z s ) 和旋转角 κ 估计影像4个边界角点的地理坐标。
（2）将相邻影像进行边界求交,得到影像边界交点 C i ( i = 0,1 , ⋯ , n ) 的坐标,其中 n 为边界交点数量。
（3）求算相邻影像间的重叠区（图2的四边形 S 0 C 1 F 2 C 0 ）面积 S overlap ,计算公式如式（1）所示。
S overlap = 1 2 ∑ k = 1 m ( x k y k + 1 - x k + 1 y k ) （1）
式中： x k k = 1,2 , … , m - 1 和 x k + 1 k = 1,2 , … , m - 1 表示重叠多边形相邻顶点的横坐标, y k k = 1,2 , … , m - 1 和 y k + 1 k = 1,2 , … , m - 1 为重叠多边形相邻顶点的纵坐标。
（4）获得相邻影像间的重叠度：
η = S overlap S all （2）
式中： S all 表示单张原始影像面积。
2.1.2 影像重叠度构建连接矩阵
在影像匹配时,本文利用影像间重叠度构建连接矩阵[15],根据连接矩阵判断影像两两之间是否进行特征匹配（影像间重叠度小于0.25的不进行匹配）,从而避免无重叠度影像间的盲目匹配。
连接矩阵为一个对称矩阵,矩阵 i 行 j 列元素值表示待拼接影像列表中第 i 张影像与第 j 张影像间的重叠度,主对角线元素全部为0（影像与自身不进行特征匹配,因此影像与其本身的重叠度定义为0）。通过亮度值反映连接矩阵的图形即为连接图,如图3所示为3条航带获取的17张无人机影像的连接图。
Fig. 3 Connection graph of 17 UAV images

图3 17张无人机影像的连接图

2.2 影像特征匹配

2.2.1 Dense SIFT特征匹配
影像匹配和影像纠正是影像拼接过程中的2个主要耗时阶段[16],其中影像纠正是逐像素解算的过程,其计算复杂度相对固定,因此要提高影像拼接速度,其关键是设计一种快速、高精度的影像匹配算法。
传统的影像匹配算法在特征点检测和特征描述阶段计算复杂度较高,其计算过程会耗费大量的时间。本文在获取影像间的匹配点时不使用传统的关键点检测算子,而是在影像重叠区内获取Dense SIFT初始匹配点。
Dense SIFT算子不同于传统的特征点检测算子,该算子不在高斯尺度空间上获取特征点（采样点）,而是事先对影像进行高斯平滑操作,然后通过滑动窗口的方式获取影像中的采样点坐标和其特征描述子[17]。获取采样点的过程中,通过设置采样点周围的窗口大小、采样步长以及影像采样范围,在采样范围内从影像左上方初始位置开始以一定步长滑动窗口,窗口滑动的过程中记录窗口中心点坐标和采样窗口内每个像素8个方向上的梯度,形成4×4×8维的特征向量,采样点获取和特征描述的过程如图4所示。
Fig. 4 Feature point extraction process of Dense SIFT algorithm

图4 Dense SIFT获取特征点过程

Dense SIFT算子的特征提取优势十分明显,它独特的采样方式使其能够快速地提取均匀分布的密集特征点,且由于使用了SIFT特征,该算子检测的特征点在影像匹配方面也具有一定的优势。然而若将该算法应用于影像拼接中,有2个问题需要解决：① 该算子提取的特征点存在一定的冗余度,且冗余度大小取决于影像分辨率的高低,即分辨率越高,检测到的特征点数量越多,冗余度也越大; ② Dense SIFT算子不具备完全的尺度旋转不变性（相比于SIFT算子和SURF算子）,某些无人机（多为固定翼无人机）在进行航空摄影时,其相邻航带影像之间存在较大的相对旋偏角,处理这类影像时,Dense SIFT算子无法得到较好的应用。
为解决上述问题,本文在获取Dense SIFT特征点时,先依据影像的旋偏角对航带影像进行旋转变换,减弱影像间相对旋转对匹配结果的影响,然后将影像进行降采样后获取Dense SIFT特征点[18]。考虑到Dense SIFT获取的特征点数量较多,因此获取初始匹配点时,首先对影像重叠区域进行分块处理[19]（左右两张影像重叠区部分的影像块一一对应,这种对应关系是依据左右影像重叠区边界点的对应关系建立的）,然后利用比值提纯法分别获取对应影像块之间的匹配点,假设左右影像分别提取到 k 1 、 k 2 个Dense SIFT特征点,则利用穷举法匹配的复杂度为 O ( k 1 , k 2 ) = k 1 × k 2 ,影像分块的比值提纯法复杂度为 O ( k 1 , k 2 ) = ( k 1 / 10 ) × ( k 2 / 10 ) = k 1 × k 2 / 100 （假设左右影像分块数量为10块）。
图5为影像分块示意图。在对应影像块间获取初始匹配点后,利用RANSAC算法[20]剔除误匹配 点[21]。图6、7所示为降采样8×8倍影像的Dense SIFT特征点提取和匹配结果。
Fig. 5 Image segmentation in overlapping area

图5 重叠区域影像分块

Fig. 6 Feature point extraction results of Dense SIFT algorithm

图6 Dense SIFT特征点提取结果

Fig. 7 Matching results of Dense SIFT algorithm

图7 Dense SIFT匹配结果

2.2.2 基于NCC算法的影像精确匹配
Dense SIFT算法在降采样影像上进行匹配,匹配成功的2个特征点可能会偏离实际位置几个像素。为解决这一问题,本文在降采样影像和原始影像上分别使用一次NCC匹配算法,对Dense SIFT的匹配结果进行匹配精化,在获取到原始影像的整像素匹配点后,利用抛物线拟合的方式获取亚像素精度的匹配点。
归一化交叉相关匹配法（Normalization Cross Correlation, NCC）算法[22],是通过计算匹配窗口间的相关系数进行匹配的方法,NCC算法在灰度变化及几何畸变不大的情况下精度很高,若只在小范围区域内进行匹配,该方法受局部光照变化的影响较小,匹配速度较快,因此非常适合小范围影像窗口的匹配,窗口间相关系数的计算公式如下：
ρ = ∑ i = 1 n ∑ j = 1 n X ( i , j ) - X ̅ Y ( i , j ) - Y ̅ ∑ i = 1 n ∑ j = 1 n X ( i , j ) - X ̅ 2 ∑ i = 1 n ∑ j = 1 n Y ( i , j ) - Y ̅ 2 （3）
式中： X ̅ = 1 n × n ∑ i = 1 n ∑ j = 1 n X ( i , j ) ; Y ̅ = 1 n × n ∑ i = 1 n ∑ j = 1 n Y ( i , j ) ; n 为影像搜索窗口大小; X ( i , j ) 为目标窗口内的像素灰度; Y ( i , j ) 为目标窗口内的像素灰度。
本文对Dense SIFT匹配点进行精化的过程 如下：
（1）在降采样影像上,以右影像Dense SIFT匹配点为中心,设置搜索窗口大小,由于本文使用的Dense SIFT算法是以5个像素为步长进行采样,因此搜索窗口大小定为11×11像素。
（2）计算左影像的Dense SIFT匹配点与搜索窗口内像素的NCC相关系数。
（3）取影像匹配相关系数 ρ 最大的点作为最佳匹配点。
（4）根据影像的降采样倍率将匹配点换算至原始影像上,在原始影像搜索窗口上进行NCC匹配（搜索窗口大小根据降采样倍率设置）,取相关系数最大的点作为原始影像初始匹配点。
（5）在初始匹配点行列方向上分别计算相邻像素点的匹配相关系数,然后利用抛物线拟合相关系数后计算最佳匹配位置[23],从而获取原始影像上亚像素级的匹配点。
（6）利用RANSAC算法估计影像间的基础矩阵,剔除精度不佳的匹配点。

2.3 光束法平差

利用特征匹配结果得到像对姿态参数,可以直接对影像进行透视变形改正,完成拼接。但如果仅考虑相邻影像间的关联,姿态估计的误差将不可避免地累积到下一个立体像对上,长期估计的结果将不再可靠,最终的拼接结果也会出现较大的偏移。一种较好的改进方法是将所有影像的匹配点视为观测值,整体纳入到区域网中对所有影像进行全局调整,得到最终的估计结果,这个全局调整的方法即光束法区域网平差[24]。
光束法平差以所有匹配点的像点坐标作为观测值建立误差方程,利用最小二乘原理,迭代解求待定未知数[24],误差方程建立方法如下：
V 1 V 2 = A 1 0 B 1 0 A 2 B 2 t 1 t 2 X - l 1 l 2 （4）
式中： V 1 V 2 T 表示像点误差; t 1 、 t 2 表示左右像片外方位元素组成的矩阵; X 表示待定点坐标改正数组成的列矩阵; A 1 、 A 2 分别表示 t 1 、 t 2 的系数矩阵; B 1 、 B 2 表示 X 的系数阵; l 1 、 l 2 为 V 1 、 V 2 相应的误差方程式常数项。
光束法平差需要有合适的外方位元素作为初始值,若初始外方位元素误差过大,迭代不易收敛。本文从无人机影像的POS数据中获取影像外方位元素作为初始值,利用Levenberg-Marquardt算法[25]和POS辅助光束法区域网平差方法[26]进行求解计算,最终得到所有影像的外方位元素和加密点的三维坐标。

2.4 影像纠正与拼接

利用光束法平差获取到每张影像的外方位元素后,根据外方位线元素和飞行时的设计航高,在物方空间选取一个平均高程面作为投影平面 Z H 0 ,利用共线方程和每张影像的精确外方位元素将每张影像投影至该物方平均高程平面上,即可完成影像快速拼接。其基本做法是如下。
（1）首先利用式（5）求出每张影像的4个角点 ( x , y ) 在物方高程面上的投影坐标 ( X , Y ) 。
X = X s + ( Z H 0 - Z s ) a 1 x + a 2 y - a 3 f c 1 x + c 2 y - c 3 f Y = Y s + ( Z H 0 - Z s ) b 1 x + b 2 y - b 3 f c 1 x + c 2 y - c 3 f （5）
式中： ( a 1 , a 2 , ⋯ , c 3 ) 为影像正交变换矩阵元素; X s 、 Y s 、 Z s 为外方位线元素; f 为焦距。
（2）根据影像角点的投影坐标计算原始影像投影至物方平均高程面的四至边界（即原始影像投影至物方面上的4个边界范围）;
（3）设置一定的地面采样间隔,从投影边界的左上角开始计算每个物方采样点 P 的平面坐标 ( X P , Y P ) ,代入式（6）求得 P 点在原始影像上的像点坐标 ( X P , Y P ) 。
x p = - f a 1 ( X P - X S ) + b 1 ( Y P - Y S ) + c 1 ( Z H 0 - Z S ) a 3 ( X P - X S ) + b 3 ( Y P - Y S ) + c 3 ( Z H 0 - Z S ) + x 0 y p = - f a 2 ( X P - X S ) + b 2 ( Y P - Y S ) + c 2 ( Z H 0 - Z S ) a 3 ( X P - X S ) + b 3 ( Y P - Y S ) + c 3 ( Z H 0 - Z S ) + y 0 （6）
（4）通过双线性内插方法计算整像素像点坐标,将像点坐标对应灰度值赋值给物方采样点,逐像素进行求算赋值。
将每张影像纠正到物方平面上后,计算重叠区影像的差值图像[27],在差值图像上按照逐行搜索法[28]选择一条两侧影像差异最小的路径作为镶嵌线,如图8所示。利用镶嵌线对影像进行分割后拼接即可得到最终的拼接图。
Fig. 8 UAV image difference graph and mosaic line search results

图8 无人机影像差值图和镶嵌线搜索结果

3 实验结果与分析

3.1 实验数据描述

为验证本文方法的有效性,选取2组eBee无人机影像作为试验数据,影像数据描述信息见表1,摄区与影像拍摄位置如图9。在Win 10 64位系统下基于Visual Studio 2013 采用C++开发了影像拼接算法,使用的硬件平台为联想G480笔记本,处理器为Intel（R）Core（TM）i5-3230M CPU、主频2.6 GHz,内存4 GB。实验分别从影像的匹配结果和影像拼接结果2个方面评价本文方法的有效性。
Tab. 1 Data description of testing areas

表1 实验影像数据描述

影像分辨率/像元 焦距/mm GSD/cm 影像数 相对航高/m 重叠度/%
航向 旁向
实验区1 4896×3672 33 13.0 17 449.0 75 60
实验区2 4896×3672 33 12.0 69 423.7 75 60

注：图9所示的两组影像数量分别为18张和70张,由于无人机每次执行拍摄任务时,首张影像拍摄可能存在的不稳定现象,因此本文将2组影像的首张影像剔除,试验影像数量分别为：测区1影像17张,测区2影像69张。

Fig. 9 Description of experimental area

图9 实验区域描述

3.2 影像匹配结果

为验证本文方法的匹配效果,在降采样8×8倍的2张重叠影像（重叠度为0.561084）上分别使用SIFT、SURF和本文方法（本文影像分块数量为12块）获取相邻摄站影像的匹配点,统计3种方法获取的同名点数量,如表2所示。将匹配点换算到原始影像上,利用NCC算法获取最终的匹配点,统计特征匹配和NCC精化用时,结果如表3。
Tab. 2 Statistics of feature matching

表2 特征匹配数量统计

算法类别 左影像特征点/个 右影像特征点/个 初始匹配点数量/个 RANSAC剔除粗差后数量/个 最终匹配点数/个
SIFT算法 1742 1764 421 390 387
SURF算法 1749 1 825 199 195 195
本文匹配算法 7275 7275 2774 2568 2055
Tab. 3 Statistics of time consuming of feature matching

表3 特征匹配时间统计

算法类别 降采样影像特征提取用时/s 降采样影像特征匹配用时/s NCC精化用时/s 总时间/s
SIFT算法 0.839 0.349 0.257 1.445
SURF算法 0.259 0.351 0.131 0.741
本文匹配算法 0.131 0.201 1.127 1.459
从表2、表3的匹配点数量和匹配效率统计结果可以看出,本文方法获取匹配点数量是SIFT和SURF算法的5倍以上,且匹配效率（匹配效率即匹配点与提取点数量之比,SIFT、SURF算法分别为22.21%和11.15%,本文方法为28.25%）较高,这主要是由于本文方法在降采样影像上利用Dense SIFT算法获取到了密集的初始采样点。从3种算法的匹配用时可以看出,本文方法在特征点提取阶段的用时要小于SIFT和SURF算法,但由于Dense SIFT检测到的特征点数量较多,导致算法在特征匹配和NCC精化过程用时较长,但即便在特征点数量远高于SIFT算法和SURF算法的情况下,仍能够保证匹配耗时与降采样8×8倍影像上进行SIFT匹配的耗时量相近。
为验证本文匹配方法的精度,将本文方法获取到的匹配点进行空三加密,以像点的平均反投影误差评定匹配像点的内符合精度,空三加密得到的物方点云如图10和图11所示,光束法平差后的像点平均反投影误差统计结果见表4。
Tab. 4 Mean reverse projection errors of match points

表4 像点平均反投影误差结果

加密点数量/个 σ̅x/像元 σ̅y/像元 σ̅/像元
实验区1 35 719 0.6215 0.5773 0.8482
实验区2 151 351 0.5935 0.5517 0.8103

注：像点在x方向的平均反投影误差σ̅x=∑i=1n(xi'-xi)2n,在y方向的平均反投影误差σ̅y=∑i=1n(yi'-yi)2n,平面上的平均反投影误差σ̅=∑i=1n[(xi'-xi)2+(yi'-yi)2]/n,式中(xi,yi)为原始匹配的像点坐标,(xi',yi')为平差后物方点反投影到原始影像的像点坐标,n为加密点数量。

Fig. 10 The distribution of 3D points in 17 images after bundle adjustment

图10 光束法平差后的17张影像加密点分布

Fig. 11 The distribution of 3D points in 69 images after bundle adjustment

图11 光束法平差后的69张影像加密点分布

从图10、图11可看出,本文匹配方法获得到了较多的加密点,且整体分布较为均匀,分析其原因主要是：本文采用Dense SIFT算法在降采样影像上获取到了密集、均匀分布的初始匹配点,在此 基础上利用NCC算法精化后得到了较好的匹配结果。表4反映了平差后像点的反投影误差计算结果,从该表可看出,2个测区影像数据在x方向和y方向上的像点平均反投影误差均在0.5~0.6个像素以内,在平面上的像点平均投影误差也能保证在一个像素以内,能够较好地满足自然灾害应急响应的需求。

3.3 影像拼接结果

图11为2个测区的整体拼接结果,为定性评价拼接结果,选取典型区域的局部拼接结果进行展示（图12）。从图12-图15的拼接结果可看出,使用SIFT和SURF拼接后的影像存在“重影”现象,本文算法的影像拼接效果整体较好,无论是在高差较大的建筑物区域或是高差较小的平地区域,都能较好地完成影像拼接。
Fig. 12 UAV image mosaic results of global area

图12 无人机影像整体拼接结果

Fig. 13 Mosaic results in local area using our method

图13 本文方法局部拼接结果

Fig. 14 Mosaic results in local area using SIFT

图14 SIFT局部拼接结果

Fig. 15 Mosaic results in local area using SURF

图15 SURF局部拼接结果

表5统计了本文算法进行2组无人机影像拼接时每个过程的用时量。从该表可明显看出,本文方法具有较快的影像匹配和拼接速度,匹配一对影像平均耗时约1.5 s,拼接影像平均用时约为34.4 s,拼接过程中大部分的用时花费在了影像纠正上,这是由于影像纠正过程是逐像素完成的,对于大部分的影像拼接方法的计算复杂度大体相同,因此综合来看,本文方法的拼接效率较高。
Tab. 5 Statistic of processing time using our method

表5 本文算法拼接时间对比

影像数量 影像匹配总次数/次 影像匹配用时/s 光束法平差用时/s 影像纠正用时/s 影像拼接总用时/s
实验区1 17 92 103.356 13.900 402.100 522.758
实验区2 69 376 421.861 20.100 1521.200 2152.360
为更好地对比本文方法有效性,利用商业无人机影像处理软件Pix4D拼接实验区1实验区2的无人机影像,耗时分别为1033.678 s和5529.607 s,本文方法是Pix4D软件拼接速度的2倍左右,说明本文算法在拼接速度方面具有一定的优势。

4 结论与展望

无人机遥感是低空对地观测技术的有力补充,其快速、灵活、低成本以及高分辨率等优点使该技术能够广泛服务于各个领域。然而,由于无人机影像的数据量较大,利用传统的方法进行影像匹配和拼接速度慢,耗时长,在自然灾害的快速应急响应中难以发挥良好的作用。
针对传统无人机影像匹配方法存在的特征点提取数量不多、匹配点分布不均匀以及匹配耗时长、效率低等问题,本文提出一种基于Dense SIFT特征的无人机影像快速拼接方法,一定程度上解决了无人机影像拼接过程耗时长的问题。相比于传统的无人机影像拼接算法,本文算法具有以下特点和优势：① 使用了连接矩阵和连接图策略,从一定程度上解决了由于无人机影像序列不一致所造成的无重叠度影像间盲目匹配的问题;② 通过对降采样影像的重叠区进行影像分块,再于分块后影像上进行Dense SIFT特征提取和匹配,不仅提取到了均匀分布的密集特征点,影像匹配的速度和效率也大大提高;③ 利用2次NCC匹配方法对匹配结果进行精化,有效解决了Dense SIFT匹配点精度低的问题。
通过与2种传统匹配拼接方法进行拼接对比,结果表明,本文方法不仅能够较快完成影像拼接（拼接17张和69张无人机影像耗时量分别为522.758 s和2152.360 s）,且有效避免了拼接影像中的“重影”现象,保证了较好的拼接质量。
另外,由于本文算法尚未完成影像特征匹配和影像纠正拼接的并行化,因而在拼接速度方面仍具有一定的优化扩展性。下一步的工作是利用并行技术实现影像匹配和纠正,以便实现快速的影像拼接。考虑到本文算法匹配点精度有待提高,下一步将考虑把线匹配[29]加入到算法中约束匹配点。

The authors have declared that no competing interests exist.

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
崔红霞,孙杰,林宗坚.无人机遥感设备的自动化控制系统[J].测绘科学,2004(1):47-49,6.UAVRS-Ⅱ型无人机低空遥感监测系统以面阵CCD数码相机和稳定平台作为主要机载遥感设备。遥感设备和稳定平台的自动化控制系统重点解决利用单轴稳定平台修正偏流角和根据无人机飞行时的导航参数实时解算曝光间隔来确保航向重叠度的问题。地面和实际飞行试验表明,这套自行开发的无人机遥感设备的自动化控制系统达到了预期的目的、取得了良好的效果。

DOI

[Cui H X, Sun J, Lin Z J.The auto-control system of remote sensing devices for unmanned air vehicle[J]. Science of Surveying and Mapping, 2004(1):47-49,6. ]

[2]
Lowe D G.Distinctive image features from scale-invariant keypoints[C]// International [J].urnal of Computer Vision, 2004:91-110.

[3]
倪希亮,丁琳,江涛,等.应用不变特征获取均匀控制点的遥感影像配准算法[J].测绘科学,2011,36(2):70-72.本文针对大幅影像配准时计算量大、配准点分布严重不均匀以及错配率高等问题进行了研究,提出一种可保持配准点均匀分布的快速配准算法。首先对基准影像和待配准影像进行分块提取SIFT特征算子,然后局部自适应地对影像块中的匹配点进行几何约束,从局部选取最优匹配点以达到提高图像匹配准确率的目标。通过对大量不同类型的影像进行配准实验,实验结果表明,当图像存在传感器差异甚至较高分辨率差异时,本文算法也能够快速准确地达到配准目的。

[Ni X L, Ding L, Jiang T, et al.A remote sensing image registration algorithm by obtaining uniform control points based on invariant feature[J]. Science of Surveying and Mapping, 2011,36(2):70-72. ]

[4]
Moussa A, El-Sheimy N. A fast approach for stitching of aerial images[J].International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016,XLI-B3:769-774.

[5]
刘如飞,卢秀山,刘冰,等.一种改进的无人机航摄影像快速拼接方法[J].测绘通报,2014(2):46-49.为提高无人机航摄影像快速拼接的速度和精度,针对无人机影像处理特点,提出重叠区分块并行处理策略；通过对不同图像分辨率和尺度下的特征匹配情况进行分析,提出分块阈值自适应调节方法来改进尺度不变特征转换(SIFT)算法；利用匹配点距离中误差进行粗差去除,获取最优随机一致性检验(RANSAC)样本,得到更精确匹配点对.试验结果证明,改进策略既可保证拼接精度,又可提高拼接效率.

DOI

[Liu R F, Lu X S, Liu B et al. An improved UAV aerial image quick mosaic method[J]. Bulletin of Surveying and Mapping, 2014(2):46-49. ]

[6]
Mehradad S, Satari M, Safdary M, et al. Toward real time UAVS' image mosaicking[J]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, XLI-B1:941-946.

[7]
董梅,苏建东,杨举田,等.大区域无人机影像快速无缝拼接方法[J].测绘科学,2014,39(11):129-132.

[Dong M, Su J D, Yang J T, et al. A fast seamless image mosaic method for UAV images in large areas[J]. Science of Surveying and Mapping, 2014,39(11):129-132. ]

[8]
Bay H, Tuytelaars T, Van G L.Surf: Speeded up robust features[C]//European conference on computer vision. Springer, Berlin, Heidelberg, 2006:404-417.

[9]
胡同喜,牛雪峰,谭洋,等.基于SURF算法的无人机遥感影像拼接技术[J].测绘通报,2015(1):55-58,74.

[Hu T X, Niu X F, Tan Y, et al.Unmanned aerial vehicle images mosaic based on SURF algorithm[J]. Bulletin of Surveying and Mapping, 2015(1):55-58,74. ]

[10]
王勃,龚志辉,顾广杰,等.一种快速的无人机影像无缝拼接方法[J].测绘科学,2012,37(5):23-26.

[Wang B, Gong Z H, Gu G J, et al.A fast method for image registration and seamless mosaicking of UAV[J]. Science of Surveying and Mapping, 2012,37(5):23-26. ]

[11]
Rublee E, Rabaud V, Konolige K, et al.ORB: An efficient alternative to SIFT or SURF[C]//Computer Vision (ICCV),2011 IEEE international conference on. IEEE, 2011:2564-2571.

[12]
佘建国,徐仁桐,陈宁.基于ORB和改进RANSAC算法的图像拼接技术[J].江苏科技大学学报(自然科学版),2015,29(2):164-169.

[She J G, Xu R T, ChenN. Image stitching technology based on ORB and improved RANSAC algorithm[J]. Journal of [J].angsu University of Science and Technology (Natural Science Edition), 2015,29(2):164-169. ]

[13]
Mur-Artal R, Tardos J D.ORB-SLAM2: An open-source SLAM system for monocular, stereo, and RGB-D cameras[J]. IEEE Transactions on Robotics, 2017:1-8.

[14]
龚健雅,季顺平.摄影测量与深度学习[J].测绘学报,2018,47(6):693-704.

[Gong J Y, Ji S P.Photogrammetry and deep Learning[J]. Acta Geodaetica et Cartographica Sinica, 2018,47(6):693-704. ]

[15]
袁修孝,明洋.大重叠度面阵航空数码影像的自动转点[J].武汉大学学报·信息科学版,2009,34(5):505-508.

[Yuan X X, Ming Y.Automatic extraction of image tie points for aerial digital frame imagery with large overlap[J]. Geomatics and Information Science of Wuhan University, 2009,34(5):505-508. ]

[16]
Li M, Li D, Fan D. A study on automatic UAV image mosaic method for paroxysmal disaster[J].ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2012, XXXIX-B6:123-128.As everyone knows, some paroxysmal disasters, such as flood, can do a great damage in short time. Timely, accurate, and fast acquisition of sufficient disaster information is the prerequisite facing with disaster emergency. Due to UAV's superiority in acquiring disaster data, UAV, a rising remote sensed data has gradually become the first choice for departments of disaster prevention and mitigation to collect the disaster information at first hand. In this paper, a novel and fast strategy is proposed for registering and mosaicing UAV data. Firstly, the original images will not be zoomed in to be 2 times larger ones at the initial course of SIFT operator, and the total number of the pyramid octaves in scale space is reduced to speed up the matching process; sequentially, RANSAC(Random Sample Consensus) is used to eliminate the mismatching tie points. Then, bundle adjustment is introduced to solve all of the camera geometrical calibration parameters jointly. Finally, the best seamline searching strategy based on dynamic schedule is applied to solve the dodging problem arose by aeroplane's side-looking. Beside, a weighted fusion estimation algorithm is employed to eliminate the "fusion ghost" phenomenon.

DOI

[17]
Bosch A, Zisserman A, Munoz X.Image classification using random forests and ferns[C]//Computer Vision, 2007. ICCV 2007. IEEE 11th International Conference on. IEEE, 2007:1-8.

[18]
杨幸彬,吕京国,张丹璐,等. Dense SIFT与改进最小二乘匹配结合的倾斜航空影像匹配方法[J].测绘通报,2018(10):32-36,70.

[Yang X B, Lu J G, Zhang D L, et al.Oblique aerial image matching method based on Dense SIFT and improved least squares matching algorithm[J]. Bulletin of Surveying and Mapping, 2018(10):32-36,70. ]

[19]
宫阿都,何孝莹,雷添杰,等.无控制点数据的无人机影像快速处理[J].地球信息科学学报,2010,12(2):2254-2260.

[Gong A D, He X Y, Lei T J, et al.Fast image processing method of UAV without control data[J]. Journal of Geo-Information Science, 2010,12(2):2254-2260. ]

[20]
Fischler M A, Bolles R C.Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981,24(6):381-395.

[21]
姜文聪,张继贤,程春泉,等. SIFT与粗差剔除算法相结合的机载SAR影像匹配研究[J].地球信息科学学报,2013,15(3):440-445.SAR影像匹配是SAR数据处理的重要环节,但是,SAR影像匹配成功率、正确率及精度较低。通过SAR影像匹配,建立SAR匹配像对,对雷达立体观察和立体测量有重要的意义。在机载SAR影像匹配中,应用SIFT算法,获得较稳定的特征,并结合2D单应变换的RANSAC算法剔除误匹配点对;选取三组不同类别的机载SAR影像数据,利用SIFT和粗差剔除相结合的算法,通过VC++和OpenCV编程,提取出特征稳定且均匀分布的同名点对,完成机载SAR影像匹配实验。结果表明,对于含有人工建筑物的机载SAR影像,SIFT算法可有效地提取大量稳定的匹配点对,其正确率高;对于含有自然植被的机载SAR影像,SIFT算法可有效地提取较多稳定的匹配点对,其正确率较高;由于SIFT算法实质上是基于局部灰度匹配的算法,对于纹理信息缺乏的机载SAR影像,只可提取少量稳定的匹配点对,其正确率相对前两者较低。总体而言,在机载SAR影像中SIFT算法能够提取到稳定的匹配点对,并结合基于2D单应变换的RANSAC算法,可有效剔除误匹配点对,提高匹配正确率及精度。

DOI

[Jiang W C, Zhang J X, Cheng C Q, et al.Matching of airborne SAR images based on a combination of SIFT algorithm with mismatching points eliminated algorithm[J]. Journal of Geo-information Science, 2013,15(3):440-445. ]

[22]
Li G.Stereo Matching using normalized cross-correlation in logRGB space[C]// International Conference on Computer Vision in Remote Sensing. IEEE, 2013.

[23]
Toni Schenk.数字摄影测量学[M].武汉:武汉大学出版社,2009.

[Toni Schenk.Digital photogrammetry[M]. Wuhan: Wuhan University Press, 2009. ]

[24]
王佩军,徐亚明.摄影测量学[M].武汉:武汉大学出版社,2005.

[Wang P J, Xu Y M.Photogrammetry[M]. Wuhan: Wuhan University Press, 2005. ]

[25]
赵健,郭忠磊,滕惠忠,等.基于LM方法的单位四元数光束法平差模型解算[J].海洋测绘, 2017,37(5):56-59.

[Zhao J, Guo Z L, Teng H Z, et al. A solution to unit quaternion bundle adjustment model based on LM method[J].Hydrographic Surveying and Charting, 2017,37(5):56-59. ]

[26]
袁修孝. POS辅助光束法区域网平差[J].测绘学报,2008,37(3):342-348.

[Yuan X X.POS-supported bundle block adjustment[J]. Acta Geodaetica et Cartographica Sinica, 2008,37(3):342-348. ]

[27]
袁修孝,段梦梦,曹金山.正射影像镶嵌线自动搜索的视差图算法[J].测绘学报,2015,44(8):877-883.提出了一种基于正射影像视差图的区域级镶嵌线搜索算法。首先利用半全局约束立体匹配算法(semi-global matching,SGM)分别计算立体像对的左右视差图,并通过自适应阈值化去除细小的噪声区域,再经数学形态学方法进一步削弱噪声影响和填补小的漏洞区域,得到了较为精细的房屋等非地面区域的分割结果,从而分离出地面与非地面区域;然后采用改进的贪婪蛇搜索算法进行镶嵌线搜索,以提高算法的稳健性。试验表明,本文算法能很好地避开房屋等明显突出地表的实体,得到不穿越非地面区域的最优路径。

DOI

[Yuan X X, Duan M M, Cao J S.A seam line detection algorithm for orthophoto mosaicking based on disparity image[J]. Acta Geodaetica et Cartographica Sinica, 2015,44(8):877-883. ]

[28]
周清华,潘俊,李德仁.遥感图像镶嵌接缝线自动生成方法综述[J].国土资源遥感,2013,25(2):1-7.

[Zhou Q H, Pan J, Li D R.Overview of automatic generation of mosaicking seamlines for remote sensing images[J]. Remote Sensing for Land & Resources, 2013,25(2):1-7. ]

[29]
王竞雪,崔昊.局部点、线仿射不变性约束的近景影像直线段匹配[J].地球信息科学学报,2019,21(2):137-146.

[Wang J X, Cui H.Line segment matching based on local point-line affine invariance constraints for close-range image[J]. Journal of Geo-information Science, 2019,21(2):137-146. ]

Options
Outlines

/

〈 〉