EN中文

地球信息科学学报 >

2019 , Vol. 21 >Issue 4: 600 - 607

DOI: https://doi.org/10.12082/dqxxkx.2019.180415

论文

无人机倾斜影像自动检索及影像姿态恢复

  • 孙钰珊 , * ,
  • 艾海滨 ,
  • 许彪 ,
  • 杜全叶
展开
  • 中国测绘科学研究院,北京 100830

作者简介：孙钰珊(1982-),女,黑龙江哈尔滨人,博士,助理研究员,主要从事摄影测量与遥感、航空航天影像处理方面的研究。E-mail:

收稿日期: 2018-08-27

  要求修回日期: 2019-01-25

  网络出版日期: 2019-04-24

基金资助

国家重点研发计划项目(2017YFB0503004)

国家基础测绘科技计划课题(2017KJ0301)

中国测绘科学研究院基本科研业务项目(7771801)

收起

Automatic Retrieval and Position Reconstruction of UAV Oblique Photogrammetry

  • SUN Yushan , * ,
  • AI Haibin ,
  • XU Biao ,
  • DU Quanye
Expand
  • Chinese Academy Surveying & Mapping, Beijing 100830, China
*Corresponding author: SUN Yushan, E-mail:

Received date: 2018-08-27

  Request revised date: 2019-01-25

  Online published: 2019-04-24

Supported by

National Key Research and Development Plan, No.2017YFB0503004

National Basic Surveying and Mapping Technology Project, No.2017KJ0301

Basic Research Business Project of China Academy of Surveying and Mapping, No.7771801

Copyright

《地球信息科学学报》编辑部 所有
Fold

摘要

无人机倾斜摄影测量颠覆了以往正射影像只能从垂直角度拍摄的局限,在三维建模中有广泛的前景。针对有些无人机倾斜影像数据无相机标定参数、无航带信息（无序）、无POS信息的现状,本文以计算机视觉中基于内容的影像检索方法与改进的渐进式SFM方法为基础,提出一种“三无”影像自动检索、空中三角测量及影像三维重建的方法。该方法首先通过提取的特征检索出相似影像并建立网络结构,然后将影像进行两两匹配增强对应关系并进行连接点的追踪,最后利用光束法平差方法对其进行平差,获取影像集的三维点云,提高大规模影像检索、影像匹配速度的同时,提高重建的精确性和鲁棒度。本文选取三组典型试验区大数据量倾斜影像数据进行试验,立体实测控制点中误差可以达到平面0.16m/高程0.18m,试验验证了方法的稳定性、可靠性和实用性。

关键词： 无人机; 倾斜影像; 影像检索; SIFT算子; 空中三角测量; 渐进式姿态恢复

本文引用格式

孙钰珊 , 艾海滨 , 许彪 , 杜全叶 . 无人机倾斜影像自动检索及影像姿态恢复[J]. 地球信息科学学报, 2019 , 21(4) : 600 -607 . DOI: 10.12082/dqxxkx.2019.180415

Abstract

In recent years, unmanned aerial vehicle (UAV) have become a means of civilization and universalization. The UAV image is gradually replacing aerospace remote sensing data and is widely used in many fields. The limitation that the orthophotos can only be taken from a vertical angle in the past has been broken nowadays by oblique photogrammetry which has wide application prospect in 3D modeling. Aiming to ensure three-no-image (i.e., no camera calibration parameters, no strip information (disordered), and no POS (Position and orientation System) information) in some oblique images, the paper proposes a method of automatic aerial triangulation and 3D reconstruction for the three-no-image. This method is based on the content-based image retrieval method and improved progressive SFM (Structure from Motion) method in computer vision. Firstly, the method retrieves similar images and establishes the network through extracted features. Secondly, the correspondence between the two images is enhanced by matching the images and the tie points are tracked. Thirdly, the 3D point cloud of image is obtained by bundle adjustment. The algorithm improves the accuracy and robustness of reconstruction and makes a great progress in large scale image retrieval and image matching. Finally, , the stability, reliability, and accuracy of the proposed method was tested and validated with three-test experiments by using large scale real oblique images over three test areas. The test-1 area has 1190 images, from the project construction to the final aerial triangulation calculation without control, the total time is 4.3 hours, and the error is 0.4 pixels. The test-2 has 3685 images and no POS is used in experiment. From the project construction to the final aerial triangulation calculation without control, it takes 8 hours and the error is within 0.32 pixels. The two experimental results verified the stability and applicability of the proposed algorithm. The test-3 area has 1346 images, after 5 hours processing, the error of the free network adjustment is within 0.42 pixels, 9 ground control points are used for check points, the error is within 0.16 m in plane and 0.18 m in elevation. The experimental results verified the accuracy and reliability of the proposed algorithm.

Key words： UAV oblique image; image retrieval; SIFT; aerial triangulation; progressive reconstruction

1 引言

航空摄影测量的主要目标在于恢复影像的空间几何关系及影像的三维重建,传统航空摄影测量由于在建筑物及植被密集区等会存在遮掩等问题,因此导致不能有效提供建筑物遮挡部分等立面纹理信息。基于无人机的倾斜摄影技术可以同时从垂直、倾斜（左右、上下）等多角度采集高分辨率的影像数据,可以解决传统航空摄影测量中建筑物侧面纹理的自动提取、屋檐改正等难题,有效地弥补传统航空影像获取和应用上的不足,近年来无人机倾斜摄影测量的快速发展为三维数字城市建设提供了有效的技术保障,已经成为航空影像三维重建数据获取的主要方式[1,2,3]。随着航空影像获取量的大规模增加,如何快速、准确地针对无序航空影像（通常指没有影像序列信息、严格的相机标定参数及定位参数）搜索同名点,恢复相机的姿态参数,进行空三处理及影像三维重建等工作成为无人机倾斜影像处理的核心问题[4]。在以往的处理工作中,需要遍历检索所有影像集中的影像数据,处理大规模影像时占用大量的时间,不具备实用性。在计算机视觉领域,图像内容检索方法及由运动恢复结构（Structure from Motion, SFM）的方法,通过快速、准确地获取具有相同内容的影像,可以完成无严格的相机标定参数和POS信息影像内容三维重建[4,5]。
渐进式SFM方法（incremental SFM）可以通过逐渐增加影像数量进行影像的匹配平差,从大量无序影像中恢复出影像的空间几何关系,得到三维重构信息[6,7,8,9,10,11],在大规模影像时处理时,具有较高的鲁棒性和精度。但随着影像的不断加入,平差用时越来越长,且误差的积累会导致整体的位移。在近年来的研究中,Snavely等[6]研发的Bundler软件可以完成有序或无序影像集的稀疏三维重构,其基本思想是使用EXIF信息估计相机焦距,并通过姿态估计法初始化相机,避免了局部最小值;Moulon等[11]利用自适应阈值法计算模型的参数,提高了矩阵和姿态估计的精度,以此开发的开源库仅提供了有数量要求的多视影像几何重构基本功能,且不利于普通开发者二次扩展;Wu等[9]利用SIFT GPU和PBA平差方法提高了处理速度和精度,在开发的软件中加入了图形化界面,使影像三维重建更便捷化,选用优先特征匹配策略可以同时保证影像匹配的数量并有效地在减少影像对匹配时间,采用共轭梯度光束法平差在分析平差时间复杂度的基础上提高平差速度,并用过重复三角化方法解决了不闭合情况下影像目标漂移的问题;Schonberger等[10]研发的通用鲁棒影像重建软件,以基础矩阵、本质矩阵和单应矩阵相结合作为几何约束,运用一种改进的影像添加和迭代平差策略,提高重建鲁棒性的同时解决影像漂移问题,提高三维建模精度。
综上所述,本文针对当前一些影像存在很难获取相机标定参数或POS信息不规则的情况,结合计算机视觉中基于内容的图像检索方法及渐进式SFM方法,以无人机倾斜影像为主要数据源,提出了一种无序影像自动检索、空中三角测量及影像三维位置和姿态恢复的方法。该方法首先提取影像数据集特征信息,检索出每张影像的相似影像并建立网络结构;然后将相似影像进行两两匹配,利用基于多模型的几何约束增强影像之间的几何关系,根据影像之间的对应关系追踪连接点;最后在获取初始像对基础上,通过影像之间的对应关系和追踪路径（track）,不断地添加影像到初始像对中,并利用光束法方差方法对其进行平差,获取影像集的三维点云,提高影像匹配速度的同时提高重建的精确性和鲁棒程度。本文选取3组典型大数据量倾斜影像数据进行试验,以验证方法的有效性、稳定性和实用性。

2 影像检索方法

为了从大规模无人机倾斜影像中准确、高效地获取相似影像,本文引入计算视觉中基于内容的影像检索方法,相较于其他方法,该方法优势在于检索过程中自动化程度高、人为参与少、检索速度快且除影像外不需要其他辅助信息（序列信息、相机标定参数、POS）。其基本思想是利用影像中的视觉特征建立视觉特征向量,即影像特征的色与形（色调、纹理、形状和空间组合关系）表达图像内容,以索引的方式快速、准确地检索出视觉特征向量,从而确定出内容相同或相似影像[4]。
影像视觉特征可以利用兴趣算子表达。SIFT算子[12,13]是计算机视觉中广泛应用的特征算子,主要用于模式识别和影像匹配。基于倾斜影像的特点,对影像进行高斯差分尺度空间生成,为了使关键点的主方向具有旋转不变性并且对影像的视角、亮度、尺度缩放等变化具有稳定性,本文将主方向设为0方向且利用关键点周围领域内的像素信息生成特征描述子,从而获取描述子向量集S。
采用分层K-means算法生成视觉单词并构建词汇树[14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29]。构建词汇树时,视觉单词个数越多,检索精度越高,因此,本文在保证视觉单词数量小于影像集中描述子向量总数的前提下,尽可能增加视觉单词数量,通过视觉单词的个数控制词汇树的检索精度。采用分层K-means算法将向量集S构建成词汇树,生成每个节点一个倒排文档并记录文档的长度。利用改进的TF-IDF方法对视觉单词加权,检索出内容相同或相似的影像[21],如式（1）、（2））所示。
ω i = ln N N i （1）
q i = n i ω i d i = m i ω i （2）
式中：N为影像总数;Ni为影像集中至少有一个描述子在第i个视觉单词中的影像个数;qi和di为待检索影像和影像集中某影像向量分量;ni和mi为待检索影像和影像集中某影像在第i个视觉单词中的描述子个数。
通过式（1）、（2）加权视觉单词,计算出影像集中的影像向量d。将待检测影像进行高斯降采样,提取SIFT描述子,获得加权后的待检索影像向量 q = ( q 0 , q 1 , … , q M ) 和影像集中影像向量 d = ( d 0 , d 1 , … , d M ) ,M表示词汇树中视觉单词的个数。二者之间的归一化差值如式（3）所示。
s q , d = q q - d d p p （3）
式中： ∙ p p 表示Lp范数。利用式（3）计算出影像集中所有影像与待检索影像的相似度s,降序排序并取排在前面的影像作为待检索影像的相似影像。

3 影像位置和姿态恢复方法

通过上述基于内容的图像检索方法可以高效、准确地获取内容相似的影像,在此基础上进行相似影像的两两匹配,可降低影像检索及匹配时间的复杂度,使其和影像数量成线性的关系,进一步提高三维位置和姿态恢复的效率。进行影像匹配之后,为了确保影像上足够多的点可以映射到其相似影像上,分别利用基础矩阵、本质矩阵的单应矩阵描述相机多种姿态的几何关系,并利用基于多模型的几何约束增强影像之间的几何关系。然后依据影像之间的对应约束关系,进行特征连接点的搜索以确定多张影像上同名点的位置,该结果称之为路径信息。初始影像对获取策略的选择需要保证影像对之间匹配的特征点足够多,并且相机之间存在一定的视差,从而使得空三解算过程中像点之间的约束更强,保证计算得到的初值更可靠,精度更高。通过影像间的约束关系和路径追踪信息,将相似影像逐一添加到初始影像对中,并进行光束法平差计算,获取影像集的三维稀疏点云,完成影像的三维位置和姿态恢复。

3.1 影像特征点追踪

特征描述子为高维向量,通过在高维特征空间中计算特征描述子的欧式距离实现影像间的匹配。其基本思想是根据左影像的特征描述子在右影像上整体遍历搜索一次,确定该特征描述子在另一张影像上的最邻近描述子d1st和次邻近描述子d2nd。本文选用如下2个阈值来消除匹配的不确定性。
（1）搜索描述子和最近邻距离d1st之间的距离阈值tdist,如式（4）所示。
d - d 1 st 2 < t dist （4）
对于SIFT算子,距离阈值tdist一般取值为 2 。
（2）最近邻距离和次近邻距离的比值tlowe,如式（5）所示。
d - d 1 st 2 d - d 2 nd 2 < t lowe （5）
一般情况下,tlowe的值设置为0.7或者0.8[21],比值越小匹配数越少,但是匹配的点会越可靠。
本文选用基于多个模型的几何约束增强影像间的几何关系,并剔除匹配过程中的误匹配。利用基础矩阵、本质矩阵和单应矩阵描述相机运动空间几何关系,首先计算影像对的基础矩阵,得到内点数NF,通过阈值确定几何约束的有效性,即如果该内点数大于给定的阈值,则该几何约束有效。通过计算相同影像对的单应矩阵的内点数NH确定该影像对模型的类型,若 N H N F < ϵ HF ,则认为该影像对为极线几何关系,否则为相机纯旋转或平面场景关系。对于已标定的相机还应计算本质矩阵并记录内点数NE,若 N E N F < ϵ EF ,认为该像对为极线几何关系,则选取其中内点数较多的模型作为最终模型。若不符合则比较 N H N F < ϵ HF ,满足即为极线几何关系,不满足即为纯旋转和平面场景关系。通过筛选确定有效影像对的模型类型,记录每种模型对应的最大内点数NF、NE和NH来选取影像三维重建过程中最优化的初始影像对。
通过特征匹配确定同一特征点在多张影像上的位置,该过程对应在多张影像上的位置称为路径。在确定影像间的对应关系后,将该对应关系反应在多张影像上的位置即可生成路径。在已知相机的定位定向参数的情况下,通过空中三角测量可获取该路径的空间三维坐标。其基本算法为遍历搜索每张影像上匹配的特征点,检查匹配的2个端点赋值,可分为以下4种情况：① 2个端点都没有赋值时,生成1个新的路径并赋值;② 一个端点都没有赋值时,延长路径并加入新的影像;③ 2个端点已经赋值但是赋值不同时,合并2个路径;④ 2个端点已经赋值且赋值相同时,保持原有路径不变。所有的匹配点都形成路径之后,以下的影像三维重建只需要该路径信息即可,不再需要任何两两匹配的信息。

3.2 渐进式影像位置和姿态恢复

本文在经典的渐进式添加影像算法基础上改进特征点提取和影像对的选取方法,结合Photo Tourism[6]和Visual SfM[8]方法并利用扩展性较强的非线性最小二乘库进行场景的优化处理,整个影像重建过程经过初始像对的确定、特征点三维坐标的获取、光束法平差和下一张影像的选取,最终实现影像的三维重建。
（1）确定初始影像对
本文在选取初始影像对时遵循以下3个原则：① 为了确保初值更可靠,精度更高,保证空三解算过程中像点之间的约束更强,应选取匹配特征点较多的影像对;② 为了避免影像对交汇点出现退化情况,在选取影像对时,其对应相机应保持一定的视差;③ 选取的影像对交汇角应大于5°,以确保该影像对有较长的基线。初始影像对确定后即可以进行影像对的相对定向：首先根据极线几何关系求得基础矩阵F,再根据相机的内方位元素（从影像EXIF标记中获取或估计一个初始值）确定本质矩阵E。通常假设左边第一个相机为标准相机,然后对矩阵E进行奇异值分解得到4种可能的相机位姿,并通过特征点三维坐标交会交汇判定正确的位姿。
（2） 恢复特征点三维坐标
利用多影像上同一特征点的位置获取的每个路径至少含有2个相机,将每个相机观测到的三维点Xi（ x = PX 、 x ' = P ' X ）合并到线性方程式中求得特征点三维坐标。由于观测数据中噪声的影响,导致没有准确的结果符合这2个方程,因此只能找到最近似的解。x=PX表示的是一种相似关系,本文使用x=αPX表示相同光线不同尺度因子的情况。具体推导如下：
x y z = α ∙ PX = α p 1 p 2 p 3 p 4 p 5 p 6 p 7 p 8 p 9 p 10 p 11 p 12 X Y Z 1 （6）
移除尺度因子,将上式变换为向量积的形式 可得：
x y 1 × P 1 T P 2 T P 3 T = y ∙ P 3 T ∙ X - P 2 T ∙ X P 1 T ∙ X - x ∙ P 3 T ∙ X x ∙ P 2 T ∙ X - y ∙ P 1 T ∙ X = 0 0 0 （7）
式（7）中第三行为第一行和第二行的线性组合,因此一对匹配的特征点只组成2个独立方程：
y ∙ P 3 T - P 2 T P 1 T - x ∙ P 3 T × X = 0 0 （8）
对于一组匹配点 x , y 和 x ' , y ' 可以得到：
y ∙ P 3 T - P 2 T P 1 T - x ∙ P 3 T y ' ∙ P 3 T - P 2 T P 1 T - x ' ∙ P 3 T × X = 0 0 0 0 （9）
使用奇异值对式（9）进行分解,找到矩阵最小特征值所对应的特征向量即为方程的解。
（3） 光束法平差
因为影像的姿态恢复和平差结果相互影响,该文使用光束法平差进行算法的进一步的优化,避免重建的漂移误差积累导致的重建失败。光束法平差根据相机位姿参数P和三维点参数X的联合非线性最小二乘误差,并计算原始影像的特征点位置投影到影像上对应位置时,使其位置之间的重投影误差和最小。其中损失函数ρ表示对于大的粗差可以鲁棒的进行优化。通过式（10）可以同时优化相机的位姿参数和空间三维点坐标。
Error = ∑ j ρ j P j X i - x i , j 2 2 （10）
优化的结果产生更加精确的特征点三维坐标和相机的位姿参数。光束法平差在此过程中不仅能够精化坐标和相机定位定向参数,还可以估算影像畸变参数,有效消除递增重建过程中的累积误差。经过光束法平差可以有效解决相机交汇的特征点三维坐标在空间不能严格交会,影像EXIF标签得到或估计的相机焦距可能不准确和存在影像畸变等问题。
（4）选取下一张影像
在三维重建过程中,下一张影像的选取会很大程度上影响相机定位估计的精度和平差的准确性,本文提出一种基于2D-3D影像点的分布程度来确定最佳影像的方法。一般情况下,候选影像的2D-3D点的数量必须大于阈值W,同时保证特征点数量及影像上的均匀分布,根据特征点分布情况计算候选影像分数S,首先选取得分最高的影像。
将影像划分成大小间隔相同的网格,网格的边长为hl（l为多尺度影像网格的维数）,每个网格单元都有“空”和“满”2种状态。含有特征点的网格为满,给定得分wl,该网格中增加新的特征点时,网格的得分保持不变。每个网格单元只会贡献一次分数,因此该策略可以很好地衡量影像特征点的分布情况。同时,当划分的网格数远远大于候选2D-3D点数,每个网格中都会有分布的点时,会导致该策略失效,因此本文采用多层图像网格的策略解决这一问题。将影像分为多层金字塔 l = 1,2 … , L ,每层影像的边长为 h l = 2 l ,该层影像网格中的特征点得分 S = h l 2 ,将L层影像分数加和,得分最高的影像即为特征点分布最均匀的影像。
利用已有的2D-3D对应点 X i ↔ x i 和公式 x i = P X i = K [ R | t ] X i ,选取3个像点和相机的标定矩阵K即可以确定影像的定向参数。本文根据文献[22]的方法,结合返回的4种解,使用第4个点确定最终正解。使用精化后的定向参数计算三维点坐标,对每个新添加的相机进行光束法平差保证较小位姿估计的误差积累,重复此过程直到确定所有的相机参数为止。
综上所述,本文提出的影像自动检索、空中三角测量及渐进式影像三维位置和姿态恢复方法的算法流程如图1所示。
Fig. 1 Flow chart of the algorithm of automatic retrieval and position reconstruction

图1 影像自动检索及影像姿态恢复整体流程

4 实验及分析

为了验证本文提出的基于内容的影像检索方法、影像自动空中三角测量及渐进式三维重建方法的精度可靠性及实用性,特别针对该方法对于不同相机获取的不同区域影像处理的适用性,选取3组倾斜影像数据集（影像集覆盖基本情况见图2,数据基本情况见表1）,使用VC++2015 64位OS开发环境实现算法,以团队搭建的集群计算环境为基础（包括4个高性能计算节点,每个计算节点均配置了一个8核Intel Xeon E5-4650L的CPU 和64 GB的内存,存储系统为SAS接口的500G×2硬盘系统）进行大试验分析。
Fig. 2 Image collection of selected UAV tilted image data（Google Earth）

图2 选取的无人机倾斜影像集概况（Google Earth）

Tab. 1 Basic situation of tilted image data

表1 倾斜影像数据基本情况

影像集 基本情况及参数 实验目的
数据集-1 北京地区固定翼无人机倾斜航空影像数据：飞行高度150 m,像元地面分辨率5 cm,测区面积
1 km2（1190张影像）,无人机搭载SONY ILCE-QX1五镜头相机,下视焦距24 mm,其他4个倾
斜相机焦距为36 mm,影像像幅为5456×3632,		 稳定性与适用性验证
数据集-2 讷河地区大飞机倾斜航空影像数据：无人机搭载相机为Leica的RCD30五镜头倾斜相机,像
幅为9000×6732,下视焦距50 mm,其他倾斜焦距80 mm,试验区影像3685张		 稳定性与适用性验证
数据集-3 兰州地区飞马无人机、大疆精灵3无人机倾斜航空影像数据：采用飞马无人机获取下视影像,
大疆精灵3通过双十字交叉飞行获取其他4个方向倾斜影像,下视影像491张,焦距为20 mm,倾斜影像共1346张,焦距为8.8 mm		 实测控制点精度与可靠性验证
（1） 数据集-1结果分析
试验区共有影像1190张,试验中导入下视GPS数据,该GPS数据为仅参与空中三角测量解算的辅助定向数据,不参与匹配过程中的影像检索,其他倾斜影像无GPS数据,因此采用基于内容的影像检索方法对无序影像进行检索,从建工程到最终无控空三解算完成,共耗时4.3 h,像点中误差0.4像元,试验结果验证了本文所提算法的稳定性与适用性（图3）。
Fig. 3 Three-dimensional reconstruction renderings of Image set-1

图3 影像集-1三维重建效果

（2） 数据集-2结果分析
试验区影像3685张,试验中不使用任何POS辅助数据,影像在匹配中采用本文提出的基于内容的影像检索方法对无序影像进行检索,从建工程到最终无控空三解算完成,共耗时8 h,像点中误差0.32像元,试验结果验证了本文所提算法的稳定性与适用性（图4）。
Fig. 4 Three-dimensional reconstruction renderings of Image set-2

图4 影像集-2三维重建效果

（3） 数据集-3结果分析
试验区全境呈葫芦形状,采用2种无人机获取倾斜影像数据集：飞马无人机获取下视影像,大疆精灵3通过双十字交叉飞行获取其他4个方向倾斜影像。整个测区影像按照1:2000成图要求进行数据获取,为了保证下视和倾斜地面分辨率一致,飞马无人机和大疆无人机需要飞2个不同高度（图5）。
Fig. 5 Image set-3 track map

图5 影像集-3飞行航迹
注：上：飞马无人机;下：大疆无人机。

试验中将倾斜和下视影像混合在一起进行统一空三处理。从新建工程到自动空三用时5 h,自由网平差像点中误差0.42像元,经人工量测9个野外控制点,进行有控平差,立体实测控制点中误差可以达到平面0.16 m/高程0.18 m（表2）。试验结果验证了本文所提算法的精度与可靠性（图6）。
Tab. 2 Accuracy of surveyed control points of Image set-3

表2 影像集-3野外实测控制点精度结果

点号 X方向误差 Y方向误差 高程误差
N1 0.28 0.27 -0.37
N10 -0.01 -0.07 0.19
N12 -0.06 -0.13 0.15
N14 0.09 0.14 -0.34
N18 -0.03 0.12 -0.12
N20 -0.02 0.05 0.11
N3 -0.10 -0.10 0.01
N4 -0.06 -0.13 0.25
N8 -0.09 -0.16 0.11
平面中误差 0.16
高程中误差 0.18
Fig. 6 Three-dimensional reconstruction renderings of Image set-3

图6 影像集-3影像三维重建效果

5 结论

针对目前一些倾斜影像数据没有严格的相机标定和航带信息或POS信息的情况,本文采用计算机视觉中经典的基于内容的影像检索方法与渐进式SFM方法,提出一种无序影像自动空中三角测量及影像三维重建的方法,在提高大规模影像匹配速度的同时提高重建的精确和鲁棒程度。本文选取3组典型试验区大数据量倾斜影像数据进行试验,通过实测控制点数据验证了三维重建的精度,立体实测控制点平面中误差可达到0.16 m,高程中误差可达到0.18 m。,实验验证了方法的稳定性、可靠性和实用性。本文研究成果已成功应用于高频次迅捷无人航空器区域组网遥感观测技术项目,通过研究无人机倾斜遥感数据的自动化和智能化处理,实现了适应无精确POS数据的无人机倾斜影像的高可靠区域网平差,完成了高精度的无人机倾斜影像的精确定位。

The authors have declared that no competing interests exist.

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
廖小罕,周成虎,苏奋振,等.无人机遥感众创时代[J].地球信息科学学报,2016,18(11):1439-1447.

[Liao X H, Zhou C H, Su F Z, et al.The mass innovation era of UAV remote sensing[J]. Journal of Geo-information Science, 2016,18(11):1439-1447. ]

[2]
孙钰珊,张力,艾海滨,等.倾斜影像匹配与三维建模关键技术发展综述[J].遥感信息,2018,33(2):1-8.针对倾斜影像数据处理、三维重建中存在的关键问题,对倾斜影像三维重建技术的发展方向、难点、解决思路进行了总结.机载倾斜摄影测量是近年来发展最快也是最有影响力的测绘技术之一,为地面目标的快速三维重建提供了有效的数据保障.寻求可行的数据处理方法,实现数据处理的自动化,提升三维重建的精度和速度,是倾斜影像三维重建处理的关键问题.该文首先对倾斜影像的三维重建技术进行了介绍,对三维重建中核心技术影像匹配等近些年的发展进行了探讨,并结合近些年多数据源融合的发展趋势,对联合地面影像、激光雷达数据与倾斜影像进行大范围场景的精细三维重建技术进行了阐述,对其中涉及到的难点进行了分析,最后对利用倾斜影像进行自动化三维建模技术的发展进行了总结.

DOI

[Sun Y S, Zhang L, Ai H B, et al.Overview of key technologies in image matching and 3D reconstruction for oblique photogrammetry[J]. Remote Sensing Information, 2018,33(2):1-8. ]

[3]
陈天博,胡卓玮,魏铼,等.无人机遥感数据处理与滑坡信息提取[J].地球信息科学学报,2017,19(5):692-701.

[Chen T B, Hu Z W, Wei L, et al.Data processing and landslide information extraction based on UAV remote sensing[J]. Journal of Geo-information Science, 2017,19(5):692-701. ]

[4]
王豪. 三维重建中的影像检索方法研究[M].北京:中国测绘科学研究院,2018.

[Wang H.Research on Image Retrieval Method in 3D Reconstruction[M]. Bei[J].ng: Chinese Academy of Surveying and Mapping, 2018. ]

[5]
查冰. 基于非量测相机无结构影像的运动估计算法研究[M].北京.中国测绘科学研究院,2017.

[Cha B.Algorithm research on motion estimation of unstructured image based on consumer camera[M]. Bei[J].ng: Chinese Academy of Surveying and Mapping, 2017. ]

[6]
Snavely N, Seitz S M, Szeliski R.Photo tourism: Exploring photo collections in 3D[J]. International Conference on Computer Graphics and Interactive Techniques, 2006,25(3):835-46.

[7]
Agarwal S, Furukawa Y, Snavely N, et al.Building Rome in a day[C]. Proceedings of the IEEE International Conference on Computer Vision,F, 2009.

[8]
Pollefeys M, R, D, Frahm J M, , et al. Detailed real-time urban 3D reconstruction from video[J]. International [J].urnal of Computer Vision, 2008,78(2):143-67.

[9]
Wu C.Towards linear-time incremental structure from motion[C]. Proceedings of the International Conference on 3dv-Conference,F, 2013.

[10]
Schnberger J L, Frahm J M.Structure-from-Motion Revisited[C]. Proceedings of the Computer Vision and Pattern Recognition,F, 2016.

[11]
Moulon P, Monasse P, Marlet R.Adaptive structure from motion with a contrario model estimation[C]. Proceedings of the Asian Conference on Computer Vision,F, 2012.

[12]
Flickner M, Sawhney H, Niblack W, et al.Query by image and video content: The QBIC system[J]. IEEE Computer, 2002,28(9):255-264

[13]
王海龙,王佩雪.基于内容的图像检索探讨[J].中原工学院学报,2005,16(2):12-15.

[Wang H L, Wang P X.Analysis of content-based image retrieval[J]. Zhongyuan Institute of Technology, 2005,16(2):12-15. ]

[14]
王欣.基于WWW的图像检索技术[J].现代图书情报技术,2002,18(3):70-73.The author introduces and evaluates the main image retrieval techniques in this field and illustrates some advanced image retrieval demo systems based on expounding the basic principle of image information retrieval on World Wide Web. At last, some problems need pay more attention to are presented.

DOI

[Wang X.WWW-Based image retrieval techniques[J]. New Technology of Library and Information Service, 2002,18(3):70-73. ]

[15]
Smith J R, Chang S.F. Visually searching the web for content[J]. IEEE Multimedia, 2002,4(3):12-20.

[16]
祝晓斌,刘亚奇,蔡强,等.基于内容的图像检索技术研究[J].计算机仿真,2015,32(5):1-4.

[Zhu X B, Liu Y Q, Cai Q.A survey on content -based image retrieval technology[J].Computer Simulation, 2015,32(5):1-4. ]

[17]
Zhang N, Man K L, Yu T, et al.Text and content based image retrieval via locality sensitive hashing[J]. Engineering Letters, 2011,19(3):228-234.

[18]
Rehman M, Iqbal M, Sharif M, et al.Content based image retrieval: Survey[J]. Telkomnika Indonesian [J].urnal of Electrical Engineering, 2013,11(11):995-998.

[19]
姜亚莉. 基于内容的图像检索系统分析[J].测绘与空间地理信息,2012,35(1):119-120.介绍了一种基于内容的图像检索方法（CBIR）,从其系统体系结构出发,阐述了基于内容的图像检索的几种索引技术,着重说明了基于图像颜色分布、纹理结构和形状的图像检索方法,并提出基于内容的图像检索中的几个关键技术,最后指出了图像检索技术的应用前景。

DOI

[Jiang Y L.Analysis of the content-based image retrieval system[J]. Geomatics & Spatial Information Technology, 2012,35(1):119-120. ]

[20]
黄祥林,沈兰荪,蔡强,等.基于内容的图像检索技术研究[J].电子学报,2002,30(7):1065-1071.在对海量的图像数据进行检索时,传统的基于数值/字符的信息检索技术并不能满足要求.因此,基于内容的图像检索技术(CBIR:Content-Based Image Retrieval)的研究应运而生,并引起了广泛关注.本文主要讨论CBIR研究中的一些关键问题:图像的内容特征及其提取、特征之间的相似度计算、查询条件的表达、检索性能的评价、压缩域的图像检索技术等等,并指出了一些可值得深入研究的方向.

[Huang X L, Shen L S, Cai Q.Research on content-based image retrieval techniques[J]. Acta Electronica Sinica, 2002,30(7):1065-1071. ]

[21]
Lowe D G.Distinctive image features from scale-invariant Keypoints[J]. International [J].urnal of Computer Vision, 2004,60(2):91-110.

[22]
Kneip L, Scaramuzza D, Siegwart R.A novel parametrization of the perspective-three-point problem for a direct computation of absolute camera position and orientation[C]. Proceedings of the the IEEE Conference on Computer Vision and Pattern Recognition, F, 2011.

Options
文章导航

/

〈 〉