EN中文

地球信息科学学报 >

2015 , Vol. 17 >Issue 3: 274 - 280

DOI: https://doi.org/10.3724/SP.J.1047.2015.00274

球形全景影像核线方程推导及其应用

  • 刘帅 , 1, 2 ,
  • 陈军 2 ,
  • 孙敏 3 ,
  • 赵伶俐 , 1, *
展开
  • 1. 红河学院工学院,蒙自 661100
  • 2. 国家基础地理信息中心,北京 100048
  • 3. 北京大学遥感与地理信息系统研究所,北京 100871
*通讯作者：赵伶俐(1979-),女,博士,副教授,研究方向为GIS三维建模与数据整合。E-mail:

作者简介：刘帅(1979-),男,博士,副教授,研究方向为GIS三维建模、计算机视觉与虚拟增强现实。E-mail:

收稿日期: 2014-05-19

  要求修回日期: 2014-08-09

  网络出版日期: 2015-03-10

基金资助

国家自然科学基金项目“基于球形投影几何的多分辨率全景三维建模研究”(41201418)

国家自然科学基金项目(40971240、41301442)

国家科技支撑项目(2012BAK12B02)

收起

The Derivation and Application of Spherical Panoramic Epipolar Geometry

  • LIU Shuai , 1, 2 ,
  • CHEN Jun 2 ,
  • SUN Min 3 ,
  • ZHAO Lingli , 1, *
Expand
  • 1. School of Engineering, Honghe University, Mengzi 661100, China
  • 2. National Geomatics Center of China, Beijing 100048, China
  • 3. Institute of GIS & RS, Peking University, Beijing 100871, China
*Corresponding author: ZHAO Lingli, E-mail:

Received date: 2014-05-19

  Request revised date: 2014-08-09

  Online published: 2015-03-10

Copyright

《地球信息科学学报》编辑部 所有
Fold

摘要

核线约束是影像在数字摄影测量中的一项核心技术,可限制同名像点的搜索范围,显著提高计算效率和可靠性。目前,核线约束在传统中心投影影像与卫星扫描影像上取得了广泛的应用,而全景影像具有不同的几何模型,核线模型的推导与应用存在很大的难度。以往实现全景三维重建方法大多通过不同方位影像,应用大量的控制点,结合光束法平差以实现构筑物三维重构,缺乏球形全景核线数学方程的推导及应用。鉴此,本文通过对球形全景影像的投影几何研究,基于共面方程建立该类影像的核线几何模型,推导出数学方程及其特性,为核线在球形全景影像中的应用提供了理论基础,实验表明该球形全景核线方程的正确性与可行性。

关键词： 核线; 全景影像; 球形投影几何; 影像匹配

本文引用格式

刘帅 , 陈军 , 孙敏 , 赵伶俐 . 球形全景影像核线方程推导及其应用[J]. 地球信息科学学报, 2015 , 17(3) : 274 -280 . DOI: 10.3724/SP.J.1047.2015.00274

Abstract

Epipolar geometry is a core issue in close-range digital photogrammetry, which could reduce the search range to improve both calculation efficiency and reliability of matching. Currently, epipolar constraint has achieved a wide range of applications based on the traditional pinhole projection images and satellite images. However, panoramic epipolar geometry is different from the other images because of its peculiar geometric modeling. Panorama can provide 360-degree view in one hotspot. Apart from the visualization for scene browsing, users generally pay more attention to spatial measurable information within the field of survey. The previous works on panorama mainly focused on panoramic image stitching and panoramic camera. In recent years, people started to pay attention to panoramic three-dimensional reconstruction, which is mainly applied to city buildings and other artificial objects. Implemented by the conventional imaging sequences method, it generally needs complex calculations, numerous control points and a bundle of adjustments to reconstruct the object,which lacks relevant researches and applications of spherical panoramic epipolar geometry. In fact, panorama itself is a type of modeling, if has the scalability, it could be taken as a method for landscape expression as the supplement of the existing three-dimensional object modeling in 3D GIS. Moreover, the panoramic epipolar constraint can improve the reliability, accuracy and speed of matching. However, this constrain has not been fully applied to the 3D information processing of spherical panorama. The paper focuses on the epipolar geometry for spherical panorama, and constructs the epipolar geometry based on the coplanar equation. Then, we derive the mathematical equations and their properties, thus provide a theoretical basis for the spherical panoramic epipolar line that could be used in the close-range digital photogrammetry. The experiment results show that the epipolar line is effectively validated, which can reduce the search range and obtain more useful information.

Key words： epipolar line; panoramic images; spherical projective geometry; image matching

1 引言

核线是数字摄影测量中影像匹配的基础,通过核线约束可将匹配的搜索问题从二维减少到一维,以此限制匹配的搜索空间,提高计算效率和可靠性。目前,核线约束在传统中心投影影像与卫星扫描影像上取得了广泛的应用[1-7],而全景影像具有不同的几何模型,这使得全景影像核线模型的推导与应用存在更大的难度。全景投影下的核线约束是全景影像在数字摄影测量中一项研究热点。
全景影像具有360°全方位景观浏览功能,广泛应用于街景与数字校园等,以往的研究工作主要集中在全景影像拼接缝合[8-9]与全景相机研制方面[10-11]。近年来,人们开始关注全景的可量测性问题,代表性的工作有：Luhmann等人探讨了柱面投影下全景三维重构方法[12-14];Fangi等人研究了球形投影下的全景三维建模方法[15-17]。在具体计算中,他们基于多方位全景影像,应用了大量的控制点,并结合光束法平差以实现构筑物对象的三维重构。文献[18]通过双球形全景影像实现了全景量测,文献[19]研究了车载全景相机的球形全景影像自动匹配和光束法平差算法,利用GPS/IMU数据和LIDAR高程信息组合SIFT算子和Fonstner算子,实现三维重建。就全景核线方面的工作,文献[12]-[14]、[20]研究并推导出柱形全景核线模型;文献[21]研究推导了双曲线与抛物线特征的全景核线数学方程;文献[22]推导出球形全景核线的几何特征为大圆,但没有对其特征进行验证及应用。
核线约束可提高全景量测中影像匹配的可靠性、精度性与速度,然而,这种几何关系尚未完全应用于球形全景影像三维信息处理中。对于球形全景影像来说,有着特有的核线几何关系,有别于传统中心投影影像。本文通过对球形全景影像的投影几何研究,基于共面方程建立该类影像的核线几何模型,推导出数学方程及其特性,为核线在球形全景影像中的应用提供了理论基础,实验表明该球形全景核线方程的正确性与可行性。

2 球形全景几何表达

球形全景几何表达是影像核线建立的基础,其本质是观察点位于球心的一个球体模型,将户外获取的多视角场景影像序列,通过一定的映射关系到球体表面,从而形成视觉上360°无缝的观察场景,其原理如图1所示。球面全景影像构建是将在户外获取的多视角影像按某种算法拼接为一长方形影像,然后将其按等轴投影映射到球体上,由此球面上一点P'与全景影像上的一点p'之间存在着一对一的映射关系。
Fig. 1 Spherical panoramic images and virtual sphere texture mapping diagram

图1 球面全景影像与虚拟球体纹理映射示意图

当球体模型的表达采用类似经纬格网的方式时（图2）,这种映射关系可描述为：设全景影像长为a,球体模型半径为R,R与a间的关系应为a=2πR,即全景影像的长宽比应为2:1。设全景影像上的像元点坐标为 p ′ ( x , y ) ,而对应球体模型上的三维点坐标为 P ′ ( X , Y , Z ) ,则依据图2所示映射关系,据文献[16]-[18], p ′ 与 P ′ 的坐标值可表达为：
x = R ∙ θ y = R ∙ φ R = a / 2 π （1）
X = R ∙ sinθ ∙ sinφ Y = R ∙ cosθ ∙ sinφ Z = R ∙ cosφ （2）
Fig. 2 The latitude-longitude projection relation between spherical coordinates and the panoramic image coordinate of sphere

图2 球面全景影像与虚拟球体坐标的经纬投影关系图

由式（1）、（2）经简单推导可得二维点 p ′ 与球面上三维点 P ′ 之间的对应关系,如式（3）所示。
X = R ∙ sin x R ∙ sin y R Y = R ∙ cos x R ∙ sin y R Z = R ∙ cos y R （3）
式中,角度θ、φ为弧度表达值。

3 球形全景影像核线方程

传统摄影测量过程中,两影像之间的几何关系通常采用共面方程进行表达,也可用图3（a）所示的核线关系进行表达。对于球形全景影像而言,其核线不再是直线,而是两条球面大圆曲线,如图3（b）所示。已知立体影像间的相对定向参数,可通过文献[18]求得,便可推导出特征点对应的核线轨迹数学方程,在图3（b）中,通过点p与两球形中心点（C1,C2）构成的核面与两球面相交,可得到核线。
Fig. 3 Traditional photogrammetry epipolar geometry and double spherical projective geometry

图3 传统摄影测量几何核线与双球面投影几何核线

3.1 核线的几何定义

在图3（b）中,设C1与C2分别是相邻两球形全景的投影中心,设基线C1C2的矢量为 B ( b x b x u b x v ) T ,左边全景球体为参考球体,右边为虚拟球体,虚拟球体相对于参考球体的旋转参数为 ( f , Ω , K ) 。设P为现实中的任意一点,p是P在左边球面全景的投影点,设其在参考球体坐标系下的坐标为(X′ Y′ Z′),点C1、点C2和点p在虚拟球体空间直角坐标系下的坐标分别设为 ( X C 1 Y C 1 Z C 1 ) T , ( X C 2 Y C 2 Z C 2 ) T 和 ( X p Y p Z p ) T 。

3.2 核线的数学模型

（1）求解点C1、C2和p点在右边球心空间直角坐标系下的坐标。
C2点是虚拟球体的原点,坐标为(0 0 0)T,点p、点C1通过平移旋转,可转换得到其在虚拟球体空间直角坐标系下的坐标。设旋转参数为 ( f , Ω , K ) ,则参考球体坐标旋转至虚拟球体坐标的旋转矩阵R为：
R = inv ( R 1 ) = inv cosΦ 0 - sinΦ 0 1 0 sinΦ 0 cosΦ ∙ 1 0 0 0 cosΩ - sinΩ 0 sinΩ cosΩ ∙ cosΚ - s i nΚ 0 sinΚ cosΚ 0 0 0 1 （4）
在虚拟球体空间直角坐标系下,C1点的坐标为：
X C 1 Y C 1 Z C 1 = R ∙ 2 0 - b x 0 - b x ∙ μ 0 - b x ∙ v = - b x ∙ R ∙ 2 1 μ v （5）
p点的坐标为：
X p Y p Z p = R ∙ 2 X ′ - b x Y ′ - b x ∙ μ Z ′ - b x ∙ v （6）
式（6）中, ( X ′ Y ′ Z ′ ) 由式（3）得到。
（2）求点C1、C2和p所在核面的方程式。
平面的一般方程式为：
AX + BY + CZ + D = 0 （7）
通过点p、C1、C2的核面L同样满足式（7）,将3个点的坐标代入式（7）即可得到核面L的方程式：
A = C Z p Y C 1 - Y p Z C 1 X p X C 1 - X p Y C 1 B = C Z p X C 1 - X p Z C 1 Y p X C 1 - Y p Y C 1 AX + BY + CZ + D = 0 D = 0 （8）
引入a1和a2作为核面L方程式的新系数,简化核面L的方程式为： a 1 = Z p Y C 1 - Y p Z C 1 X p X C 1 - X p Y C 1 a 2 = Z p X C 1 - X p Z C 1 Y p X C 1 - Y p Y C 1 a 1 X + a 2 Y + Z = 0 （9）
式（9）中,a1和a2为核面L方程式的系数。
（3）求解核线的轨迹方程。
将虚拟球体球面方程式 X 2 + Y 2 + Z 2 = R 2 转化为参数为极坐标系下参数θ和φ的函数：
X = R ∙ sinθ ∙ sinϕ Y = R ∙ cosθ ∙ sinϕ Z = R ∙ cosϕ （10）
所求的核线应是核面L与右球面的交集,因此,将式（10）代入式（9）中,可以得到：
a 1 ∙ sinθ + a 2 ∙ cosθ ∙ sinϕ + cosϕ = 0 （11）
式（11）简化,可得到：
φ = arctan - 1 a 1 ∙ sinθ + a 2 ∙ cosθ （12）
同名核线在虚拟球体中所形成的轨迹方程为式（12）,该方程以θ为参数,取值范围为0-2π。通过式（5）和（6）可计算 C 1 ( X C 1 Y C 1 Z C 1 ) T 和点 p ( X p Y p Z p ) T 的坐标,代入式（9）,可求出系数a1和a2。式（12）构成了θ和φ的关系,该方程以θ为参数,取值范围为0-2π,φ的值可由θ确定。同名核线在虚拟球体中所形成的轨迹上的点的坐标 ( X ′ Y ′ Z ′ ) 根据式（10）得到。

4 核线方程推导实验设计与验证

上述对球形全景核线轨迹是球形投影上的大圆弧进行了理论推导,这些推导是在全景影像严格遵循经纬投影关系的基础上进行的,因此,在全景影像获取后有必要对球面上的点进行验证,确定是否位于同一个大圆上;再者,全景影像在数据采集、拼接缝合及相对定向过程中可能存在各种误差,导致同名点不严格位于同名核线上。因此,实验针对这2方面进行设计与验证：（1）球形全景核线是否为大圆;（2）对同名核线的偏离程度进行统计与验证。
由式（3）可知,平面全景影像上的一特征点与球面全景上的三维点之间具有一一对应关系。因此,影像匹配后的同名点,经式（3）可转换为球面全景上的三维点,即通过全景影像匹配可以得到立体球面上的三维同名点。假定左边球面全景坐标系为整个立体全景系统坐标系的前提下,通过影像匹配或人工干预的方式确定5组以上同名点对 ( p , p ′ ) ,可解算得到相对定向参数,相对定向过程采用文献[18]中的方法,本文不再赘述。

4.1 实验设计

为了验证本文中核线成像几何特性与核线偏离程度,实验在某公园2处设站,采用的相机型号为Nikon D40, 鱼眼镜头型号为Sigma 8 mm;相机云台为JTS-Rotator SPH;普通三脚架;对中整平,每一处每隔90°拍摄4张相片,并使用商业软件上海杰图软件拼接为2幅球形全景影像[23],整个拍摄过程,焦距保持不变,选取其中一幅全景影像作为参考影像（图4）。设计流程如图5所示。
Fig. 4 Panoramic stereo pair acquisition

图4 全景影像对的获取

Fig. 5 The flowchart of the experimental design

图5 实验设计流程图

（1）从2幅全景影像中选取5对以上对应点,完成相对定向,获得相对定向参数;
（2）将参考图划分为200×200像元大小的160个区域,并选取100个特征点;
（3）从100个特征点中任意选取10个特征点,然后根据式（12）计算10条对应核线,对每一条核线进行大圆弧验证;
（4）计算100个特征点的同名核线与同名点的偏离距离,进行误差分析。

4.2 实验验证

（1）大圆验证
在参考影像中任意选择一个点,如图6（a）中的黑色十字丝所示,根据相对定向参数可计算得到其同名核线,将核线的点映射到右影像中,即形成弧线,如图6（b）中的红色弧线,核线呈弧状。
Fig. 6 The feature point and the corresponding epipolar line

图6 特征点核线轨迹示意图

根据球形全景成像理论及图3（b）可知,完整的一条核线映射到球形全景坐标系中应为一个半径为R的大圆。实验中全景影像的宽度为4000个像元,根据式（1）,则R=4000/(2π)=636.6个像元。本文实验通过反算进行验证。在图7中,对于一条完整的核线而言,每隔一度取一点,共360个点。然后,对相差180°的2个点合为一组（图7（a）共线的黑点 Q和红点 Q ′ ）,共计180组点,现计算每一组点的距离,验证是否皆为半径的2倍,即认为核线呈弧状。
Fig. 7 The epipolar line of the spherical panorama verification chart

图7 球形全景核线轨迹验证示意图

在参考全景影像中任意选取一点,在右影像中的同名核线由式（12）计算得到,其中, θ为参数,取值范围为0-2π, φ的值可由 θ确定。由于arctan函数取值范围在[-π/2,+π/2]之间,根据式（1）, φ在[0,π]范围内才能对应全景中的点,因此, φ的值应映射到[0,π]区间。当 φ<0, φ=π+φ。核线上的点 q假设其坐标角度为( θ 0 , φ 0 ),其相差180°的球心对应点 q ′ 的坐标角度为：
θ ′ = π + θ 0 θ 0 ∈ [ 0 , π ) θ 0 - π θ 0 ∈ [ π , 2 π ) φ ′ = π - φ 0 （13）
根据式（2）,将点 q和点 q ′ 代入到式（2）中,可通过计算得到对应空间点 Q（图7（b）中黑点）和 Q ′ （图7（b）中红点）的坐标及其距离。通过选取180组点计算得到的直径误差都在0.001以内。由此,可证实核线成像为一个半径为636.6像元大小的大圆弧。
（2）偏离误差分析
为了统计同名核线的偏离程度,将参考全景影像按200×200像元大小划分为160个区域,如图8所示,每一个黑色格网就是一个区域,从160个区域中取特征点100个,红色十字丝代表所选择的特征点。
Fig. 8 The regional division and distribution of feature points

图8 区域划分与特征点分布图

理论上,同名点必在同名核线上,但实际应用中,由于各种误差的存在,出现偏离情况,如图9所示,核线应该是曲线,由于是部分截图,因此,核线轨迹近似直线,图9（a）是对应特征点（右图中红色十字丝）几乎位于核线上,图9（b）是核线与对应特征点偏离的实际距离约为40个像元,可以在全景量测时点匹配作为参考应用。
Fig. 9 The application of epipolar line and an example of its deviation from the corresponding point (part of the screenshot)

图9 核线应用及其对应特征点的偏离关系图（部分截图）

对上述的100个特征对应点及其核线距离的偏离程度进行统计,具体情况如图10所示。偏离30个像元以上的点所占比例为16%,30个像元以内的点84%。偏离较大的点几乎是位于基线方向附近,文献[18]中指出全景量测在基线方向附近不稳定,甚至难以有效量测,两者究竟有多大的关联性有待进一步研究。
Fig. 10 The errors of the feature points deviating from the corresponding epipolar line

图10 特征对应点偏离核线误差图

5 结论

本文针对球形全景影像的投影几何,推导出其投影下的核线数学模型,并通过实验有效地验证了其几何特征。理论上,同名点必在同名核线上,但由于各种影响误差的存在,如相机本身的质量、交会角度、特征点提取、分布及匹配精度、影像数据采集、拼接算法、控制点的选取等等,球形全景核线存在一定距离偏离,但仍旧能有效减小同名点搜索范围,对于部分人工干预下的匹配,本项研究成果可满足实际应用需求。
今后,我们将在以下方面做进一步深入研究：（1）核线偏差的问题。文章推导出了球形投影核线偏差受到多种因素的影响,如全景影像采集、拼接缝合及相对定向过程中特征点的数量与分布情况等,需进一步研究其误差是如何传播的;（2）匹配算法的自动化问题。球形全景核线约束一定程度上减少了搜索范围,在此基础上,还需研究相应算法以实现特征点自动匹配。

The authors have declared that no competing interests exist.

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
张祖勋,张剑清.数字摄影测量学[M].武汉:武汉大学出版社,1997.

[2]
冯文灏. 近景摄影测量物体外形与运动状态的摄影法测定[M].武汉:武汉大学出版社,2002.

[3]
康志忠,张祖勋,阳凡林.基于沿主光轴方向摄影立体像对的相对定向与核线排列[J].测绘学报,2007,36(1):56-61.

[4]
张卡,盛业华,叶春.基于数字视差模型和改进SIFT特征的数字近景立体影像匹配[J].测绘学报,2010,39(6):624-630.

[5]
胡芬,王密,李德仁,等.基于投影基准面的线阵推扫式卫星立体像对近似核线影像生成方法[J].测绘学报,2009,38(5):428-436.

[6]
张永军,丁亚洲.基于有理多项式系数的线阵卫星近似核线影像的生成[J].武汉大学学报:信息科学版,2009,34(9):1068-1071.

[7]
袁修孝,吴珍丽.基于POS数据的核线影像生成方法[J].武汉大学学报:信息科学版,2008,33(6):560-564.

[8]
方贤勇,潘志庚,徐丹.图像拼接的改进算法[J].计算机辅助设计与图形学学报,2004,15(11):1362-1365.

[9]
Matthew B, David G L.Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision, 2007,74(1):59-73.

[10]
Parian J A.Sensor modeling, camera calibration and point positioning with terrestrial panoramic cameras[D]. Zurich:ETH, 2007.

[11]
Jafar A P, Armin G.Sensor modeling, self-calibration and accuracy testing of panoramic cameras and laser scanners[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2010,65(1):60-76.

[12]
Luhmann T, Tecklenburg W.2002. Bundle orientation and 3-D object reconstruction from multiple-station panoramic imagery[J]. ISPRS Symposium, 2002,5:181-186.

[13]
Luhmann T, Tecklenburg W.3-D object reconstruction from multiple-station panorama imagery[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2004,34:5-10.

[14]
Luhmann T.Panorama photogrammetry for architectural applications[J]. Mapping, 2010,1:40-45.

[15]
Fangi G.The multi-image spherical panoramas as a tool for architectural survey[C]. XXI International CIPA Symposium, Athens, Greece, 2007:311-316.

[16]
Fangi G.Further developments of the spherical photogrammetry for cultural heritage[C]. 22nd CIPA Symposium, October 11-15, Kyoto, Japan, 2009:1-6.

[17]
Fangi G.Multiscale Multiresolution Spherical Photogrammetry with Long Focal Lenses for Architectural Surveys[C]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XXXVIII, Part 5 Commission V Symposium, Newcastle upon Tyne, UK, 2010:1-6.

[18]
刘帅,陈军,孙敏,等.一种球形立体全景的三维量测算法与实验[J].地球信息科学学报,2014,16(1):15-22.

[19]
季顺平,史云.车载全景相机的影像匹配和光束法平差[J].测绘学报,2013,42(1):94-100.

[20]
Li Y, Shum H Y.Stereo reconstruction from multiperspective panoramas[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004,26(1):45-62.

[21]
Tomáš S, Tomáš P.Epipolar geometry for central catadioptric cameras[J]. International Journal of Computer Vision, 2002,49(1):23-37.

[22]
Shi Y, Ji S P, Shi Z C, et al.GPS-supported visual SLAM with a rigorous sensor model for panoramic camera in outdoor environments[J]. Sensors, 2013,13(1):119-136.

[23]
上海杰图软件技术有限公司.上海杰图软件[CP/DK].

Options
文章导航

/

〈 〉