EN中文

地球信息科学学报 >

2020 , Vol. 22 >Issue 11: 2238 - 2246

DOI: https://doi.org/10.12082/dqxxkx.2020.190742

遥感科学与应用技术

一种由粗到精的光学与SAR遥感图像配准算法

  • 张明祥 , 1 ,
  • 王泽根 , 2, * ,
  • 白茹月 1 ,
  • 贾鸿顺 3
展开
  • 1.西南石油大学土木工程与测绘学院,成都 610500
  • 2.西南石油大学地球科学与技术学院,成都 610500
  • 3.长安大学地质工程与测绘学院,西安 710064
* 王泽根（1967— ）,男,四川崇州人,教授,主要从事地理信息系统、数字管网以及地理空间数据库研究。 E-mail:

张明祥（1995— ）,男,甘肃陇南人,硕士生,主要从事地理信息系统及其应用研究。E-mail: mx-

收稿日期: 2019-12-02

  要求修回日期: 2020-01-24

  网络出版日期: 2021-01-25

基金资助

国家自然科学基金项目(41701428)

版权

版权所有，未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
收起

A Coarse-to-Fine Optical and SAR Remote Sensing Image Registration Algorithm

  • ZHANG Mingxiang , 1 ,
  • WANG Zegen , 2, * ,
  • BAI Ruyue 1 ,
  • JIA Hongshun 3
Expand
  • 1. School of Civil Engineering and Geomatics, Southwest Petroleum University, Chengdu 610500, China
  • 2. School of Geoscience and Technology, Southwest Petroleum University, Chengdu 610500, China
  • 3. School of Geological Engineering and Surveying, Chang'an University, Xi'an 710064, China
* WANG Zegen, E-mail:

Received date: 2019-12-02

  Request revised date: 2020-01-24

  Online published: 2021-01-25

Supported by

National Natural Science Foundation of China(41701428)

Copyright

Copyright reserved © 2020
Fold

摘要

由于光学遥感图像和SAR图像具有明显的非线性强度差异,且SAR图像存在斑点噪声,使得其配准存在较大难度。为此,本文结合基于特征和基于区域图像配准方法的优点,并组合为混合模型,提出一种由粗到精的自动配准算法。以光学遥感图像和SAR图像分别为参考图像和待配准图像,先以基于特征点的SAR-SIFT完成粗配准,再以基于区域的ROEWA-HOG完成精配准。① 采用SAR-SIFT算法进行特征点检测和特征匹配来计算图像的仿射变换模型,以消除参考图像和待配准图像之间明显的旋转、尺度和平移差异,至此完成图像粗配准;② 在此基础上利用分块Harris角点检测在参考图像上获得特征点,并根据特征点确定待配准图像上的同名点搜索区域;③ 计算图像的ROEWA梯度,构造以特征点为中心的模板区域内的HOG特征向量,以SSD作为相似性测度搜索待配准图像上的同名点,完成高精度的图像配准;④ 进行图像配准实验,对配准结果进行目视检查和精度评估。经过多组光学与SAR图像配准实验,验证本文算法能够结合基于特征和基于区域的图像配准方法的优点,较好地抵抗光学与SAR图像之间的非线性强度、旋转、尺度、平移差异和SAR图像的噪声影响,并逐步提高配准精度,最终配准精度达到1个像素左右,实现了光学与SAR图像的高精度自动配准,能够满足光学与SAR图像后续综合应用。

关键词： 光学图像; SAR图像; 图像配准; 特征匹配; 模板匹配; 混合模型; SAR-SIFT算法; HOG特征; ROEWA算法

本文引用格式

张明祥 , 王泽根 , 白茹月 , 贾鸿顺 . 一种由粗到精的光学与SAR遥感图像配准算法[J]. 地球信息科学学报, 2020 , 22(11) : 2238 -2246 . DOI: 10.12082/dqxxkx.2020.190742

Abstract

Due to the fact that optical remote sensing image and SAR image have obvious nonlinear intensity differences, and that SAR image has speckle noise, it is difficult to register them. Feature-based image registration and region-based image registration are the two most common methods of optical and SAR image registration. One advantage of feature-based image registration is that it can solve the problem of rotation, scale, and translation differences between images. Another advantage is the small amount of calculation. However, this method usually has the disadvantages of low registration accuracy and instability. Region-based image registration can achieve high-precision registration of heterogeneous images. However, it performs poorly for images with large rotations, scale differences, and it has heavy computation task. For these problem, this paper combines the advantages of feature-based and region-based image registration methods into a hybrid model and proposes an automatic registration algorithm for optical and SAR images. The optical remote sensing image is the reference image while the SAR image is the one to be registered. The SAR-SIFT based on the feature points is used to complete the coarse registration and then the ROEWA-HOG based on the region is used to complete the fine registration. Firstly, the SAR-SIFT algorithm, robust to nonlinear intensity differences and speckle noise, is used to perform feature point detection and feature matching to calculate the affine transformation model of the image to eliminate the obvious rotation, scale and translation difference between the optical image and the SAR image. This is the coarse image registration. Secondly, we use the block Harris corner detection method to obtain a certain number of evenly distributed feature points on the reference image. We determine the search area of the corresponding points on the image to be registered according to the feature points, calculate the ROEWA gradient of the image, and then use a fast calculation strategy to construct the HOG feature vector in the template area with the feature points as the center. Then, we use SSD as the similarity measure to search the corresponding points on the image to be registered. This is the high-precision image registration. Finally, we carry out the image registration and perform visual inspection and quantitative evaluation of the registration results. It is demonstrated that the algorithm in this paper can combine the advantages of feature-based and region-based image registration methods to better resist the noise effect of SAR images and the nonlinear intensity, rotation, scale, and translation differences between optic and SAR images. The final registration accuracy of our high-precision automatic registration method is 1 pixel. High-precision automatic registration for SAR images can meet subsequent comprehensive applications of optical and SAR images.

Key words： optical image; SAR image; image registration; feature matching; template matching; hybrid model; SAR-SIFT algorithm; HOG feature; ROEWA algorithm

1 引言

随着航天科技和遥感技术的发展,对地观测的遥感图像数据的获取逐渐多源化,不同的传感器对地观测所获取的信息具有各自的独特性[1],综合利用多源遥感数据实现优势互补来获取更为丰富的遥感信息已在遥感领域得到了广泛应用。光学遥感和SAR作为遥感获取地面信息的2种重要技术手段,其所成图像反映了地物的不同特征,能够为地表监测提供互补的信息,通过融合这两类影像的信息,可有效地对地表进行全面的观测和分析[2]。而光学与SAR图像配准作为其前提步骤,配准精度将直接影响其后续应用。但由于其传感器的成像原理和成像条件不同,导致所成图像之间存在明显的非线性强度差异和一定的几何结构、旋转、分辨率差异,使得光学与SAR图像间的配准具有较大的难度。
目前主流的图像配准算法包括基于区域的和基于特征的图像配准方法[3,4],叶沅鑫等[2,5-6]基于图像的几何结构特征提出了一种特征描述符-相位525一致性方向直方图（Histogram of Orientated Phase Congruency,HOPC）,并采用基于区域的模板来匹配特征点,能够高精度地配准光学与SAR图像。Fan等[7]首先采用基于均匀非线性扩散的Harris来检测特征点,并基于相位一致性结构图来构造一种新的结构描述子PCSD,并采用模板匹配同名特征点,能够较好地抵抗光学与SAR图像之间的非线性强度差异和SAR图像的斑点噪声影响。Xiang等[8]对于光学图像采用Sobel算子来计算梯度,对于SAR图像则利用对斑点噪声具有鲁棒性的指数加权平均比值算子（Ratio of Exponentially Weighted Averages,ROEWA）来计算梯度,获得两图像较为一致的梯度,然后采用多尺度Harris检测特征点,并为特征点构造一种似GLOH描述子,最后进行特征匹配,该算法对于高分辨率光学图像与SAR图像具有较好的配准效果。
虽然目前已有了大量的光学与SAR图像配准算法,但大多都是基于单一算法,往往无法实现理想效果,因此混合模型的方法开始进入人们的视野,该方法大大提高了异源图像配准精度[4]。在此考虑下,本文结合基于特征的SAR-SIFT和基于区域的ROEWA-HOG算法的优点组合为一种混合模型,提出一种由粗到精的光学与SAR图像配准算法。SAR-SIFT[9]采用了改进的ROEWA[10]算法来计算图像梯度,而ROEWA算法对于非线性强度变化和斑点噪声具有鲁棒性,故可适用于光学与SAR图像间的配准,但其配准精度较差,而基于图像几何结构的HOG特征模板匹配则具有较高的配准精度。故本文先使用SAR-SIFT对图像进行粗配准以消除较大的旋转、尺度、平移差异,然后在此基础上,采用基于ROEWA算法的HOG特征对图像进行模板匹配,以获得更高的配准精度。经过多组光学与SAR图像配准实验,验证了本文算法的有效性。

2 SAR-SIFT算法

SAR-SIFT是针对于SAR图像配准所提出的算法,在经典的SIFT算法[11]基础上进行了改进,也同样具有尺度、旋转平移不变性,其算法主要包括构造尺度空间、特征点检测、特征点描述3个步骤,其主要改进是采用指数加权平均比值算子ROEWA代替传统的差分来计算图像梯度幅值和方向。相比于差分计算梯度,ROEWA对于噪声和非线性强度变化具有更好的鲁棒性,因此能够在光学和SAR图像中检测出更多的重复特征点,且对于同名点能够构造更为一致的描述向量,从而增加同名点的匹配率,故本文选择SAR-SIFT对光学与SAR图像进行粗配准。

2.1 构造尺度空间

图1（b）为SAR-SIFT采用随尺度参数 σ i 增大的ROEWA处理窗口对图像进行滤波来构造尺度空间,用于特征点检测和描述子的构建,以使特征匹配具有尺度不变性。ROEWA是通过逐像素为中心计算其邻域指数加权平均比值来计算梯度的,其矩形窗口可以看成是由2个正交一维滤波器组成的二维可分离滤波器。如图2所示,滤波窗口内的滤波加权值从中心到边缘逐渐减小,其在离散域的计算公式如下[8]:
R h , σ i = ∑ m = - M / 2 M / 2 ∑ n = 1 N / 2 I ( x + m , y + n ) e - m + | n | σ i ∑ m = - M / 2 M / 2 ∑ n = - N / 2 - 1 I ( x + m , y + n ) e - m + | n | σ i
R v , σ i = ∑ m = 1 M / 2 ∑ n = - N / 2 N / 2 I ( x + m , y + n ) e - m + | n | σ i ∑ m = - M / 2 - 1 ∑ n = - N / 2 N / 2 I ( x + m , y + n ) e - m + | n | σ i
式中: R h , σ i 和 R v , σ i 分别为在尺度参数 σ i 下图像I的（x,y）处像素的横向和纵向的滤波值;M、N为矩形窗口的高和宽,本文中取M=N,其大小与尺度参数 σ i 成正比关系;m、n分别为x、y的偏移值,i为尺度空间层数, σ i 随着i的增大应满足 σ i + 1 / σ i = k ,k为一常量,控制尺度参数的增加。
图1 构造多尺度梯度幅值空间

Fig.1 Constructing multi-scale gradient amplitude space

图2 ROEWA滤波窗口

Fig.2 ROEWA filter window

在进行横向滤波和纵向滤波后,横向梯度 G h , σ i 、纵向梯度 G v , σ i 、 梯度幅值 G m , σ i 和梯度方向 G o , σ i 的计算如下:
G h , σ i = log ( R h , σ i )
G v , σ i = log ( R v , σ i )
G m , σ i = G h , σ i 2 + G v , σ i 2
G o , σ i = arctan G h , σ i G v , σ i
由于光学图像与SAR图像之间存在较大的非线性强度差异,为防止出现梯度反转现象[8,12],需要将计算出的梯度方向限制在0~180°之间。

2.2 特征点检测

在参考图像和待配准图像中检测出大量重复特征点是特征匹配的重要前提,而角点作为图像的重要特征,具有较高的稳定性和重复率。为检测出各个尺度下的角点,在前文计算出不同尺度下的横向梯度和纵向梯度后,首先在每个尺度下计算Harris响应值,并选取阈值判定候选角点,最后进行非极大值抑制选择最终角点。多尺度Harris响应值计算如下:
C x , y , σ i = σ i 2 ∙ g 2 σ i * G h , σ i 2 G h , σ i ∙ G v , σ i G v , σ i ∙ G h , σ i G v , σ i 2
R x , y , σ i = det C x , y , σ i - t ∙ tr ( C x , y , σ i )
式中: g 2 σ i 为标准差为 2 σ i 的高斯核; * 为卷积符号; x , y , σ i 为 σ i 尺度下 x , y 处的Harris响应值; det 为求矩阵行列式; tr 为求矩阵的迹;t为常数。
在计算出多尺度Harris响应值后,需要选取阈值来挑选候选角点,阈值一般取0.01 R σ i max, R σ i max为 σ i 尺度下最大响应值,挑选Harris响应值大于阈值的点作为候选角点,然后以候选角点为中心选取3×3邻域进行非极大值抑制。由于光学遥感与SAR不同的成像原理,在SAR图像中独立的高亮点在光学图像中不能检测为特征点[8],所以在SAR图像中为了防止部分独立的高亮点误检测为角点,取角点3×3邻域,比较邻域内的点和角点的灰度值,若角点灰度值均大于邻域内的点,则剔除该角点。图3为同一场景下的光学与SAR图像,可见检测出大量重复角点。
图3 光学与SAR图像特征点检测

Fig.3 Optical and SAR image feature point detection

2.3 特征点描述

在对图像进行特征点检测后,需要对特征点进行描述,从而参与特征匹配。SAR-SIFT采用了基于圆形区域的GLOH特征描述子[9]。相比于SIFT描述子,GLOH描述子具有更好的旋转不变性和独特性[13]。为了使特征匹配具有旋转不变性,需要计算特征点的主方向,主方向的计算和SIFT的主方向计算方法一致[13],其特征点邻域选取半径为 6 σ 的矩形区域。
为了使描述子具有更高的独特性,采用一种似GLOH描述子[8]。首先,以特征点为中心取半径 r = 12 σ 的圆形支撑区域,嵌套圆形区域其半径从小到大为 0.5 r , 0.75 r , r ,其邻域划分为如图4中所示的对数极坐标扇形子区域,半径最小的圆不划分区域,共17个子区域。然后,将邻域主方向轴（图4中0°方向）旋转到主方向,（0°, 180°）划分为8个方向,在每个子区域有效期统计8个方向的梯度幅值累加直方图,统计直方图时梯度幅值需要乘以一个指数权重函数 e i , j 以防止像素位置微小的变化给描述向量带来突变,最终连接成8×17共136维的向量,最后对向量进行归一化,生成最终的描述向量,即特征点描述子。
e i , j = e - i 2 + j 2 / 2 sigm a 2
式中: i , j 为支撑区域内的像素点相对于特征点的位置; sigma 为标准差, sigma = r 。
图4 似GLOH描述子

Fig.4 GLOH-like descriptor

在构造完参考图像和待配准图像的特征点描述子后,需要进行特征匹配。本文采用最近距离比值（Nearest Nighbor DistanceRatio, NNDR）的方法对特征点进行初匹配,初匹配完成后使用基于归一化重心坐标系的特征匹配方法（Normalised Barycentric Coordinate System, NBCS）[14]来剔除误匹配,并估计出仿射变换模型,对待配准图像进行变换。
由于SAR-SIFT会随着图像尺寸的增加而检测出大量特征点,从而大幅度增加后续步骤的计算时间。考虑到粗配准对于精度的要求不高,为了减少计算量,在粗配准前先对光学与SAR图像进行相同倍率的降采样,且降采样的倍率应保证2幅图像的最小高或宽不小于600个像素,然后再提取SAR-SIFT特征。在特征匹配时,需要将特征点坐标按降采样倍率映射到原始尺寸的图像坐标系上,再估计仿射变换矩阵进行图像变换,至此完成粗配准。

3 基于ROEWA的HOG特征构造

3.1 HOG特征匹配

梯度方向直方图（Histogram of Orientated Gradient,HOG）[15]能表示目标的局部几何结构特征,已经成功地应用到了目标识别,影像分类和影像检索等领域[16]。由于HOG是利用图像的梯度信息来表示图像的几何结构信息,而ROEWA对于非线性强度变化和斑点噪声具有较好的抵抗能力,因此采用ROEWA来计算图像梯度并构造HOG能够更好地表示目标的局部几何结构特征。HOG的构造过程如图5所示,具体步骤如下:
图5 基于ROEWA的HOG构建过程

Fig.5 HOG build process based on ROEWA

（1）在图像中取 m × m 模板窗口,计算模板内的ROEWA梯度幅值和梯度方向;
（2）将模板划分为若干个区块,且相邻区块具有一定的重叠度u;
（3）将每个区块划分为 n × n 个元胞,每个元胞包含 l × l 个像素,在每个元胞里统计8个方向的梯度幅值方向直方图 v ,其统计过程与前文SAR-SIFT描述子构造时相同,每个元胞内的描述向量需要进行归一化,最终一个区块内生成 n × n × 8 维的描述向量 x i = { v 1 , v 2 , … , v n × n } ,下标i为区块的编号;
（4）将模板内所有区块的描述向量 x i 连接起来,生成最终的HOG描述向量 x 1 , x 2 , … , x i 。
由于HOG特征是采用模板匹配的方式匹配同名点,若逐像素搜寻同名点,其计算量则较大。为减少其计算量,本文采用一种分块的Harris[16]来检测参考图像特征点。首先其梯度的计算同样采用ROEWA算子,然后将图像分为10×10的子区域,每个子区域取Harris响应值最高的点,并进行非极大值抑制,若非极大值,则取响应值次最高的点,再非极大值抑制,如此重复取够3个点即可,则完成特征检测后可获得共300个特征点。由图6可见所检测的特征点分布较为均匀。
图6 分块Harris特征点检测

Fig.6 Blocked Harris feature point detection

在获得参考图像特征点后,则以一个特征点为中心取 m × m 模板窗口,计算HOG特征向量,由于在前文中已对图像实行粗配准,消除了较大的旋转、尺度、平移差异,故可直接在待配准图像中直接取参考图像特征点相应位置为中心进行区域搜索同名点,搜索区域为 w × w ,搜索区域内每个点都计算HOG特征向量,并与参考图像特征点的HOG特征向量计算向量差值的平方和（Sum of Square Differences, SSD）[17],待配准图像搜索区域内SSD最小的点即为参考图像特征点的匹配点。SSD测度的计算如下:
S = ∑ i = 1 o D r x r , y r , v i - D s x s , y s , v i 2
式中: S 为参考图像特征点 x r , y r 处的HOG特征向量 D r x r , y r , v i 与待配准图像特征点 x s , y s 处的HOG特征向量 D s x s , y s , v i 的SSD值;o为向量维度。
在完成HOG特征匹配后,采用一种迭代计算来剔除误差过大的匹配点对[18]。首先,计算匹配点对的均方根误差（Root Mean Square Error,RMSE）,并计算点对之间的残差,迭代剔除残差最大的点对;然后,再次计算RMSE,直至RMSE小于1个像素;最后,利用剩下的匹配点对重新估算仿射变换模型,对待配准图像进行变换,完成精配准。

3.2 HOG快速计算策略

由于HOG特征是采用模板匹配同名点,在参考图像上确定特征点后,需要在待配准图像上一定区域内搜索同名点。而搜索区域内需要逐像素构造HOG特征,正因为是逐像素构造HOG特征,其模板重叠度非常高,每一次构造HOG特征,模板内的区块都需要重新计算,这将耗费大量时间。为减少计算量,本文采用一种HOG特征快速计算策略[5]（图7）,具体计算步骤如下:
图7 HOG快速计算策略[5]

Fig.7 The fast computing scheme for the HOG

（1）对于参考图像,以特征点为中心取宽度为m的模板区域,并计算HOG特征向量。
（2）对于待配准图像则以相应的特征点为中心取搜索区域模板,模板宽度为 ( w + m ) ,然后以每个像素为中心取一个区块,并计算区块内的特征向量,以此得到逐像素的特征向量表示,如图7（b）所示,可看作是一个逐像素的特征向量立方体。
（3）由于搜索区域模板已经过逐像素的特征向量表示,在待配准图像上搜索同名点时,如图7（c）所示,只需以搜索点为中心取宽度为m的模板区域,然后按照一定的间隔对特征向量立方体进行采样即可。采样间隔d由区块大小和区块之间的重叠度决定（式(11)）,如图7（d）所示将采样后的所有向量连接起来即构成最终的HOG特征向量。
d = n ∙ l ∙ ( 1 - u )

4 实验分析

4.1 实验参数设置

实验前需对本文算法中的参数进行设置。在SAR-SIFT中,尺度参数初始值 σ 0 = 2 , σ i + 1 / σ i = k 中 k = 2 1 / 2.5 , 滤波窗口 M = 2 σ i , 尺度空间层数i=8,常数t=0.04,在基于ROEWA的HOG构造中,模板窗口 m =120。由于HOG特征的匹配效果与区块内的元胞数的多少并无明显的变化[18],为减少计算量,取元胞数 n =1,元胞宽度 l =7,区块重叠度 u =0.5,搜索区域宽度 w = 20 。

4.2 图像配准实验

为验证本文算法能够配准不同场景下存在明显诸多差异的光学与SAR图像,图像配准实验以两对不同场景和不同分辨率的光学和SAR图像为配准目标,以光学图像为参考图像,SAR图像为待配准图像。考虑到人们更关注人为活动比较多的区域,图像场景选择了城市、郊区及周边山区,且图像间存在一定的旋转、平移、非线性强度差异。图像数据详细信息如表1所示。
表1 光学与SAR图像数据信息

Tab.1 Optical and SAR image data information

实验编号 成像传感器 图像尺寸/像元 地面分辨率 成像模式 入射角/° 极化方式 产品级别 成像日期 成像区域
实验1 Googleearth 2316×1720 1 m - - - - 2012-05-07 挪威
TerraSAR-X 2255×1908 1 m ST 41.8 HH Level-1B 2013-04-10 挪威
实验2 Sentinel-2A 第4波段 4800×2608 10 m - - - Level-1C 2018-06-05 运城
Sentinel-1A 3344×2262 5×20 m IW 36.7 VH Level-1 2019-10-28 运城
首先使用SAR-SIFT对参考图像和待配准图像进行粗配准（图8）,可见SAR-SIFT能够较好地实现光学和SAR图像同名特征点的匹配,获得粗配准结果。由图9左侧的棋盘镶嵌图可知,粗配准后,参考图像与待配准图像已消除了较大的旋转、尺度、平移差异,但其结果仍存在较大的误差。在图9左侧的局部放大窗口中可见,部分地物边缘未一致性连接,道路连接出现交错现象。经过精配准后,如图9右侧的局部放大窗口所示,部分地物已实现较高精度的配准,相比粗配准,地物边缘均一致性连接,道路未出现交错现象。
图8 SAR-SIFT同名特征点匹配

注:图中红点表示特征点;黄线表示匹配的同名特征点连线。

Fig.8 SAR-SIFT corresponding feature points matching

图9 光学与SAR图像粗配准和精配准结果

注:从左到右分别为粗配准和精配准结果。

Fig.9 Optical and SARimage coarse registration and fine registration results

4.3 配准结果评估

本文采用RMSE、正确匹配率CMR、运行时间对算法实验的配准结果进行客观定量评价,算法运行环境为MatlabR 2018,硬件配置: Intel(R) Core(TM) i5-3210M CPU 2.6 GHz, 8 GB笔记本电脑,RMSE和CMR的计算如下:
RMSE = 1 N ∑ i = 1 N x 1 i - x 2 i 2 + y 1 i - y 2 i 2
CMR = N c / N
式中:N为匹配对数; x 1 i , y 1 i 与 x 2 i , y 2 i 为匹配点对坐标; x 2 i , y 2 i 为经过近似地面真实的仿射变换模型H变换后的点坐标; N c 为正确匹配对数。本文以H对匹配点对进行变换,变换后的点对距离小于1.5个像素即为正确匹配对。
为了验证本文算法相比于其他先进算法存在哪些优缺点,选用了HOPC算法进行比较,HOPC源码来自于文献[6]。由于本文的实验图像存在一定的旋转和平移差异,而HOPC是基于区域的配准方法,不具有旋转不变性,故同样需要先进行粗配准,再使用HOPC进行进一步的精配准。为了与本文算法比较,粗配准仍然采用SAR-SIFT算法,其配准结果评估如表2所示。
表2 光学与SAR图像配准结果评估和比较

Tab.2 Evaluation and comparison of optical and SAR image registration results

配准算法 实验编号 粗配准RMSE 精配准RMSE 精配准CMR/% 粗配准运行时间/s 精配准运行时间/s
本文算法 实验1 5.35 1.21 81 39 109
实验2 3.83 0.91 93 53 147
SAR-SIFT+HOPC 实验1 5.43 1.09 89 41 231
实验2 3.85 0.82 95 51 318
由表2可知,在经过粗精结合的配准后,本文算法能得到较高的配准精度和正确匹配率,实验2图像配准精度达到了亚像素。相比于本文算法,HOPC的配准精度要更高一些,但所消耗的时间更多,主要是由于HOPC是计算图像的相位一致性强度和特征方向来替代梯度幅值和方向,计算量比较大,故消耗时间更多。由上述实验结果验证了本文算法能够较好地实现光学与SAR图像的高精度配准,相比于其他算法也具有一定的优势。

5 结论与讨论

针对光学与SAR图像因非线性强度差异大,且SAR图像存在斑点噪声干扰导致配准难度大的问题,提出了一种由粗到精的配准算法,先由SAR-SIFT对光学与SAR图像进行粗配准,消除其较大的旋转、尺度、平移差异,再采用ROEWA计算梯度构造HOG特征进行模板匹配,对其进行精配准。通过对2组不同成像传感器和不同分辨率的光学和SAR图像进行配准实验,由配准结果的目视检查可见,配准后的光学与SAR图像的地物边缘连接一致,无交错现象。从配准结果的评估可见,本文算法粗配准精度达到5个像素左右,精配准精度能够达到1个像素左右,且运行时间相比于HOPC算法更少,验证了本文算法能够较好地发挥混合模型的优点,克服光学与SAR图像之间的非线性强度、旋转、尺度、平移差异和SAR图像的噪声影响,最终完成高精度自动配准。
虽然本文算法对于光学与SAR图像配准能够取得较好的效果,但由于采用混合模型,相比于单一模型的算法计算量会更大,从而降低配准效率,而且ROEWA-HOG是基于图像的几何结构特征进行同名点匹配的,若是在山比较多的区域,光学与SAR图像的几何结构特征差异会比较大,则会影响配准效果,因此本文算法更适用于几何结构特征差异较小的区域。对此问题将在接下来的研究工作中进行解决,以进一步提高配准效率和扩大适用场景范围。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
郭唯娜, 柯长青, 范宇宾. 基于SAR干涉数据的东帕米尔高原冰川变化[J]. 地球信息科学学报, 2019,21(11):1790-1801.

[ Guo W N, Ke C Q, Fan Y B. Glacier changes on the east pamirs plateau: based on SAR interference data[J]. Journal of Geo-information Science, 2019,21(11):1790-1801. ]

[2]
叶沅鑫, 郝思媛, 曹云刚. 基于几何结构属性的光学和SAR影像自动配准[J]. 红外与毫米波学报, 2017,36(6):720-726.

[ Ye Y X, Hao S Y, Cao Y G. Automatic registration of optical and SAR image using geometric structural properties[J]. Journal of Infrared and Millimeter Waves, 2017,36(6):720-726. ]

[3]
姜文聪, 张继贤, 程春泉, 等. SIFT与粗差剔除算法相结合的机载SAR影像匹配研究[J]. 地球信息科学学报, 2013,15(3):440-445.

[ Jiang W C, Zhang J X, Cheng C Q, et al. Matching of airborne SAR images based on a combination of SIFT algorithm with mismatching points eliminated algorithm[J]. Journal of Geo-information Science, 2013,15(3):440-445. ]

[4]
杨勇, 胡思茹. 基于模板匹配约束下的光学与SAR图像配准[J]. 系统工程与电子技术, 2019,41(10):2235-2242.

[ Yang Y, Hu S R. Registration of optical and SAR images based on template matching constraints[J]. Systems Engineering and Electronics, 2019,41(10):2235-2242. ]

[5]
Ye Y X, Li S. HOPC: A novel similarity metric based on geometric structural properties for multi-modal remote sensing image matching[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016,3(1):9-16.

[6]
Ye Y X, Shan J, Bruzzone L, et al. Robust registration of multimodal remote sensing images based on structural similarity[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017,55(5):2941-2958.

[7]
Fan J W, Wu Y, Li M, et al. SAR and optical image registration using nonlinear diffusion and phase congruency structural descriptor[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018,56(9):5368-5379.

[8]
Xiang Y M, Wang F, You H J. OS-SIFT: A robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018,56(6):1-13.

[9]
Dellinger F, Delon J, Gousseau Y, et al. SAR-SIFT: A SIFT-like algorithm for SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015,53(1):453-466.

[10]
Fjortoft R, Lopes A, Marthon P, et al. An optimal multiedge detector for SAR image segmentation[J]. IEEE Transaction Geosci Remote Sense, 1998,36(3):793-802.

[11]
Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004,60(2):91-110.

[12]
Hossain M T, Lv G H, Teng S W, et al. Improved symmetric-SIFT for multi-modal image registration [C]// 2011 International Conference on Digital Image Computing: Techniques and Applications (DICTA), Noosa, QLD, Australia, December 6-8, 2011. IEEE, 2011.

[13]
Mikolajczyk K, Schmid C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005,27(10):1615-1630.

DOI PMID

[14]
Li J H, Hu Q W, Ai M Y. Robust feature matching for geospatial images via an affine-invariant coordinate system[J]. The Photogrammetric Record, 2017,32(159):317-331.

[15]
Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2011: 886-893.

[16]
Ye Y X, Shan J. A local descriptor based registration method for multispectral remote sensing images with non-linear intensity differences[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014,90(3):83-95.

[17]
Barbara Z, Flusser J. Image registration methods: A survey[J]. Image and Vision Computing, 2003,21(11):977-1000.

[18]
Ye Y X, Bruzzone L, Shan J, et al. Fast and robust matching for multimodal remote sensing image registration[J]. IEEE Transactions on Geoscience & Remote Sensing, 2019,57(11):9059-9070.

Options
文章导航

/

〈 〉