EN中文

地球信息科学学报 >

2022 , Vol. 24 >Issue 5: 925 - 939

DOI: https://doi.org/10.12082/dqxxkx.2022.210529

遥感科学与应用技术

一种星载平台轻量化快速影像匹配方法

  • 岳振宇 ,
  • 范大昭 ,
  • 董杨 ,
  • 纪松 , * ,
  • 李东子
展开
  • 中国人民解放军战略支援部队信息工程大学 地理空间信息学院,郑州 450001
* 纪 松（1983— ）,男,江苏盐城人,博士,副教授,主要从事航天摄影测量及遥感影像处理与分析的研究。 E-mail:

岳振宇（1997— ）,男,山东德州人,硕士生,主要从事数字摄影测量研究。E-mail:

收稿日期: 2021-09-01

  要求修回日期: 2021-10-18

  网络出版日期: 2022-07-25

基金资助

高分遥感测绘应用示范系统(二期)(42-Y30B04-9001-19/21)

国家自然科学基金项目(41971427)

版权

版权所有,未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。
收起

A Generation Method of Spaceborne Lightweight and Fast Matching

  • YUE Zhenyu ,
  • FAN Dazhao ,
  • DONG Yang ,
  • JI Song , * ,
  • LI Dongzi
Expand
  • Institute of Geospatial Information, PLA Strategic Support Force Information Engineering University, Zhengzhou 450001, China
* JI Song, E-mail:

Received date: 2021-09-01

  Request revised date: 2021-10-18

  Online published: 2022-07-25

Supported by

High Resolution Remote Sensing, Surveying and Mapping Application Demonstration System(42-Y30B04-9001-19/21)

National Natural Science Foundation of China(41971427)

Copyright

Copyright reserved © 2022.
Fold

摘要

针对现有传统影像匹配在星载平台有限的存储及算力条件下难以快速计算的问题,本文提出一种适用于星载平台的、基于哈希学习的轻量化快速影像匹配方法。该方法以同源卫星影像的特征描述符作为训练集计算哈希函数,并利用训练好的哈希函数将特征点的浮点型特征描述符映射至汉明空间,实现特征点对间相似度的快速计算,进一步通过剔除误匹配点获得精确匹配结果。同时,训练集中的特征描述符的种类可根据星载平台载荷的传感器类型、影像分辨率及目标区域影像的地貌类型进行灵活选择,使得本文方法具备良好的可重构性;计算汉明距离衡量特征点对间的相似度,提高本文方法在星载平台轻量化处理的应用能力。选取不同时刻资源三号卫星影像及高分七号卫星影像进行匹配对比实验,本文方法轻量化处理后的LW-SIFT方法相较于经典SIFT方法,在耗时方面减少50.12%,且增加正确匹配点数达20.28%。实验结果表明,本文方法能够显著提升影像匹配的精确度及时效性,有较大的应用潜力,能够为星载平台应用提供有力支撑。

关键词： 星载平台快速匹配; 高空间分辨率遥感影像; 高分七号; 资源三号; 影像特征; 描述符轻量化; 哈希映射; 二值型特征描述符

本文引用格式

岳振宇 , 范大昭 , 董杨 , 纪松 , 李东子 . 一种星载平台轻量化快速影像匹配方法[J]. 地球信息科学学报, 2022 , 24(5) : 925 -939 . DOI: 10.12082/dqxxkx.2022.210529

Abstract

To solve the existing problem that traditional matching methods are difficult to achieve fast matching on the spaceborne platform under the condition of limited storage and computing power. So, this paper proposes a fast image matching algorithm based on spaceborne platform. The feature descriptors of the same-origin satellite images are used as the training set to calculate the hash function, and the floating-point feature descriptors are mapped to the Hamming space to calculate the similarity. The mismatching elimination method is used to get a set of matching points with higher matching accuracy. And the types of feature descriptors can be flexibly adjusted according to the sensor type of the spaceborne platform load, image resolution, and landform type of the target area image, which makes the proposed method have good reconfigurability. The hamming distance is calculated to measure the similarity between feature point pairs and improve the application ability of the method in the light-weight processing of the spaceborne platform. The matching experiments of different geomorphological features using the different orbital imageries from ZY-3 and GF-7 satellites are completed. The experiments prove that compared with the SIFT, the LW-SIFT (Light Weight Scale-Invariant Feature Transform) proposed in the paper can achieve satellite remote sensing image matching more efficiently, reducing time consumption by 50.12% and increasing the number of correct matching points by 20.28 %. This proposed method can significantly improve the accuracy and timeliness of matching and has a large application potential for spaceborne platform applications.

Key words： fast matching on the spaceborne platform; high-resolution satellite images; GF-7 satellite; ZY-3 satellite; image feature; lightweight descriptors; hash algorithm; binary feature descriptors

1 引言

当前,我国国产卫星发展迅速,卫星数量及成像模式不断增加,提供了海量的卫星遥感影像数据资源。但受限于星载平台与地面站之间数据传输带宽,以及影像下传到地面以后卫星影像存储、处理、分发等一系列流程环节,由卫星影像生成满足客户需求的专业级影像产品流程过多,耗时过长,亟需发展遥感影像数据星上在轨高速处理技术。
现阶段,一些学者将卫星影像处理环节移植到星载平台,实现星载平台端到客户终端的卫星影像产品直传下发[1,2,3]。李德仁等[4]提出“对地观测脑”的概念,将通信卫星、导航卫星及遥感卫星一体化组成一个人脑系统,并对“通导遥卫星”感知的数据进行智能化处理,直接服务客户端。其中需要突破的关键技术之一就是在星载平台用人工智能技术做在轨影像智能处理,星载平台的快速影像匹配是在轨影像智能化处理的一个重要环节。
星载平台快速影像匹配的目的是实现拍摄影像与控制点数据库的快速精确匹配,现行的卫星影像匹配算法[5,6,7]多基于特征匹配或者模板匹配,计算人工设计的特征描述符间的最短距离来确定同名点对,能够满足专业应用需求。然而,卫星传感器差异及影像获取角度的不同导致人工设计的描述符在多模态影像匹配中,面临特征重复性探测及模态不变性选择问题,引发高数据维度及高运算复杂度的匹配计算。星载平台的存储空间、传输带宽、计算单元的运算速度和精度等资源有限,不能够保证大规模数据的高精度重复运算,难以支撑该类匹配代价。范大昭等[8]采用深度学习方法提取异源影像的先验特征,自适应优化特征描述符,虽能取得很好效果,但现有星载平台并不具备主流深度学习网络框架的运行条件。针对星载平台快速影像匹配问题,本文提出一种结合人工设计的特征描述符与轻量化学习的方法：首先使用经典匹配算法获取特征点的高维度局部特征描述符;而后构建同源卫星影像特征描述符的正负点对训练集,并基于训练集迭代计算获取哈希函数;然后,利用哈希函数转换特征描述符得到哈希码,再依据汉明距离计算特征点对间的相似度量值,得到匹配的同名点对;最后使用误匹配剔除方法获得精确匹配结果。

2 面向星载平台的特征描述符轻量化

2.1 局部特征描述符与哈希匹配

人工设计的特征描述符由于其对目标对象的灰度、纹理、几何特征的表征方式不同,其特征描述符维度不同,存储空间占用情况也有所不同。特征描述符根据其数据存储形式可以分为浮点型特征描述符与二值型特征描述符[9]。
浮点型特征描述符具备丰富的类别信息表征能力,通过计算比较特征向量的欧式距离判断特征一致性,获取最佳的匹配点对。SIFT算法是浮点型特征描述符中应用较广的匹配算法,具有旋转不变性、尺度不变性、方向不变性。该算法在所选定的尺度空间中,计算特征点领域内的局部图像梯度,将这些梯度转换成一种允许局部较大程度的形状变形和亮度变化的描述符的形式,但该方法的计算复杂度较高。为提高匹配速度,Ke等[10]提出了利用主成分分析（Principal Component Analysis,PCA）对SIFT进行维数简约的PCA-SIFT方法,将SIFT特征描述符从128维降为20维。PCA-SIFT能够降低匹配过程中特征描述符的内存占用量,并减少特征向量之间欧氏距离的计算次数,实现快速匹配。然而该方法不可避免地舍弃了初始特征描述符的部分可区分性,且在匹配环节需要进行PCA映射矩阵的计算,不能满足星载平台影像匹配的高精度及高时效性的需求。
二值型特征描述符将特征向量映射至汉明空间,其特征点对之间的相似度取决于汉明距离,传统的匹配算法包括BRISK[11]、ORB[12]。此类方法利用计算机善于进行异或处理（XOR）的优势,提高计算过程中硬件使用效率,进而缩短匹配耗时。然而BRISK方法存在匹配策略单一,且易受外部干扰的问题。ORB方法对特征点定位精度有限,处理异源影像匹配的效果不佳,不能够支撑星载平台控制点影像库的搭建。
星载平台并不具备地面处理中心强大的计算、存储资源,故其影像匹配方法的选择必须考虑特征描述符的表述及计算形式。针对快速实现高精度影像匹配的需求,适用于星载平台的匹配方法需要结合浮点型特征描述符丰富的特征描述能力,与二值型特征描述符的低匹配耗时优势。为了最大程度地减少存储及计算成本,并保留浮点型特征描述符的特性,本文基于哈希算法对浮点型特征描述符进行轻量化处理。
哈希算法可以通过映射函数将影像信号转化为若干个比特的二进制编码序列,同时保证视觉特征相似的影像拥有相同或相近的二值哈希码[13,14]。因具备高效的检索效率和较少的存储空间需求的优势,哈希码被广泛应用于加密,检索等领域中。有学者致力于将哈希学习方法用于航空影像的匹配,来提高测绘产品生产效率。陈苏婷等[15]对哈希学习方法用于大面阵CCD航拍影像的匹配进行研究,提出了LMFH算法实现快速哈希匹配。冯瑞等[16]针对航拍影像高维度、高分辨率、尺寸大等特点,提出了一种基于HSI颜色空间的哈希学习影像匹配算法HSI-H（HSI-Hashing）,实现对高分辨率航拍影像的快速匹配。
传统哈希函数的映射结果是对数据表征内容的摘要体现,与影像存储的视觉信息相关,多用于全局特征匹配方面,但对像素级的细微变化不够敏感,难以满足星载平台上精确匹配需求。相较于全局特征,局部特征对存在复杂背景干扰和部分遮挡情况影像的处理能力更强,更适用于星载平台的影像匹配任务。然而,星载平台实时获取的卫星影像数据量庞大,其有限的存储空间及计算能力不能支撑传统局部特征描述符的高精度计算。为此,本文对哈希算法用于高维度局部特征描述符的快速匹配进行探究。
哈希函数将特征点的N维特征向量投影至汉明空间,转化为 N位二进制字节,具体实现是先利用投影矩阵 P与特征向量相乘并加上阈值限制 T得到一个得分数值,而后进行哈希化获得哈希码：当得分数值为负数时,字节表示为1;反之,字节表示为0。哈希化的转换过程见式（1）。
g ( u ) = 0 P u + T ≥ 0 1 P u + T < 0
式中： g ( u )为哈希函数; P为投影矩阵; T为阈值限制; u表示特征点的特征向量。基于哈希映射的影像匹配,是先通过哈希映射得到待匹配影像与匹配影像的特征向量在汉明空间的二值型特征描述符,而后通过计算特征描述符之间的汉明距离 Di s ham来判定对应特征点对之间的关系。

2.2 基于星载平台的浮点型特征描述符轻量化映射

哈希函数映射后的特征向量与原始影像的特征向量之间的相似程度直接决定哈希匹配的精度。霍门婕[17]和Strecha[18]的研究表明,使用线性判别分析（Linear Discriminant Analysis, LDA[19]）对特征向量统计性分析得到的映射函数,能够在充分保留原有特征向量的相似度信息的基础上,将其特征描述符映射至汉明空间,获得较好的匹配结果且匹配耗时低。本文针对星载平台的数据形式及计算能力,对映射矩阵训练集的组建以及最优阈值的求解方法进行优化,形成面向星载平台的轻量化描述符计算方法,其实现流程如图1所示。
图1 描述符轻量化函数求解流程

Fig. 1 Flow chart for solving descriptor lightweight function

LDA是一种监督学习的方法,其训练数据集中的样本都具有类别标签。该方法的目的是实现投影后同一类别的类内方差最小,不同类别的类间方差最大。
将特征向量描述符的数据集合设为 Ω, Ω = ( u 1 , v 1 ) , ( u 2 , v 2 ) , · · · , ( u N , v N ) ( i = 1,2 , · · · , N ),其中任意样本 u i为 M维向量,根据是否精确匹配的判断准则对数据集中样本进行分类,分为正确匹配点对与错误匹配点对,则类别标签 v i ∈ 0,1。令 U j ( j = 0,1 )为第 j类样本的集合, n j ( j = 0,1 )为第 j类样本的个数,有 N = ∑ n j ( j = 0,1 )。
依据LDA方法构建训练集。在地面模型训练环节,选择在感兴趣区域有重叠影像的卫星影像作为实验训练数据,使用匹配方法进行处理,提取并描述待匹配影像与匹配影像的特征点,将待匹配影像中的特征描述符记为 F _ querlyId x m,将匹配影像中的特征描述符记为 F _ trainId x m,其中 m = 0表示影像间错误匹配点的特征向量描述符, m = 1表示影像间正确匹配点的特征向量描述符,下文为便于理解将负对数据集“0”记为 Q,正对数据集“1”记为 P,将待匹配影像与匹配影像中匹配得到的特征点对的特征描述符做差分运算得到正负对的数据集,将正对数据集中的参数记为 u u ∈ U P,负对数据集中的参数记为 u u ∈ U Q,形式如下：
u u ∈ U p = F _ querlyId x P - F _ trainId x P , u u ∈ U Q = F _ querlyId x Q - F _ trainId x Q
定义 ∑ j ( j = Q , P )为第 j类样本的协方差矩阵,则正对数据集的协方差矩阵 ∑ P与负对数据集的协方差矩阵 ∑ Q的表达式如式（3）所示：
∑ P = ∑ u u T , ∑ Q = ∑ u u T
（1）训练投影矩阵 P。经哈希函数映射后,正对数据集中的汉明距离的期望最小,负对数据集中的汉明距离期望最大,即能够使下式的损失函数L达到最小。
L = αE Di s ham ( U P ) - E Di s ham U Q
式中： α为正负数据集的平衡参数; E ·表示期望值; Di s ham ( U j ) , ( j = P , Q )表示j类数据的汉明距离。
使用匹配算法提取卫星影像的特征向量并进行筛选,其匹配结果中的负对数量 n Q远远大于正对数量 n P。为减轻训练集中正负对数据的量级差别对映射矩阵求解的干扰,增设权重参数 β对负对数据集中的特征点对数量进行约束,令 n Q '表示实际参与运算的负对数据集中的特征点对数量,则权重参数的计算方式见式（5）。
β = n P n ' Q
保留每幅影像中所有的同名点对,记为 n P,并保留一定数量的误匹配点对,记为 n Q '。令 N '为权重参数干预后实际保留的训练集特征点对的总数,具体构建如式(6)。
N ' = n P + n Q ' = n p + n P β
为提高哈希函数的泛化能力,对训练集中的特征描述符 u i进行L2范数归一化处理,使得特征描述符能够更好地进行哈希计算,避免模型过拟合。归一化处理后的特征描述符记为 u i ',计算公式如下：
u i ' = u i ∑ u i 2 , i ∈ N '
为方便损失函数的优化并结合先验信息,本文假定所求投影矩阵P为正交阵, tr ·为矩阵迹, 则有:
E Di s ham ( U P ) = tr P ∑ P P T , E Di s ham ( U Q ) = tr P ∑ Q P T
式（4）转化为：
L = α tr P ∑ P P T - tr P ∑ Q P T
基于上文方法所构建的卫星影像特征描述符训练集,将 u乘以 ∑ Q - 1 / 2来变换坐标,则 L的第二项转化为常数,则可得损失函数的正比关系见式（10）。
L ∝ tr P ∑ Q - 1 / 2 ∑ P ∑ Q - T / 2 P T = tr P ∑ P ∑ Q - 1 P T = tr P ∑ R P T
∑ R = ∑ P ∑ Q - 1
式中： ∑ R是正对数据集的协方差与负对数据集协方差之比。由于 ∑ R是一个对称的半正定矩阵,对其进行特征分解,即 ∑ R = VD V T,其中 D为特征值的非负对角矩阵,其大小为 N × N阶, V是具有对应特征向量的 N × N阶矩阵。将特征值矩阵 D按照特征值进行从小到大重排序并对特征向量矩阵 V进行更新,即得到 D ' , V '。一个使式（10）所述的损失函数取得最小值的投影矩阵,应该是将特征描述符投影至基为 ∑ R的最小特征向量的空间的矩阵,则给出投影矩阵 P的计算方法如下：
P = D N ' - 1 / 2 V ' T
（2）计算阈值限制 T。在得到投影矩阵 P之后,需要对其进行阈值限制以进一步减小损失函数,才能得到更精准的匹配结果。由哈希函数运算公式可以看出,对阈值 t i ( i = 1,2 , · · · , M )的求取可以转换为独立变量的一维阈值逼近过程。使用投影矩阵P对特征描述符进行映射处理,令 Y _ querlyId x i = P i u ' ri, Y _ trianId x i = P i u ' ri ( i = 1 , · · · , M ; r = Q , P )。其中, Y _ querlyId x i , Y _tr ianId x i分别为待匹配影像与匹配影像中特征描述符的第 i维数据投影至汉明空间的矢量值, P i为投影矩阵 P的第 i行 M维的行向量, u ' ri为 r类特征点的第 i维数值的集合。
计算式（12）可得到匹配影像与待匹配影像的特征描述符在汉明空间的初始映射值,简记为 va l Pi , va l Qi,当 ( va l Pi + t i ) , ( va l Qi + t i )同符号时判定其相邻,异符号时判定其距离较远。令 W max = max - va l Pi , - va l Qi, W min = min - va l Pi , - va l Qi,易得同名点对的判别准则：
特征点不相邻 W min < t ≤ W max 特征点相邻 t ≤ W min | | W max > t
为方便计算引入累计分布函数CDF(Cumulative Distribution Function)的概念, CDF t表示连续函数中所有小于等于t的函数值的概率,此处用来表示某一维度的阈值限制为t时对应的数值概率。逐维度最佳的阈值限制,能使正对数据集的同符号的占比最大,负对数据集的同符号的占比最小。本文所使用的浮点型特征描述符,通过特定的组合构建方法,能够很好地解决同类对象在不同成像条件下特征的不变性与可变性的平衡问题,进而达到优良的匹配效果。然而,单一的逐维度的阈值逼近并没有利用到特征向量的组合优势,为此增加一个全局改正量 Δ t,对阈值进行进一步优化。
首先令 Δ t = Δ t 0 = 0,将 u ’ u ∈ U P, u ‘ u ∈ U Q代入已有的 Pu + t函数中,依据上述的同名点对判别准则进行逐点对判断,累计计算其对应的正确点对个数 nu m 0 _ P , nu m 0 _ Q,计算其存优率 h。
h m = nu m i _ P n P nu m i _ Q n Q '
将初始 t的最后一位有效数字作为迭代步长记为 d,迭代范围 b为对称的整数集合,迭代计算的形式为 Δ t m = b × d + Δ t 0 ( b ∈ Z ),m为迭代次数,则哈希函数更新为 P u + t + Δ t m,计算得到 h m,将每次迭代的得分存入集合 H中。存优率越大,表示优化后的哈希函数在正对数据集中判定的正确点对数量越多,在负对数据集中误判的匹配点对的数量越少。当 h m = max ( H )时,存优率最大,则此时的改正值 Δ t m为最优改正值,得到最优的阈值限制为 t ' i = t i + Δ t m ( t ' i ∈ T , i = 1,2 , · · · , M )。

2.3 面向星载平台特征描述符轻量化的快速影像匹配方法

为了减轻星载平台快速影像匹配的计算、存储压力,使用二值型特征描述符代替浮点型特征描述符：通过哈希函数将匹配算法提取的 N维浮点型特征描述符映射为 N位二进制字节。基于上述浮点型特征描述符轻量化处理方法,并结合星载平台影像处理流程,本文所提出的匹配方法具体如图2所示。
图2 面向星载平台的快速影像匹配流程

Fig. 2 Fast image matching process for spaceborne platforms

在地面平台,利用已有卫星影像数据,构建大规模正负匹配点对数据集,通过训练集统计计算其相关性特征,找到能够使正确匹配的特征点对间的类内协方差最小,错误匹配点对的类间协方差最大的哈希函数,其具体算法流程如下：
（1）特征点提取并描述。使用匹配算法提取待匹配影像与匹配影像中的特征点,并对每个特征点进行特征向量描述,即获得每个特征点的N维浮点型特征描述符;
（2）特征点提纯。使用误匹配剔除算法对待匹配影像与匹配影像中检测得到的特征点对进行处理,获得精准匹配的同名点对,其数量记为 n P;
（3）保留特征描述符。保留精准匹配点对的特征向量,将待匹配影像中保留的特征描述符集合记为 a 1,将匹配影像中相对应的正确匹配点的特征描述符集合记为 a 2;在权重参数的干预下,保留 n ' Q个非匹配点,待匹配影像与匹配影像中的特征描述符集合分别记为 c 1, c 2;
（4）构建训练集。将特征描述符集合 a 1 , a 2进行组合,获得正对数据集,将特征描述符集合 c 1 , c 2进行组合,获得负对数据集,组合得到哈希函数的训练集;
（5）计算哈希函数。使用改良的LDA方法进行有监督的数理统计分析,获得投影矩阵 P。分别对每个特征维度,依照累积分布函数进行逐维度约束,再采用全局存优率方法,得到最佳表现的阈值 T,组合得到哈希函数 g ( u )。
由于成像平台的性质机理以及成像瞬间的平台姿态、光照、云层等内外因素的作用,特征向量描述符在匹配处理之后,还需要利用几何位置信息进行约束实现匹配提纯。为提高算法效率和鲁棒性,本文采用随机抽样一致算法RANSAC[20]（Random Sample Consensus）,作为快速匹配处理中的匹配提纯方法。该方法通过反复选择数据中的一组随机子集参与计算,从包含大量局外点的数据集中估计出高精度的单应性模型参数,获得精准的匹配点对。
针对星载平台的应用,首先通过星地链路的上注手段,上传地面平台计算出来的哈希函数等辅助参数;然后调用星载计算单元中固化写入的匹配方法,检测拍摄卫星影像的特征点并使用本文方法进行轻量化描述符表述,与影像控制点数据库进行相似度计算;最后使用误匹配剔除方法得到正确匹配点对信息。星载平台的影像快速匹配方法如下。
（1）特征点提取并描述。使用经典匹配方法提取星载平台实时拍摄的卫星影像中的特征点,并对其进行特征描述,获得特征点的N维浮点型特征描述符;
（2）描述符轻量化。利用哈希函数将检测到的特征点的特征描述符映射至汉明空间,获得特征点的N位二值型特征描述符;
（3）特征匹配。将特征点的N个二进制字节的串连组合作为其哈希码,计算与星载平台固化写入的影像控制点的哈希码的汉明距离,找到最小距离点及次最小距离点并计算二者汉明距离大小的比值,比值小于给定阈值的点对作为最佳匹配点对。
（4）误匹配剔除。使用RANSAC算法剔除误匹配点对,最终获得正确匹配点对。
星载平台的实际运营维护过程中,本文所提出的方法可以结合卫星传感器成像类型、范围、任务属性以及重访周期等因素,借助上注手段定期针对不同地貌类别处理需求更新哈希函数,以提高星载平台的影像匹配精度,进一步满足星载平台影像智能处理的需求。

3 结果及分析

3.1 数据集选择与处理

本文使用资源三号卫星及高分七号卫星影像参与实验,资源三号卫星我国第一颗民用三线阵立体测图卫星[21],其影像数据已经广泛应用于社会生产及国防建设;高分七号卫星是我国首颗民用亚米级光学传输型立体测绘卫星,是中国首颗1:10 000比例尺立体测绘卫星,其前视影像和后视影像可以构成同轨立体生成立体地图。本文算法的应用目标是实现主流测绘级卫星影像的星上处理。通过使用不同类型的测绘卫星在不同时刻拍摄的不同场景影像进行实验,验证本文方法的有效性,从而能够为本文方法的测绘级星上应用提供实践基础。
选择不同时刻的资源三号及高分七号的立体卫星影像数据对作为原始数据集,依照本文方法构造训练集。首先使用SIFT、SURF方法检测并描述待匹配影像与匹配影像中的匹配点对,并使用RANSAC方法筛选出误匹配点对;按照式（6）保留正负匹配点对数据集,其中权重参数b取值为0.01;将不同地貌类型所对应的训练集代入并计算对应的投影矩阵;采用阈值优化策略计算得到处理不同地貌特征的哈希函数。
依据影像数据来源,本文共设计2组匹配实验。实验1所使用的影像数据为登封地区的资源三号卫星影像,成像时间分别为2019年5月及2020年5月。登封地区的地理类别较为丰富,包括河流、山路、梯田、水库、山地、公路、建筑物等地貌类型。在本文实验中,将卫星影像按主要的地貌类型特征,区分为山区、农田、城镇、居民地这4类影像。实验2所使用的为2020年12月不同时刻的高分七号异轨的前后视影像,其重叠部分包含一定面积的水域。实验1及实验2的实验用图如图3所示,其成像信息见表1。
图3 实验使用的卫星影像

Fig. 3 Satellite imagery used in the experiment

表1 同源影像数据集

Tab. 1 Same-source image data set

实验1 实验2
左影像 右影像 左影像 右影像 左影像 右影像
卫星名称
ZY3-1 ZY3-1 GF7 GF7 GF7 GF7
传感器 NAD NAD BWD BWD FWD FWD
采集时间 2019-05-22 2020-05-10 2020-12-15 2020-12-15 2020-12-30 2020-12-30
分辨率/m 2.10 2.10 0.65 0.65 0.80 0.80
对实验影像进行裁剪,以得到统一尺寸规格的影像切片参与匹配实验。将资源三号01星卫星的正视全色影像进行切片,得到影像分辨率为2.1 m,大小为2000像素×2000像素的裁剪影像。图4所示为训练过程中,实验1所用到4类不同地貌特征的资源三号卫星影像,其中图4(a)—图4(d)是左影像,图4(e)—图4(h)是右影像。对目标区域影像进行裁剪后,共获得121幅卫星影像块。依据目视判图,将其分为4类地貌特征影像,其中农田影像27幅、山地影像46幅、居民地影像13幅、城镇影像35幅。将获取的高分七号卫星前视、后视的全色影像进行切片,分别得到影像分辨率为0.8 m、0.65 m,大小为2000像素×2000像素的裁剪影像,共获得80幅后视影像对,其中23对影像为纯水域;共获得36幅前视影像对,其中10对影像为纯水域。
图4 测试集中4类地貌的卫星影像

Fig. 4 Satellite images of four types of landforms

由图4可知,不同地貌特征的影像匹配实验对特征描述符的应用性能的考量有所不同：农田地区影像,包含农田与河流区域,能够检验算法对于弱纹理区域的特征提取能力;山地地区影像,包含丘陵及山脉区域,能够用来检验算法对于不规则纹理特征的地区的适用性;居民地地区影像,包含主要的城市区域以及大面积的乡镇,能够考察算法对于人工建筑物的检测能力;城镇地区影像,包含小面积乡镇及山区村庄区域,能够考察算法对于城市边缘混合地带的特征表征能力。

3.2 实验设计与评价方法

数据预处理。针对实验1,先将登封地区不同时刻的资源三号卫星影像进行裁剪,其次使用目视判图的方法将影像块分为4类不同地貌特征的影像匹配组。针对实验2,将高分七号异轨影像的重叠部分进行裁剪,获得不同时刻的前视影像匹配组以及后视影像匹配组。
评价指标。使用匹配方法所检测到特征点数K1、正确匹配点数K2及匹配耗时K3,这3个指标来对匹配方法进行精度及时效性的比较。其中,K1为匹配方法检测得到并经过距离约束处理后的特征点数量;K2是剔除K1中的误匹配点对后保留的正确匹配的同名点对数量;由于星载平台影像匹配是实现拍摄影像与控制点的匹配,因此K3为匹配影像的特征点检测及描述,特征描述符匹配,误匹配剔除这3部分计算时间的总和。采用正确匹配特征点增加比率S1、耗时减少比率S2对本文所提出匹配方法的优化效果进行分析,其具体计算如式（15）、（16）所示。
S 1 = K 2 LW - K 2 K 2 × 100 %
S 2 = ABS K 3 LW - K 3 K 3 × 100 %
本文设计了2组对比实验：① 使用SIFT方法与LW-SIFT方法对4种不同地貌特征的资源三号卫星影像进行影像匹配实验,探究本文提出的快速影像匹配算法对不同地貌特征影像的匹配效果;② 使用SIFT方法、LW-SIFT方法、SURF方法、LW-SURF方法、BRISK方法及ORB方法,对高分七号的异轨前后视影像进行影像匹配实验,探究对亚米级光学卫星影像的快速匹配方法的选用。本文所使用方法的匹配细节如表2所示。
表2 匹配方法使用情况

Tab. 2 Matching method usage

序号 特征检测方法 描述符生成方法 描述符维度 描述符存储类型 描述符存储大小/bit 描述符匹配方法
1 SIFT SIFT 128 float 4096 ANN
2 LW-SIFT SIFT-Hamming 128 unsigned char 128 BF-Hamming
3 SURF SURF 64 float 2048 ANN
4 LW-SURF SURF-Hamming 64 unsigned char 64 BF-Hamming
5 BRISK BRISK 64 unsigned char 64 BF
6 ORB ORB 32 unsigned char 32 BF-Hamming

3.3 实验结果与分析

由图5—图7可知,针对4类主要地貌特征的影像匹配处理,本文所提出的LW-SIFT方法能够取得优于SIFT方法的匹配效果：将误匹配剔除后,LW-SIFT方法能够保留更多的正确匹配的同名点对,匹配耗时更短。通过分析“检测特征点数量”这一指标可以发现,本文方法可以减少检测到的不具备识别稳定性的特征点的数量,进而减少后续特征描述符之间距离匹配的计算耗时;同时利用汉明距离来计算特征描述符的相似度关系,匹配耗时更短。因此该方法更具时效性且匹配精度更高。
图5 4类地物不同匹配方法检测特征点数比较

Fig. 5 Comparison of the number of feature points detected by different matching methods for four types of ground features

图6 4类地物不同匹配方法检测到的正确匹配点对数目比较

Fig. 6 Comparison of the number of correct matching point pairs detected by different matching methods for four types of features

图7 4类地物不同匹配方法的匹配耗时比较

Fig. 7 Comparison of time-consuming matching of different matching methods for four types of ground features

由表3可知,LW-SIFT方法对农田影像匹配耗时的节约效果最好,相较于SIFT方法可以减少57.26%的耗时,对于城镇影像的特征点检测效果最佳,能够多获得21.37%的正确匹配点。取平均值可以发现,LW-SIFT方法相比于SIFT方法,在匹配耗时方面能够减少50.12%,且正确匹配点数能够增加20.28%。兼顾正确匹配点数及匹配耗时,该方法对于山地区域影像匹配的提升效果尤为突出,2个指标分别能够提升21.19%及54.18%。进一步证明LW-SIFT方法对于不规则纹理区域的特征提取能力要优于SIFT方法,匹配精度更高且匹配耗时更短,能够为星载平台的近实时匹配提供有效支撑。
表3 4类地貌区域的匹配效果比对

Tab. 3 Comparison of the matching effect of the four types of geomorphic regions

匹配方法 地貌类型 影像数量 检测特征点
总数/个		 RANSAC后正确匹配总数/个 匹配总耗时/s 平均特征点
增加比率/%		 平均耗时减少
比率/%
SIFT 农田 27 1 179 572 26 503 433.544 - -
山地 46 2 253 819 94 751 853.594 - -
居民地 13 988 022 46 923 288.170 - -
城镇 35 2 108 630 60 043 821.901 - -
LW-SIFT 农田 27 925 733 31 153 178.002 18.87 57.26
山地 46 1 766 759 114 827 367.511 21.19 54.18
居民地 13 768 160 56 137 231.192 19.64 39.50
城镇 35 1 641 941 72 876 380.483 21.37 49.56
由图8可得,匹配耗时与检测特征点数呈正相关关系;相较于前视影像,后视影像的匹配结果的指标波动幅度较大,分析原因是由于后视影像的成像分辨率高,相同地理区域对应的影像块数量更多,使得参与计算的像素点数量、检测得到的特征点数量更多。ORB方法能够检测到最多的特征点并得到最多的正确匹配点对,但由于检测到的特征点过多导致匹配耗时最高。BRISK方法的匹配耗时最短,且检测到的特征点中正确匹配点对数量占比较大,综合比较而言效果最好。本文方法处理得到的LW-SIFT、LW-SURF方法相较于SIFT、SURF方法检测到的特征点对数量较少;LW-SIFT方法相较于SIFT方法,能够检测得到数量近似甚至更多的正确匹配点对,LW-SURF方法得到的正确匹配点对远少于SURF方法。对LW-SURF方法匹配效果不佳进行分析,本文所设计的LW-SIFT方法的特征描述符长度为128位,其表征范围为2128;LW-SURF方法的特征描述符长度为64位,其表征范围为264,远小于前者。而由图表可知SURF方法相较于SIFT方法能够检测到更多的特征点,故推测本文所使用的哈希函数计算方法并不能够很好地保留原始SURF特征描述符的可区分性,即对低维度的特征描述符的轻量化效果不佳。
图8 高分七号异轨影像不同匹配方法效果比较

Fig. 8 Comparison of the effects of different matching methods for hetero-track images of GF7

由图8及表4可以发现,面向高分七号异轨影像的匹配处理,ORB方法在特征点检测数及正确匹配点数方面均达到效果最优,但其匹配耗时极高;BRISK方法的匹配耗时最低,且能够提取检测得到较多的正确匹配点对;LW-SIFT方法相较于SIFT方法,在耗时方面能够减少38.20%,正确匹配点数增加17.13%;LW-SURF方法相较于SURF方法,在耗时方面能够减少61.52%,但会减少77.20%正确匹配点数。对LW-SURF方法匹配效果不理想的问题进行分析,LW-SURF方法检测到的特征点对数量少,且漏检大量正确匹配点对,虽然匹配耗时低,并没有实际意义。由实验结果可得：① 本文所设计的LW-SIFT方法相较于SIFT方法,能够检测得到更多的正确匹配点对,且匹配耗时更低;② 64位的二值型描述符的表征能力有限,并不能够很好地体现原有浮点型描述符之间的类间差异,检测到的误匹配点对较多;③ 本文所使用的数理统计方法对于较小维数的特征描述符的数据规律提取能力不足。
表4 异轨影像的匹配效果比对

Tab. 4 Comparison of the matching effect of hetero-track images

影像类型 匹配方法 检测特征点总数/个 RANSAC优化后正确匹配总数/个 匹配总耗时/s 平均特征点增加
比率/%		 平均耗时减少
比率/%
G7-BWD
(80-23)		 SIFT 1 286 691 23 827 534.625 - -
LW-SIFT 1 015 306 28 040 299.209 16.59 32.36
SURF 1 626 460 40 505 600.890 - -
LW-SURF 942 109 8 667 224.770 -75.80 60.45
BRISK 1 202 657 28 202 182.361 - -
ORB 4 186 775 130 829 1 143.461 - -
G7-FWD
(36-10)		 SIFT 304 796 3 129 145.891 - -
LW-SIFT 240 096 3 648 98.684 17.68 44.03
SURF 639 063 6 566 222.127 - -
LW-SURF 376 989 1 589 87.859 -78.60 62.59
BRISK 267 828 6 631 51.944 - -
ORB 990 204 25 187 218.379 - -

4 结论与展望

4.1 结论

本文针对传统匹配算法在星载平台有限的计算资源下,无法实现快速影像匹配的问题,基于人工描述符与轻量化学习的思想,设计了一种面向星载平台的快速影像匹配方法,并通过不同时刻、不同类型、不同场景的卫星遥感影像的匹配实验,验证了本文方法的有效性。相较于以往的研究,本文主要结论如下：
（1）基于星载平台的计算资源现状,设计了一种描述符轻量化的优化方法：面向星载平台的处理流程,基于浮点型特征描述符进行轻量化处理,使用改良的LDA数理统计方法计算映射矩阵,并考虑局部维度与全局向量特性迭代优化阈值,计算得到哈希函数,使用汉明距离进行最佳匹配点对的筛选与判别。基于此研究并结合星地链路处理方法,提出一种可重构的星载平台快速匹配架构,同时给出其嵌入方法。
（2）使用资源三号及高分七号影像对本文方法进行初步论证：相较于传统SIFT方法,本文方法轻量化处理后的LW-SIFT方法对资源三号影像的匹配处理,在耗时方面平均减少50.12%,正确匹配点数平均增加20.28%;对高分七号影像的匹配处理,在耗时方面平均减少38.20%,且正确匹配点数平均增加17.13%。可以发现本文方法能够显著优化128维的浮点型特征描述符的匹配计算速度,且能够检测到更多的正确匹配点对,可为建立星载控制点影像数据库提供可行的特征点检测算子。

4.2 展望

针对星载平台的快速影像匹配处理,本文对SIFT、SURF方法的特征描述符轻量化进行了较为深入的研究,并开展了相关实验验证。但本文所选用的匹配方法较为单一,且实验仅涉及同源影像匹配。
后续将对不同维度人工设计的特征描述符以及深度学习方法的深度特征描述符的轻量化开展研究。对于本文方法中特征向量映射至汉明空间的哈希函数的求解问题,今后将研究改进约束模型,以进一步提高算法的鲁棒性及可区分性。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
王密, 杨芳. 智能遥感卫星与遥感影像实时服务[J]. 测绘学报, 2019, 48(12):1586-1594.

[ Wang M, Yang F. Intelligent remote sensing satellite and remote sensing real-time service[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12):1586-1594. ] DOI: 10.11947/j.AGCS.2019.20190454

DOI

[2]
高昆, 刘迎辉, 倪国强, 等. 光学遥感图像星上实时处理技术的研究[J]. 航天返回与遥感, 2008, 29(1):50-54.

[ Gao K, Liu Y H, Ni G Q, et al. Study on On-board Real-time Image Processing Technology of Optical Remote Sensing[J]. Spacecraft Recovers & Remote Sensing, 2008, 29(1):50-54.(in Chinese). ] DOI: 10.3969/j.issn.1009-8518.2008.01.010

DOI

[3]
杨芳, 刘思远, 赵键, 等. 新型智能遥感卫星技术展望[J]. 航天器工程, 2017, 26(5):74-81.

[ Yang F, Liu S Y, Zhao J, et al. Technology prospective of intelligent remote sensing satellite[J]. Spacecraft Engineering, 2017, 26(5):74-81.(in Chinese). ] DOI: 10.3969/j.issn.1673-8748.2017.05.012

DOI

[4]
李德仁, 王密, 沈欣, 等. 从对地观测卫星到对地观测脑[J]. 武汉大学学报·信息科学版, 2017, 42(2):143-149.

[ Li D R, Wang M, Shen X, et al. From earth observation satellite to earth observation brain[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2):143-149. ] DOI: 10.13203/j.whugis20160526

DOI

[5]
Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110. DOI: 10.1023/B%3AVISI.0000029664.99615.94

DOI

[6]
Bay H, Tuytelaars T, Van Gool L. SURF: Speeded up robust features [C]. European Conference on Computer Vision, 2006:404-417. DOI: 10.1007/11744023_32

DOI

[7]
许允喜, 陈方. 特征联合和旋转不变空间分割联合的局部图像描述符[J]. 自动化学报, 2016, 42(4):617-630.

[ Xu Y X, Chen F. Recent advances in local image descriptor[J]. Journal of Image and Graphics, 2015, 20(9):1133-1150. ] DOI: 10.16383/j.aas.2016.c150206

DOI

[8]
范大昭, 董杨, 张永生. 卫星影像匹配的深度卷积神经网络方法[J]. 测绘学报, 2018, 47(6):844-853.

[ Fan D Z, Dong Y, Zhang Y S, et al. Satellite image matching method based on deep convolution neural network[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(6):844-853. ] DOI: 10.11947/j.AGCS.2018.20170627

DOI

[9]
董杨. 多视角视频时空四维重建理论与方法研究[D]. 郑州:战略支援部队信息工程大学, 2020.

[ Dong Y. Spatio-Temporally Coherent 4D Reconstruction from Multiple View Video[D]. Zhengzhou, Information Engineering University, 2020. ] DOI: 10.27188/d.cnki.gzjxu.2020.000169

DOI

[10]
Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2004:II-II. DOI: 10.1109/cvpr.2004.1315206

DOI

[11]
Leutenegger S, Chli M, Siegwart R Y. BRISK: Binary robust invariant scalable keypoints [C]. IEEE International Conference on Computer Vision, 2011. DOI: 10.1109/iccv.2011.6126542

DOI

[12]
Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient Alternative to SIFT or SURF [C]. IEEE International Conference on Computer Vision, 2011. DOI: 10.1109/iccv.2011.6126544

DOI

[13]
李恩, 温志盛, 章育林, 等. 基于OpenCV与均值哈希算法的人脸相似识别系统[J]. 工业设计, 2016, 121(8):132-133.

[ Li E, Wen Z S, Zhang Y L, et al. Face recognition system based on OpenCV and mean hash algorithm[J]. Industrial Design, 2016, 121(8):132-133. ]

[14]
方杨. 基于深度学习的鲁棒图像哈希检索方法研究[D]. 武汉:华中科技大学, 2019.

[ Fang Y. Research on robust hash of image retrieval based on deep learning[D]. Wuhan, Huazhong University of Science & Technology, 2019. ] DOI: 10.27157/d.cnki.ghzku.2019.003595

DOI

[15]
陈苏婷, 郭子烨, 张艳艳. 基于局部哈希学习的大面阵CCD航拍图像匹配方法[J]. 应用光学, 2019, 40(2):259-264.

[ Chen S T, Guo Z Y, Zhang Y Y. Matching method of large array CCD aerial images based on local hashing learning[J]. Journal of Applied Optics, 2019, 40(2):259-264. ] DOI: 10.5768/JAO201940.0202003

DOI

[16]
冯瑞. 基于HSI哈希学习的航拍图像匹配算法研究[D]. 南京:南京信息工程大学, 2019.

[ Feng R. Aerial image matching method based on HSI hash learning[D]. Nanjing: Nanjing Information Engineering University, 2019. ] DOI: 10.27248/d.cnki.gnjqc.2019.000329

DOI

[17]
霍门婕. 在轨影像控制点的轻量化设计与应用[D]. 郑州:战略支援部队信息工程大学, 2020.

[ Huo M J. Lightweight design and application of in-orbit image control points[D]. Zhengzhou: Information Engineering University, 2020. ] DOI: 10.27188/d.cnki.gzjxu.2020.000171

DOI

[18]
Strecha C, Bronstein A, Bronstein M, et al. LDAHash: Improved matching with smaller descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1):66-78. DOI: 10.1109/tpami.2011.103

DOI PMID

[19]
Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. The Annals of Applied Statistics, 2001.

[20]
Fischler M A, Bolles R C. Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography-sciencedirect[J]. Readings in Computer Vision, 1987:726-740.

[21]
李德仁. 我国第一颗民用三线阵立体测图卫星——资源三号测绘卫星[J]. 测绘学报, 2012, 41(3):317-322.

[ Li D R. China's first civilian three-line-array stereo mapping satellite: ZY-3[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(3):317-322. ]

Options
文章导航

/

〈 〉