地球信息科学学报 ›› 2022, Vol. 24 ›› Issue (5): 925-939.doi: 10.12082/dqxxkx.2022.210529
收稿日期:
2021-09-01
修回日期:
2021-10-18
出版日期:
2022-05-25
发布日期:
2022-07-25
通讯作者:
* 纪 松(1983— ),男,江苏盐城人,博士,副教授,主要从事航天摄影测量及遥感影像处理与分析的研究。 E-mail: jisong_chxy@163.com作者简介:
岳振宇(1997— ),男,山东德州人,硕士生,主要从事数字摄影测量研究。E-mail: 2015301610373@whu.edu.cn
基金资助:
YUE Zhenyu(), FAN Dazhao, DONG Yang, JI Song*(
), LI Dongzi
Received:
2021-09-01
Revised:
2021-10-18
Online:
2022-05-25
Published:
2022-07-25
Supported by:
摘要:
针对现有传统影像匹配在星载平台有限的存储及算力条件下难以快速计算的问题,本文提出一种适用于星载平台的、基于哈希学习的轻量化快速影像匹配方法。该方法以同源卫星影像的特征描述符作为训练集计算哈希函数,并利用训练好的哈希函数将特征点的浮点型特征描述符映射至汉明空间,实现特征点对间相似度的快速计算,进一步通过剔除误匹配点获得精确匹配结果。同时,训练集中的特征描述符的种类可根据星载平台载荷的传感器类型、影像分辨率及目标区域影像的地貌类型进行灵活选择,使得本文方法具备良好的可重构性;计算汉明距离衡量特征点对间的相似度,提高本文方法在星载平台轻量化处理的应用能力。选取不同时刻资源三号卫星影像及高分七号卫星影像进行匹配对比实验,本文方法轻量化处理后的LW-SIFT方法相较于经典SIFT方法,在耗时方面减少50.12%,且增加正确匹配点数达20.28%。实验结果表明,本文方法能够显著提升影像匹配的精确度及时效性,有较大的应用潜力,能够为星载平台应用提供有力支撑。
岳振宇, 范大昭, 董杨, 纪松, 李东子. 一种星载平台轻量化快速影像匹配方法[J]. 地球信息科学学报, 2022, 24(5): 925-939.DOI:10.12082/dqxxkx.2022.210529
YUE Zhenyu, FAN Dazhao, DONG Yang, JI Song, LI Dongzi. A Generation Method of Spaceborne Lightweight and Fast Matching[J]. Journal of Geo-information Science, 2022, 24(5): 925-939.DOI:10.12082/dqxxkx.2022.210529
表2
匹配方法使用情况
序号 | 特征检测方法 | 描述符生成方法 | 描述符维度 | 描述符存储类型 | 描述符存储大小/bit | 描述符匹配方法 | |
---|---|---|---|---|---|---|---|
1 | SIFT | SIFT | 128 | float | 4096 | ANN | |
2 | LW-SIFT | SIFT-Hamming | 128 | unsigned char | 128 | BF-Hamming | |
3 | SURF | SURF | 64 | float | 2048 | ANN | |
4 | LW-SURF | SURF-Hamming | 64 | unsigned char | 64 | BF-Hamming | |
5 | BRISK | BRISK | 64 | unsigned char | 64 | BF | |
6 | ORB | ORB | 32 | unsigned char | 32 | BF-Hamming |
表3
4类地貌区域的匹配效果比对
匹配方法 | 地貌类型 | 影像数量 | 检测特征点 总数/个 | RANSAC后正确匹配总数/个 | 匹配总耗时/s | 平均特征点 增加比率/% | 平均耗时减少 比率/% |
---|---|---|---|---|---|---|---|
SIFT | 农田 | 27 | 1 179 572 | 26 503 | 433.544 | - | - |
山地 | 46 | 2 253 819 | 94 751 | 853.594 | - | - | |
居民地 | 13 | 988 022 | 46 923 | 288.170 | - | - | |
城镇 | 35 | 2 108 630 | 60 043 | 821.901 | - | - | |
LW-SIFT | 农田 | 27 | 925 733 | 31 153 | 178.002 | 18.87 | 57.26 |
山地 | 46 | 1 766 759 | 114 827 | 367.511 | 21.19 | 54.18 | |
居民地 | 13 | 768 160 | 56 137 | 231.192 | 19.64 | 39.50 | |
城镇 | 35 | 1 641 941 | 72 876 | 380.483 | 21.37 | 49.56 |
表4
异轨影像的匹配效果比对
影像类型 | 匹配方法 | 检测特征点总数/个 | RANSAC优化后正确匹配总数/个 | 匹配总耗时/s | 平均特征点增加 比率/% | 平均耗时减少 比率/% |
---|---|---|---|---|---|---|
G7-BWD (80-23) | SIFT | 1 286 691 | 23 827 | 534.625 | - | - |
LW-SIFT | 1 015 306 | 28 040 | 299.209 | 16.59 | 32.36 | |
SURF | 1 626 460 | 40 505 | 600.890 | - | - | |
LW-SURF | 942 109 | 8 667 | 224.770 | -75.80 | 60.45 | |
BRISK | 1 202 657 | 28 202 | 182.361 | - | - | |
ORB | 4 186 775 | 130 829 | 1 143.461 | - | - | |
G7-FWD (36-10) | SIFT | 304 796 | 3 129 | 145.891 | - | - |
LW-SIFT | 240 096 | 3 648 | 98.684 | 17.68 | 44.03 | |
SURF | 639 063 | 6 566 | 222.127 | - | - | |
LW-SURF | 376 989 | 1 589 | 87.859 | -78.60 | 62.59 | |
BRISK | 267 828 | 6 631 | 51.944 | - | - | |
ORB | 990 204 | 25 187 | 218.379 | - | - |
[1] | 王密, 杨芳. 智能遥感卫星与遥感影像实时服务[J]. 测绘学报, 2019, 48(12):1586-1594. |
[ Wang M, Yang F. Intelligent remote sensing satellite and remote sensing real-time service[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12):1586-1594. ] DOI: 10.11947/j.AGCS.2019.20190454
doi: 10.11947/j.AGCS.2019.20190454 |
|
[2] | 高昆, 刘迎辉, 倪国强, 等. 光学遥感图像星上实时处理技术的研究[J]. 航天返回与遥感, 2008, 29(1):50-54. |
[ Gao K, Liu Y H, Ni G Q, et al. Study on On-board Real-time Image Processing Technology of Optical Remote Sensing[J]. Spacecraft Recovers & Remote Sensing, 2008, 29(1):50-54.(in Chinese). ] DOI: 10.3969/j.issn.1009-8518.2008.01.010
doi: 10.3969/j.issn.1009-8518.2008.01.010 |
|
[3] | 杨芳, 刘思远, 赵键, 等. 新型智能遥感卫星技术展望[J]. 航天器工程, 2017, 26(5):74-81. |
[ Yang F, Liu S Y, Zhao J, et al. Technology prospective of intelligent remote sensing satellite[J]. Spacecraft Engineering, 2017, 26(5):74-81.(in Chinese). ] DOI: 10.3969/j.issn.1673-8748.2017.05.012
doi: 10.3969/j.issn.1673-8748.2017.05.012 |
|
[4] | 李德仁, 王密, 沈欣, 等. 从对地观测卫星到对地观测脑[J]. 武汉大学学报·信息科学版, 2017, 42(2):143-149. |
[ Li D R, Wang M, Shen X, et al. From earth observation satellite to earth observation brain[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2):143-149. ] DOI: 10.13203/j.whugis20160526
doi: 10.13203/j.whugis20160526 |
|
[5] |
Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110. DOI: 10.1023/B%3AVISI.0000029664.99615.94
doi: 10.1023/B%3AVISI.0000029664.99615.94 |
[6] |
Bay H, Tuytelaars T, Van Gool L. SURF: Speeded up robust features [C]. European Conference on Computer Vision, 2006:404-417. DOI: 10.1007/11744023_32
doi: 10.1007/11744023_32 |
[7] | 许允喜, 陈方. 特征联合和旋转不变空间分割联合的局部图像描述符[J]. 自动化学报, 2016, 42(4):617-630. |
[ Xu Y X, Chen F. Recent advances in local image descriptor[J]. Journal of Image and Graphics, 2015, 20(9):1133-1150. ] DOI: 10.16383/j.aas.2016.c150206
doi: 10.16383/j.aas.2016.c150206 |
|
[8] | 范大昭, 董杨, 张永生. 卫星影像匹配的深度卷积神经网络方法[J]. 测绘学报, 2018, 47(6):844-853. |
[ Fan D Z, Dong Y, Zhang Y S, et al. Satellite image matching method based on deep convolution neural network[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(6):844-853. ] DOI: 10.11947/j.AGCS.2018.20170627
doi: 10.11947/j.AGCS.2018.20170627 |
|
[9] | 董杨. 多视角视频时空四维重建理论与方法研究[D]. 郑州:战略支援部队信息工程大学, 2020. |
[ Dong Y. Spatio-Temporally Coherent 4D Reconstruction from Multiple View Video[D]. Zhengzhou, Information Engineering University, 2020. ] DOI: 10.27188/d.cnki.gzjxu.2020.000169
doi: 10.27188/d.cnki.gzjxu.2020.000169 |
|
[10] |
Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2004:II-II. DOI: 10.1109/cvpr.2004.1315206
doi: 10.1109/cvpr.2004.1315206 |
[11] |
Leutenegger S, Chli M, Siegwart R Y. BRISK: Binary robust invariant scalable keypoints [C]. IEEE International Conference on Computer Vision, 2011. DOI: 10.1109/iccv.2011.6126542
doi: 10.1109/iccv.2011.6126542 |
[12] |
Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient Alternative to SIFT or SURF [C]. IEEE International Conference on Computer Vision, 2011. DOI: 10.1109/iccv.2011.6126544
doi: 10.1109/iccv.2011.6126544 |
[13] | 李恩, 温志盛, 章育林, 等. 基于OpenCV与均值哈希算法的人脸相似识别系统[J]. 工业设计, 2016, 121(8):132-133. |
[ Li E, Wen Z S, Zhang Y L, et al. Face recognition system based on OpenCV and mean hash algorithm[J]. Industrial Design, 2016, 121(8):132-133. ] | |
[14] | 方杨. 基于深度学习的鲁棒图像哈希检索方法研究[D]. 武汉:华中科技大学, 2019. |
[ Fang Y. Research on robust hash of image retrieval based on deep learning[D]. Wuhan, Huazhong University of Science & Technology, 2019. ] DOI: 10.27157/d.cnki.ghzku.2019.003595
doi: 10.27157/d.cnki.ghzku.2019.003595 |
|
[15] | 陈苏婷, 郭子烨, 张艳艳. 基于局部哈希学习的大面阵CCD航拍图像匹配方法[J]. 应用光学, 2019, 40(2):259-264. |
[ Chen S T, Guo Z Y, Zhang Y Y. Matching method of large array CCD aerial images based on local hashing learning[J]. Journal of Applied Optics, 2019, 40(2):259-264. ] DOI: 10.5768/JAO201940.0202003
doi: 10.5768/JAO201940.0202003 |
|
[16] | 冯瑞. 基于HSI哈希学习的航拍图像匹配算法研究[D]. 南京:南京信息工程大学, 2019. |
[ Feng R. Aerial image matching method based on HSI hash learning[D]. Nanjing: Nanjing Information Engineering University, 2019. ] DOI: 10.27248/d.cnki.gnjqc.2019.000329
doi: 10.27248/d.cnki.gnjqc.2019.000329 |
|
[17] | 霍门婕. 在轨影像控制点的轻量化设计与应用[D]. 郑州:战略支援部队信息工程大学, 2020. |
[ Huo M J. Lightweight design and application of in-orbit image control points[D]. Zhengzhou: Information Engineering University, 2020. ] DOI: 10.27188/d.cnki.gzjxu.2020.000171
doi: 10.27188/d.cnki.gzjxu.2020.000171 |
|
[18] |
Strecha C, Bronstein A, Bronstein M, et al. LDAHash: Improved matching with smaller descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1):66-78. DOI: 10.1109/tpami.2011.103
doi: 10.1109/TPAMI.2011.103 pmid: 21576750 |
[19] | Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. The Annals of Applied Statistics, 2001. |
[20] | Fischler M A, Bolles R C. Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography-sciencedirect[J]. Readings in Computer Vision, 1987:726-740. |
[21] | 李德仁. 我国第一颗民用三线阵立体测图卫星——资源三号测绘卫星[J]. 测绘学报, 2012, 41(3):317-322. |
[ Li D R. China's first civilian three-line-array stereo mapping satellite: ZY-3[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(3):317-322. ] |
[1] | 林禹, 赵泉华, 李玉. 一种基于深度传递迁移学习的遥感影像分类方法[J]. 地球信息科学学报, 2022, 24(3): 495-507. |
[2] | 张鑫, 王竞雪, 刘肃艳, 高嵩. 基于可靠匹配点约束的遥感影像密集匹配[J]. 地球信息科学学报, 2021, 23(8): 1508-1523. |
[3] | 赵尚民, 程维明, 蒋经天, 沙文娟. 资源三号卫星DEM数据与全球开放DEM数据的误差对比[J]. 地球信息科学学报, 2020, 22(3): 370-378. |
[4] | 吴瑞娟, 何秀凤, 王静. 结合像元级与对象级的滨海湿地变化检测方法[J]. 地球信息科学学报, 2020, 22(10): 2078-2087. |
[5] | 刘浩, 骆剑承, 黄波, 杨海平, 胡晓东, 徐楠, 夏列钢. 基于特征压缩激活Unet网络的建筑物提取[J]. 地球信息科学学报, 2019, 21(11): 1779-1789. |
[6] | 陈扬洋, 明冬萍, 徐录, 赵璐. 高空间分辨率遥感影像分割定量实验评价方法综述[J]. 地球信息科学学报, 2017, 19(6): 818-830. |
[7] | 姚方方, 骆剑承, 沈占锋, 董迪, 杨珂含. 高分辨率影像城市植被自动提取算法[J]. 地球信息科学学报, 2016, 18(2): 248-254. |
[8] | 石义方, 汪小钦, 孙振海, 陈芸芝, 付乾坤. 基于阴影的资源三号卫星数据城市建筑物高度估算[J]. 地球信息科学学报, 2015, 17(2): 236-243. |
[9] | 黄炎, 董杰, 马元, 董平, 李学东. 基于ArcGIS的资源三号测绘卫星影像底图快速处理方案设计[J]. 地球信息科学学报, 2015, 17(12): 1529-1535. |
[10] | 秦善善, 王世新, 周艺, 王福涛, 刘文亮. NSCT与GS变换的资源三号卫星数据融合方法研究与应用[J]. 地球信息科学学报, 2014, 16(6): 949-957. |
[11] | 张璐, 施润和, 徐永明, 李龙, 高炜. 国产遥感传感器大气层外波段平均太阳光谱辐照度计算[J]. 地球信息科学学报, 2014, 16(4): 621-627. |
[12] | 刘建华. 多色彩高空间分辨率遥感影像矢量边缘信息提取算法与应用[J]. 地球信息科学学报, 2010, 12(6): 850-854. |
[13] | 刘生, 王潇宇, 邱新法. 基于数学形态学的高空间分辨率遥感影像几何特征提取[J]. 地球信息科学学报, 2008, 10(2): 251-256. |
[14] | 祝炜平, 方起东. 田野土墩墓地学影像特征与成像机理及解译分析——以浙北湖州地区为例[J]. 地球信息科学学报, 2007, 9(5): 110-114. |
|