遥感时空知识图谱驱动的自然资源要素变化图斑智能净化
作者贡献:Author Contributions
李彦胜、钟振宇、孟庆祥、张永军参与方法、系统和实验设计;李彦胜、钟振宇、孟庆祥、毛之典、党博、王涛、冯苑君完成方法、系统和实验实现;李彦胜、钟振宇、毛之典、党博、王涛参与论文的写作和修改。所有作者均阅读并同意最终稿件的提交。
LI Yansheng, ZHONG Zhenyu, MENG Qingxiang, and ZHANG Yongjun participated in the method, system, and experimental design; LI Yansheng, ZHONG Zhenyu, MENG Qingxiang, MAO Zhidian, DANG Bo, WANG Tao, and FENG Yuanjun completed the method, system, and experimental implementation; LI Yansheng, ZHONG Zhenyu, MAO Zhidian, DANG Bo, and WANG Tao participated in the writing and revision of the paper. All the authors have read the last version of paper and consented for submission.
|
李彦胜(1987— ),男,山东安丘人,博士,教授,研究方向为遥感时空知识图谱、多模态遥感基础大模型、遥感大数据智能解译。E-mail: yansheng.li@whu.edu.cn |
收稿日期: 2024-10-13
修回日期: 2024-12-18
网络出版日期: 2025-01-24
基金资助
国家自然科学基金项目(42371321)
国家自然科学基金项目(42030102)
Intelligent Purification of Natural Resource Element Change Polygons Driven by Remote Sensing Spatiotemporal Knowledge Graphs
Received date: 2024-10-13
Revised date: 2024-12-18
Online published: 2025-01-24
Supported by
National Natural Science Foundation of China(42371321)
National Natural Science Foundation of China(42030102)
【目的】 随着深度学习技术的发展,遥感影像自然资源要素变化监测能力得到显著提高。基于深度学习的变化检测技术善于挖掘遥感影像的低层次语义信息,但在区分土地利用类型变化与非土地利用类型变化(如农作物轮作、水位自然变化、森林自然退化等)方面存在局限性。为了保证变化检测的高召回率,深度学习变化检测方法往往产生大量虚警变化图斑,仍需大量人工作业工作量来排除虚警变化图斑。【方法】 针对这一问题,本文提出了遥感时空知识图谱驱动的自然资源要素变化图斑净化算法。该方法可以在保持变化图斑高召回率的前提下,尽可能降低变化图斑虚警率,从而提高自然资源要素变化监测效率。为了支撑遥感时空知识图谱智能构建与高效推理,本文设计了顾及时空特性的遥感时空知识图谱本体模式,研发了图数据库内存储运算一体化的GraphGIS工具包。本文提出了基于GraphGIS图数据库原生空间分析的矢量知识抽取技术、基于SkySense视觉大模型高效微调的遥感影像知识抽取技术和基于SeqGPT大语言模型的图斑净化知识抽取技术。在时空本体模式约束下,矢量知识、影像知识和文本知识汇聚形成遥感时空知识图谱。受变化图斑净化业务人工作业方式的启发,本文提出了基于遥感时空知识图谱一阶逻辑推理的变化图斑自动净化技术。为了提升遥感时空知识图谱的并发处理与人机交互核验效率,本文研发了一套遥感时空知识图谱管理服务系统。【结果】 针对广东省2024年3—6月自然资源要素变化图斑净化任务,本文方法的存真率达到95.37%、去伪率达到21.82%。【结论】 本文提出的自然资源要素变化图斑智能净化算法及系统能够在充分保留真实变化图斑的条件下,可以高效剔除虚警变化图斑,显著提升自然资源要素变化监测作业效率。
李彦胜 , 钟振宇 , 孟庆祥 , 毛之典 , 党博 , 王涛 , 冯苑君 , 张永军 . 遥感时空知识图谱驱动的自然资源要素变化图斑智能净化[J]. 地球信息科学学报, 2025 , 27(2) : 350 -366 . DOI: 10.12082/dqxxkx.2025.240571
[Objectives] With the development of deep learning technology, the ability to monitor changes in natural resource elements using remote sensing images has significantly improved. While deep learning change detection models excel at extracting low-level semantic information from remote sensing images, they face challenges in distinguishing land-use type changes from non-land-use type changes, such as crop rotation, natural fluctuations in water levels, and forest degradation. To ensure a high recall rate in change detection, these models often generate a large number of false positive change polygons, requiring substantial manual effort to eliminate these false alarms. [Methods] To address this issue, this paper proposes a natural resource element change polygon purification algorithm driven by remote sensing spatiotemporal knowledge graph. The algorithm aims to minimize the false positive rate while maintaining a high recall rate, thereby improving the efficiency of natural resource element change monitoring. To support the intelligent construction and effective reasoning of the spatiotemporal knowledge graph, this study designed a remote sensing spatiotemporal knowledge graph ontology model taking into account spatiotemporal characteristics and developed a GraphGIS toolkit that integrates graph database storage and computation. This paper also introduces a vector knowledge extraction method based on the native spatial analysis of the GraphGIS graph database, a remote sensing image knowledge extraction method based on efficient fine-tuning of the SkySense visual large model, and a polygon purification knowledge extraction method based on the SeqGPT large language model. Under the constraints of the spatiotemporal ontology model, vector, image, and text knowledge converge to form a remote sensing spatiotemporal knowledge graph. Inspired by the manual operation methods for change polygon purification, this paper developed an automatic purification method of change polygons based on first-order logical reasoning within the knowledge graph. To improve the concurrent processing and human-computer interaction, this paper developed a remote sensing spatiotemporal knowledge graph management and service system. [Results] For the task of purifying natural resource element change polygons in Guangdong Province from March to June 2024, the proposed method achieved a true-preserved rate of 95.37% and a false-removed rate of 21.82%. [Conclusions] The intelligent purification algorithm and system for natural resource element change polygons proposed in this study effectively reduce false positives while preserving real change polygons. This approach significantly enhances the efficiency of natural resource element change monitoring.
表1 变化图斑净化推理规则要素Tab. 1 The reasoning rule elements of change polygon purification |
| 推理规则要素 | 描述 |
|---|---|
| previousTime(x, y) | x的前时相为y |
| currentTime(x, y) | x的后时相为y |
| previousClass(x, y) | x的前时相地类为y |
| currentClass(x, y) | x的后时相地类为y |
| sameClass(x, y) | 地类x、y相同 |
| similarClass(x, y) | 地类x、y语义相近 |
| areaGreater(x, y) | x的面积大于y平方米 |
| priorClass(x, y) | x的先验地类为y |
| wetSeason(x) | 时相x处于丰水期 |
| drySeason(x) | 时相x处于枯水期 |
| fakePolygon(x) | x为伪变化图斑 |
图7 遥感时空知识图谱管理服务系统的变化图斑净化界面Fig. 7 Change polygon purification interface of remote sensing spatiotemporal knowledge graph management and service system |
表3 不同影像知识抽取模型语义分割精度对比Tab. 3 Comparison of semantic segmentation accuracy of different image knowledge extraction models (%) |
| 模型 | 分割精度 | mIoU | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 耕地 | 园地 | 林地 | 草地 | 建筑物 | 道路 | 构筑物 | 推填土 | 工地 | 光伏板 | 水域 | 迹地 | ||
| U-Net[31] | 68.28 | 37.01 | 76.77 | 33.81 | 70.54 | 49.27 | 35.08 | 50.22 | 0.00 | 80.67 | 84.00 | 60.20 | 53.82 |
| DeepLab V3+[32] | 73.12 | 48.32 | 79.95 | 47.16 | 74.48 | 51.32 | 46.78 | 55.53 | 33.52 | 70.00 | 84.16 | 73.46 | 61.48 |
| Segformer[33] | 64.90 | 41.63 | 78.25 | 38.77 | 66.40 | 40.19 | 30.75 | 49.40 | 24.78 | 78.14 | 81.64 | 63.53 | 54.86 |
| Swin Transformer[34] | 86.36 | 83.80 | 91.42 | 73.25 | 83.33 | 68.09 | 68.70 | 73.71 | 55.43 | 91.82 | 90.86 | 83.72 | 79.21 |
| 本文采用的 SkySense高效微调 | 90.12 | 90.11 | 94.00 | 80.52 | 87.08 | 74.04 | 75.72 | 77.23 | 56.27 | 94.07 | 92.52 | 87.57 | 83.27 |
表5 极高存真率策略下变化图斑智能净化方法的定量评价结果Tab. 5 Quantitative results of change polygon intelligent purification method under ultra-high-preservation-rate strategy |
| 变化图斑批次 | N/个 | Npt /个 | Npf /个 | Nrt /个 | Nfr /个 | Rt /% | Rf /% |
|---|---|---|---|---|---|---|---|
| 2024年3月 | 11 445 | 6 257 | 4 130 | 194 | 864 | 96.99 | 17.30 |
| 2024年4月 | 27 654 | 18 167 | 7 002 | 950 | 1 535 | 95.03 | 17.98 |
| 2024年5月 | 8 547 | 1 649 | 5 429 | 74 | 1 395 | 95.71 | 20.44 |
| 2024年6月 | 10 964 | 2 369 | 5 946 | 163 | 2 486 | 93.56 | 29.48 |
| 合计/个 | 58 610 | 28 442 | 22 507 | 1 381 | 6 280 | 95.37 | 21.82 |
表6 高存真率策略下变化图斑智能净化方法的定量评价结果Tab. 6 Quantitative results of change polygon intelligent purification method under high-preservation-rate strategy |
| 变化图斑批次 | N/个 | Npt /个 | Npf /个 | Nrt /个 | Nrf /个 | Rt /% | Rf /% |
|---|---|---|---|---|---|---|---|
| 2024年3月 | 11 445 | 5 861 | 3 433 | 594 | 1 557 | 90.80 | 31.20 |
| 2024年4月 | 27 654 | 17 244 | 6 240 | 1 873 | 2 297 | 90.20 | 26.91 |
| 2024年5月 | 8 547 | 1 360 | 2 187 | 363 | 4 637 | 78.93 | 67.95 |
| 2024年6月 | 10 964 | 2 047 | 1 733 | 485 | 6 699 | 80.85 | 79.45 |
| 合计/个 | 58 610 | 26 512 | 13 593 | 3 315 | 15 190 | 88.89 | 52.77 |
表7 不同类型变化图斑净化的定量评价结果Tab. 7 Quantitative results of change polygon purification for different types |
| 变化图斑类型 | N/个 | Npt /个 | Npf /个 | Nrt /个 | Nrf /个 | Rt /% | Rf /% |
|---|---|---|---|---|---|---|---|
| 农业地表 | 7 619 | 3 819 | 2 558 | 155 | 1 087 | 96.10 | 29.82 |
| 生态地表 | 11 037 | 3 333 | 5 255 | 236 | 2 213 | 93.39 | 29.63 |
| 人类活动地表 | 39 954 | 21 290 | 14 694 | 990 | 2 980 | 95.56 | 16.86 |
| 合计/个 | 58 610 | 28 442 | 22 507 | 1 381 | 6 280 | 95.37 | 21.82 |
利益冲突: Conflicts of Interest 所有作者声明不存在利益冲突。
All authors disclose no relevant conflicts of interest.
| [1] |
周治武, 巩垠熙. 基于形状指数的时序地表覆盖数据伪变化图斑过滤方法[J]. 测绘标准化, 2021, 37(2):13-17.
[
|
| [2] |
宁晓刚, 张翰超, 张瑞倩. 遥感影像高可信智能不变检测技术框架与方法实践[J]. 测绘学报, 2024, 53(6):1098-1112.
[
|
| [3] |
高锡章, 刘海江, 李宝林, 等. 一种基于面积对称模型的土地利用/覆被真伪变化图斑检测方法[J]. 地球信息科学学报, 2014, 16(5):784-789.
[
|
| [4] |
陆锋, 诸云强, 张雪英. 时空知识图谱研究进展与展望[J]. 地球信息科学学报, 2023, 25(6):1091-1105.
[
|
| [5] |
陆锋, 余丽, 仇培元. 论地理知识图谱[J]. 地球信息科学学报, 2017, 19(6):723-734.
[
|
| [6] |
蒋秉川, 万刚, 许剑, 等. 多源异构数据的大规模地理知识图谱构建[J]. 测绘学报, 2018, 47(8):1051-1061.
[
|
| [7] |
周成虎, 王华, 王成善, 等. 大数据时代的地学知识图谱研究[J]. 中国科学:地球科学, 2021, 51(7):1070-1079.
[
|
| [8] |
李彦胜, 张永军. 耦合知识图谱和深度学习的新一代遥感影像解译范式[J]. 武汉大学学报(信息科学版), 2022, 47(8):1176-1190.
[
|
| [9] |
张永军, 王飞, 李彦胜, 等. 遥感知识图谱创建及其典型场景应用技术[J]. 遥感学报, 2023, 27(2):249-266.
[
|
| [10] |
张永军, 程鑫, 李彦胜, 等. 利用知识图谱的国土资源数据管理与检索研究[J]. 武汉大学学报(信息科学版), 2022, 47(8):1165-1175.
[
|
| [11] |
李彦胜, 孔德宇, 张永军, 等. 联合稳健跨域映射和渐进语义基准修正的零样本遥感影像场景分类[J]. 测绘学报, 2020, 49(12): 1564-1574.
[
|
| [12] |
蔡国林, 曾云凤, 李政, 等. 土地利用规划指标时空知识图谱的构建与可视化方法研究[J]. 国土资源科技管理, 2023, 40(3):125-134.
[
|
| [13] |
诸云强, 孙凯, 胡修棉, 等. 大规模地球科学知识图谱构建与共享应用框架研究与实践[J]. 地球信息科学学报, 2023, 25(6):1215-1227.
[
|
| [14] |
卢慧佳, 胡最. 传统聚落景观基因的本体模型及其构建[J]. 地球信息科学学报, 2024, 26(6):1407-1425.
[
|
| [15] |
唐曾杨, 艾廷华, 徐海江. 地理知识图谱下的建筑群空间分布模式推理[J]. 地球信息科学学报, 2023, 25(6):1202-1214.
[
|
| [16] |
李彦胜, 武康, 欧阳松, 等. 地学知识图谱引导的遥感影像语义分割[J]. 遥感学报, 2024, 28(2):455-469.
[
|
| [17] |
李彦胜, 吴敏郎, 张永军. 知识图谱约束深度网络的高分辨率遥感影像场景分类[J]. 测绘学报, 2024, 53(4):677-688.
[
|
| [18] |
黄勃, 吴申奥, 王文广, 等. 图模互补:知识图谱与大模型融合综述[J]. 武汉大学学报(理学版), 2024, 70(4):397-412.
[
|
| [19] |
|
| [20] |
|
| [21] |
|
| [22] |
|
| [23] |
|
| [24] |
|
| [25] |
|
| [26] |
|
| [27] |
|
| [28] |
|
| [29] |
|
| [30] |
|
| [31] |
|
| [32] |
|
| [33] |
|
| [34] |
|
| [35] |
|
| [36] |
|
/
| 〈 |
|
〉 |