Remote Sensing Data Intelligence: Progress and Perspectives

  • HE Guojin , 1, 2, 3, * ,
  • LIU Huichan 1 ,
  • YANG Ruiqing 1, 2 ,
  • ZHANG Zhaoming 1, 2, 3 ,
  • XUE Yuan 1, 2 ,
  • AN Shihao 1, 2 ,
  • YUAN Mingruo 1, 2 ,
  • WANG Guizhou 1, 2, 3 ,
  • LONG Tengfei 1, 2, 3 ,
  • PENG Yan 1 ,
  • YIN Ranyu 1
Expand
  • 1. Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, China
  • 2. University of Chinese Academy of Sciences, Beijing 100049, China
  • 3. Lab of Big Earth Data and Sustainable Development Goal, Kashi Aerospace Information Research Institute, Kashi 844000, China
*HE Guojin, E-mail:

Received date: 2024-11-13

  Revised date: 2025-01-09

  Online published: 2025-01-24

Supported by

The National Key Research and Development Program of China(2023YFF1304301)

The Second Tibetan Plateau Scientific Expedition and Research Program(2019QZKK030701)

The Strategic Priority Research Program of the Chinese Academy of Sciences(XDA19090300)

The Key Program of National Natural Science Foundation of China(61731022)

Abstract

[Significance] Data resources have become pivotal in modern production, evolving in close synergy with advancements in artificial intelligence (AI) technologies, which continuously cultivate new, high-quality productive forces. Remote sensing data intelligence has naturally emerged as a result of the rapid expansion of remote sensing big data and AI. This integration significantly enhances the efficiency and accuracy of remote sensing data processing while bolstering the ability to address emergencies and adapt to complex environmental changes. Remote sensing data intelligence represents a transformative approach, leveraging state-of-the-art technological advancements and redefining traditional paradigms of remote sensing information engineering and its applications. [Analysis] This paper delves into the technological background and foundations that have facilitated the emergence of remote sensing data intelligence. The rapid development of technology has provided robust support for remote sensing data intelligence, primarily in three areas: the advent of the big data era in remote sensing, significant advancements in remote sensing data processing capabilities, and the flourishing research on remote sensing large models. Furthermore, a comprehensive technical framework is proposed, outlining the critical elements and methodologies required for implementing remote sensing data intelligence effectively. To demonstrate the practical applications of remote sensing data intelligence, the paper presents a case study on applying these techniques to extract ultra-high-resolution centralized and distributed photovoltaic information in China. [Results] By integrating large models with remote sensing data, the study demonstrates how remote sensing data intelligence enables precise identification and mapping of centralized and distributed photovoltaic installations, offering valuable insights for energy management and planning. The effectiveness of remote sensing data intelligence in addressing challenges associated with large-scale photovoltaic extraction underscores its potential for application in critical fields. [Prospect] Finally, the paper provides an outlook on areas requiring further study in remote sensing data intelligence. It emphasizes that high-quality data serves as the foundation for remote sensing data intelligence and highlights the importance of constructing AI-ready knowledge bases and recognizing the value of small datasets. Developing targeted and efficient algorithms is essential for achieving remote sensing intelligence, making the advancement of practical data intelligence methods an urgent research priority. Furthermore, promoting multi-level services for remote sensing data, information, and knowledge through data intelligence should be prioritized. This research provides a comprehensive technical framework and forward-looking insights for remote sensing data intelligence, offering valuable references for further exploration and implementation in critical fields.

Cite this article

HE Guojin , LIU Huichan , YANG Ruiqing , ZHANG Zhaoming , XUE Yuan , AN Shihao , YUAN Mingruo , WANG Guizhou , LONG Tengfei , PENG Yan , YIN Ranyu . Remote Sensing Data Intelligence: Progress and Perspectives[J]. Journal of Geo-information Science, 2025 , 27(2) : 273 -284 . DOI: 10.12082/dqxxkx.2025.240630

1 引言

遥感技术自20世纪60年代首次应用于地球观测以来,已发展成为获取地球表层信息的重要手段[1]。人类可通过卫星、航空和地面传感器等多种平台获取遥感数据,能够在不同时间和空间尺度上对环境变化、资源分布以及自然灾害等进行动态监测[2]。随着时空分辨率的显著提高、模态类型的不断增多,遥感数据成为生态环境监测、灾害应急响应和自然资源调查等领域不可或缺的重要数据来源。与之相应,遥感信息处理技术在大区域、实时化与高精度方面也面临诸多挑战,尤其在多源异构数据的整合处理中,受到数据异构性、高维度等因素制约,海量遥感数据难以迅速转化为可用信息[3]。如,气候变化、生态退化、极端天气和城市化等全球性问题的研究,需要从遥感数据中获取多尺度、多参量的地表动态信息[4];在灾害监测领域,如水灾、地震和森林火灾等突发事件中,快速处理和解译海量遥感数据是实现即时响应与有效决策的关键[5]。因此,如何把遥感数据快速、智能化地转换为有用信息甚至决策知识是亟待解决的问题。
数据智能技术以其强大的非结构化数据处理能力,为解决遥感数据处理难题开辟了全新路径[6]。在这一背景下,“遥感数据智能”概念应运而生,成为提升遥感数据价值的重要手段。遥感数据智能旨在利用大数据分析、人工智能、机器学习等先进的数据智能技术提升遥感数据-信息-知识的转换效率和精度,改变遥感数据的服务模式,开拓和释放海量多源遥感数据价值,更好地满足多样化遥感应用需求[7]
本文首先分析了技术发展如何为遥感数据智能提供支撑,其次结合实际应用案例,展示遥感数据智能在领域中的应用成效,最后对遥感数据智能的发展趋势进行展望。

2 技术发展为遥感数据智能提供支撑

2.1 遥感进入大数据时代

自1964年发射Nimbus卫星以来,全球遥感卫星技术快速发展,应用范围覆盖了气象、海洋、陆地等多领域,越来越多的国家开始建立自主可控的遥感卫星系统,许多商业公司也在发射和运营遥感卫星。遥感数据质量和精细度不断提升的同时,全球遥感卫星观测系统也从单星系列逐步向星座甚至星群体系延展[8],近十几年来,遥感卫星发射数量快速增长(图1)。截至2023年,全球共有1 259颗遥感卫星在轨运行[9]。其中Planet卫星公司每天可收集约10 TB数据,待升级至超级鸽群卫星后,每天将获取超过40 TB数据[10]。Maxar Technologies公司卫星图像库中有超过125 PB的图像数据,并且每天通过其高分辨率成像卫星群新增80 TB以上的数据[11]。可以说,遥感数据正以每日TB级的速度爆炸式增长,呈现出明显的“大数据”特征。与此同时,全球遥感领域的国际合作与数据共享不断深化。1991年,美国构建了对地观测系统(EOS),为遥感数据全球共享奠定了基础。2003年,地球观测峰会提出构建全球综合地球观测系统(GEOSS),并成立了政府间对地观测组织(GEO)。2008年,国际对地观测卫星委员会(CEOS)发布了“对地观测质量保证框架(QA4EO)”,规范和确保遥感数据共享的可靠性与一致性。这些举措都推动了遥感数据的互通与普惠,进一步加速了遥感迈入大数据时代。
图1 2010—2023年中国、美国及全球遥感卫星发射数量

注:数据来源:忧思科学家联盟(UCS Satellite Database)及清华大学全球民用地球观测卫星语义数据库GEOSatDB。

Fig. 1 Number of remote sensing satellites launched by China, the United States, and the world from 2010 to 2023

2000年以来,我国遥感事业取得跨越式发展[12],现已拥有气象、海洋、陆地等多个卫星体系[8,13],截至2023年12月,中国在轨遥感卫星数量为294颗。据不完全统计,我国每日获取的遥感原始数据量超过20 TB,日分发数据量可达14 TB,共享数据总量达到567 TB,存量数据超过500 PB[14]。截至2024年8月底,仅高分系列卫星数据的累计分发量已达到5 000万景,单月数据分发量超过6万景[15]。与此同时,基础设施建设的不断完善使得遥感卫星数据的接收能力稳步增强。中国遥感卫星地面站是国家重大科技基础设施,也是国际资源卫星地面站网的重要成员。目前地面站已形成以北京总部运行管理、数据处理、用户服务平台为中心,密云、喀什、三亚、丽江、漠河、北极多站组网进行数据接收的运行体系,以高度自动化运行实现了覆盖我国全部国土和亚洲70%陆地区域的实时数据接收,形成了全球卫星数据快速获取的地面站网布局,其规模体量和技术指标均达到世界领先水平[16]
随着遥感卫星数量的迅速增加、传感器平台的快速发展、全球数据共享机制的逐步完善以及数据基础设施的不断建设,遥感已经进入大数据时代。这一进程不仅带来了数据存储与处理的巨大挑战,也为遥感数据智能的深入发展提供了前所未有的机遇。

2.2 遥感数据处理能力得到快速发展

遥感数据作为多源异构数据的典型代表,具有高时空分辨率、多模态、多视角的特点,这对数据存储、传输与分析技术提出了更高的要求。在需求牵引和技术推动下,遥感大数据处理能力近年来取得了显著提升,为遥感数据智能的发展奠定了坚实基础。
一方面,数据处理硬件革新推动遥感智能分析。在大数据时代,计算能力已成为一个国家的核心生产力。对于数据智能而言,海量的数据需要被反复“投喂”给AI模型,离不开高效率的算法框架和强大的算力支撑[17]。据OpenAI报告,2012年以来,AI训练所需的计算量以平均每3.43个月翻一倍的速度增长。庞大的算力需求也是高效处理和分析遥感数据所面临的重要挑战。在遥感领域,通过集群中多GPU并行计算,用户能够快速处理超大规模遥感数据集。同时,为满足实时数据处理需求,算法优化也发挥了关键作用。量化和剪枝技术使得模型计算复杂度大幅降低,能够在有限的硬件资源上高效运行。硬件优化与算法优化相辅相成,共同推动了遥感数据处理能力的飞跃[18]
另一方面,云计算提升遥感数据服务能力[19]。全球领先的云平台有亚马逊AWS、微软Azure、谷歌云(Google Cloud)和阿里云(Alibaba Cloud)等,据Synergy Research Group最新公布的数据估算,2024年第三季度,亚马逊AWS在全球云基础设施服务市场的市场份额达到31%,领先于微软Azure的20%和谷歌云的12%(图2)。这“三巨头”占据了不断增长的云市场60%以上的份额,而其余竞争者的市场占比则停留在较低的个位数[20]。从中国云服务商来看,阿里云全球排名第四,市场占比为4%;腾讯云(Tencent Cloud)排名第八,市场占比为2%。云平台凭借其强大的分布式计算能力、 高效的任务分发机制、优质的服务能力以及全球化的基础设施布局,为遥感数据智能的发展提供了坚实的算力支撑和多样化的选择。例如,NASA把Landsat等数据依托亚马逊AWS进行管理和服务,Google Earth Engine基于谷歌云开展遥感数 据共享和服务,遥感大模型AIE-SEG则运行在阿里云上。
图2 2024年第三季度全球主要云基础设施提供商的市场份额

注:数据来源于Synergy Research Group全球云市场份额报告。

Fig. 2 Worldwide market share of leading cloud infrastructure providers in Q3 2024

遥感大数据的处理与分析对算力的需求日益增长。我国数字基础设施与算力资源的发展也助推了遥感数据智能的进步。截至2023年,我国的算力总规模达到230 EFLOPS,居全球第二位,存力总规模为1.2 ZB[21]

2.3 遥感大模型研究如火如荼

大模型是数据智能技术发展的必然产物(图3)。早在20世纪初,人们就开始使用统计学方法从数据中获取有用信息。1989年,人工智能国际联合会议首次提出了“知识发现”(Knowledge Discovery in Databases, KDD)这一术语,标志着数据挖掘领域的兴起。2005年Hadoop的发布解决了大规模数据存储和处理问题,为大模型训练提供了技术基础,成为大数据技术发展的关键里程碑。2012年,深度学习(Deep Learning, DL)技术取得突破性进展,卷积神经网络(Convolutional Neural Network,CNN)成为图像识别领域的重要工具,深度学习算法逐渐被广泛应用于各类任务中。2015年后,“数据智能”这一概念逐渐被提出并得到广泛认可。数据智能将多源数据融合与深度学习算法相结合,从非结构化数据中提取有价值的信息。同时,云计算技术的成熟进一步促进了数据智能的发展。近年来,随着科技与产业的深刻变革,智能化已成为全球发展趋势,正朝着更加深入和广泛应用的方向持续推进[22]。传统人工智能模型由于应用场景单一和样本数据匮乏等局限性,制约了其更加广泛的发展和应用。Transformer架构问世以来,BERT、ChatGPT、Segment Anything Model等大模型层出不穷,在跨模态数据理解、语言生成和推理能力方面优势显著[23],它们凭借强大的泛化能力深刻地改变了人们对人工智能的认知[24]。这些模型依靠大数据、高算力、优算法的强三角结合,使其应用也从行业的细分领域扩展到了垂直领域。大模型按输入数据类型的不同可分为语言大模型、视觉大模型和多模态大模型等;按应用领域的不同层次可分为通用大模型,行业大模型和垂直大模型等。
图3 数据智能技术发展历程

Fig. 3 Development timeline of data intelligence technology

遥感大模型研究是当前数据智能与遥感技术深度融合的前沿领域。相较于其他领域数据,遥感数据具有多视角、多分辨率、多维度、多传感器类型等特性,同时数据本身还携带地理空间信息。这些特点决定了遥感领域的大模型在构建时需要特定的知识库,以应对复杂的时空关系和多源异构数据的整合需求。相应地,遥感大模型与其他领域的大模型在设计和应用方面具有显著差异[25]。不同于自然图像,除了RGB三波段的可见光影像之外,遥感大模型往往还涉及雷达、红外等多种遥感数据类型。在遥感大模型的生成过程中,不仅需要大量的遥感数据、算力等资源,往往还需要结合地学规律、专家经验、政策信息等先验知识,以提高大模型的性能、泛化能力,帮助大模型更精准的掌握、模拟人类对现实世界的观察。在应用层面,遥感大模型所具备的人机交互能力体现在数据收集、生产、管理、分析的全流程服务,提供知识问答、内容生成(如图生文、文生图),还具备在各种应用场景中的目标提取、信息分析和辅助决策功能。
目前,遥感大模型研究已在多个方面如火如荼地展开,现有主要遥感大模型汇总如表1所示。2022年7月中国科学院空天信息创新研究院发布了“空天・灵眸”大模型(Remote Sensing Foundation Model, RingMo),这是一种跨模态遥感数据的生成式预训练大模型[26]。其突出特点包括多模态、多任务带来的通用便捷、性能优良等,通过简单微调即可适应多类型精细化检测提取任务、遥感机理驱动的多模态异构空间共享建模。据报道,其精度在8个国际标准数据集上达到了同类领先水平。数据集源自中国遥感卫星地面站、航空遥感飞机等平台,涉及高分系列卫星、吉林卫星、QuickBird卫星等。2024年9月,中国科学院空天信息创新研究院与鹏程实验室联手继续发布了“空天·灵眸”3.0版。这一大模型基于数以亿计的国产化多模态空天遥感数据样本进行预训练,模型参数规模首次超过了百亿。该模型不仅可以适用于可见光、SAR、热红外、高光谱等多类型传感器,还可以应用于场景分类、目标检测、语义分割、变化检测等遥感领域的主流计算机视觉任务。此外,2023年11月由中国科学院空天信息创新研究院领衔,联合日本、德国、法国、澳大利亚、意大利等国学者发布了SpectralGPT,其特点在于适应具有不同大小、分辨率、时间序列和区域的输入图像,利用3D token生成进行空间-光谱耦合,通过多目标重建捕捉光谱顺序模式等[27]。2023年12月,武汉大学与蚂蚁集团联合发布了SkySense多模态遥感基础模型可以用于检测森林植被的健康度与生长状况,实现野火小时级的监测与火势预估,并可对水稻、玉米、花生、油菜等几十种作物进行精确识别,监测与评估作物的长势健康度、收割进度、生长周期、土壤墒情以及农作物病害灾害等[28]。2023年10月,阿里达摩院推出了遥感大模型AIE-SEG,其特点在于多模态交互,如输入“提取影像中的耕地农田”,会自动识别所选目标[29]。同时,在任意地表目标识别、全要素提取、交互式结果修正等方面也取得了不错的效果。2024年1月,北京理工大学推出了EarthGPT,以弥合跨模态相互理解和视觉推理之间的差距[30]。EarthGPT能够进行多传感器图像解释和遥感下游任务,包括场景分类、图像描述、视觉定位、目标检测、连续对话式问答等。2024年10月,中山大学、中国科学技术大学、武汉大学共同推出专注于遥感跨域泛化的语义分割视觉大模型CrossEarth[31],跨域泛化意味着模型无需额外训练,可直接在未知场景中应用。在研究中,团队公布了其在灾害评估、建筑提取和道路检测等实际领域的泛化性能。在国外,越来越多的学者也投身于遥感大模型研究。阿联酋人工智能大学Kartik等[32]于2023年11月推出了GeoChat大模型,不仅能回答图像级别查询,还能通过提供的图像空间坐标,实现对探讨对象的视觉定位。2024年12月,NASA与IBM和德国研究学者共同推出了增强版的开源遥感AI模型——Prithvi-EO-2.0[33]。这个模型整合了全球数据,能够支持多时序云处理、土地利用变化监测、灾害响应以及作物分类与产量预测等多种应用场景。
表1 主要遥感大模型汇总

Tab. 1 Summary of major remote sensing large models

遥感大模型 发布时间 主要发布机构 特点
RingMo 2022.07 中国科学院空天信息创新研究院牵头 首个跨模态遥感数据的生成式预训练大模型
RingMo V3 2024.09 中国科学院空天信息创新研究院、鹏城实验室 适用多类型传感器、观测平台数据以及多类型任务
SpectralGPT 2023.11 中国科学院空天信息创新研究院牵头 适用于高光谱遥感数据
SkySense 2023.12 武汉大学、蚂蚁集团 应用范围广泛且精细
AIE-SEG 2023.10 阿里达摩院 多模态交互、全要素提取、交互式结果修正
EarthGPT 2024.01 北京理工大学 跨模态相互理解
CrossEarth 2024.10 中山大学、中国科学技术大学、武汉大学 全球首个专注于遥感跨域泛化的语义分割视觉大模型
GeoChat 2023.11 阿联酋人工智能大学牵头 问答式交互、视觉定位
Prithvi-EO-2.0 2024.12 NASA、IBM牵头 支持多种应用场景与处理任务

3 遥感数据智能技术框架与实践

3.1 遥感数据智能技术框架

与传统的数据智能一样,遥感数据智能也离不开算据、算法和算力。算据即数据是遥感数据智能的基础,算力是支撑,算法是关键。涉及数据-信息-知识的完整链路,因此,应从工程的角度来看待遥感数据智能,其技术框架见图4
图4 遥感数据智能总体技术框架

Fig. 4 Technical framework for remote sensing data intelligence

遥感数据引擎,重点解决多模态遥感大数据 的汇聚、清洗、整合加工,建立面向计算的即得即用(Ready to Use, RTU)高质量数据集和大数据管理模式[3,17];通过数据可视化,提升数据处理和分析的效率;基于遥感数据光谱响应机理分析,实现多模态、多时空遥感特征提取和结构化表达;构建模型训练样本,甚至把遥感数据转化为AI-ready的语料。
遥感计算引擎,重点发展智能化算法和模型,把遥感数据转化为有用的信息。由于遥感图像的特殊性,无论是AI算法,还是遥感基础大模型设计都应充分考虑遥感数据的特点;现阶段,面向具体应用还需要结合地学知识、专家经验等先验知识,构建领域专用模型以提高大模型的性能,更好地模拟人类对现实世界的观察[8]
未来,遥感数据智能有望实现基于遥感数据的分析和预测结果,提供智能决策支持。这一目标的实现,建立知识图谱非常重要,如洪涝灾害发生时,如何判别正常水域和淹没区?利用知识发现技术,挖掘目标事件的潜在关系、发展趋势,并实现深层次洞察;另外,自主学习能力是遥感数据智能关键环节,应建立遥感数据智能的信息反馈机制,通过不断的数据输入、更新和信息反馈,实现自我优化,提高遥感数据智能支撑决策的可靠性。

3.2 遥感数据智能实践

本文以全国亚米级光伏空间分布智能提取为例,开展遥感数据智能实践,主要包括基于基础大模型的光伏潜在区提取、融合先验知识的数据集增强以及基于半监督学习的全国光伏信息提取等若干步骤,其总体技术流程见图5。由于面积较小,辨别分布式光伏往往需要亚米级遥感影像支持。当涉及到全国范围这样的大尺度区域时,亚米级的分辨率将使得数据规模暴涨到难以想象的量级。需要从较低分辨率影像中事先筛选出后续处理区域,从而降低在亚米级影像中提取光伏面板时所应对的数据规模。为了避免相关数据产品时相、分辨率不一致等问题,在全国光伏产品制作的前期还需要高效且精准的数据筛选工作。为此,提出了光伏潜在区这一概念来表示图像所覆盖的地理范围内可能存在光伏,通常包括屋顶建筑区以及已经建设了光伏电站的地区。
图5 基于遥感数据智能的全国亚米级光伏空间分布提取总体技术流程

Fig. 5 National sub-meter photovoltaic classification product combining remote sensing data intelligence

为高效获取全国光伏潜在区分布,探索了一种全新的弱监督人工智能框架,通过相关的专业领域小数据,如建筑区数据、光伏电站提取数据等,实现对基础大模型Segment Anything Model在光伏信息提取方向上的微调,制作了2 m分辨率全国光伏潜在区密度分布图[34],从而完成前期的数据清洗。通过数据清洗,一方面降低了数据处理规模,提高了后续数据处理效率。另一方面通过筛除易区分地物(如未安装光伏的裸地、森林、水体等自然地表),从而增强模型对易混淆地物的关注,提高模型训练效率与精度。
依据全国光伏潜在区分布,可以获取全国光伏提取所需的超高分辨率卫星影像,其空间分辨率需达到或优于0.3 m。在全国尺度实现光伏信息精细提取,完整、无偏、可靠的AI-ready数据集不可或缺。为此,首先在全国范围内人工标注初始数据集,这一过程中,注重样本的准确性与多样性。多样性不仅涵盖光伏面板的类型,还应当包括所处的土地覆盖类型、成像的光照条件以及传感器类型,这些因素都对模型鲁棒性至关重要。此外,易混淆地物代表的负样本也需要具有多样性。然而,人工标注一方面成本高昂,另一方面仅凭人工也难以完全实现模型所需要的多样性。
为高效获取AI-ready的数据集,并考虑到集中式光伏的影像特征易受到土地覆盖等因素影响,研究探索融合光伏面板相关的先验知识(如形状等),以快速定位初始数据集中的薄弱区域,通过深度噪声学习模型来降低扩充数据集的成本。同时,由于分布式光伏散布于人类居住区,复杂的屋顶环境以及细小且分散的建设特征,为人工识别与标注带来了巨大困难。因此,在分布式光伏提取过程中,采用了半监督方法,通过人工标注样本以及中国广大地区中经过光伏潜在区清洗的未标注样本,以扩展数据集规模与多样性。最后,基于先验知识、半监督学习方法,形成了6万余张样本影像,以此训练光伏遥感信息提取领域的专业模型,获取了全国亚米级光伏空间分布产品。
上述过程,遥感大数据与专业领域小数据结合,通过基础大模型实现数据清洗,融合先验知识形成AI-ready的高质量数据。在此基础上,进行专业模型训练,最终实现了全国亚米级光伏分布信息的高效高精度提取。相较于传统的遥感影像处理方法,遥感大数据、基础大模型、专业领域小数据、先验知识、半监督学习模型的相交融合形成了更高的提取效率、更好的识别精度以及更强的泛化能力。

4 展望

在数字经济蓬勃发展的今天,数据已成为驱动经济社会发展的新燃料[35-36]。随着遥感数据规模的不断扩大、计算能力的提升以及人工智能的广泛应用,遥感数据智能领域的未来发展充满潜力。遥感数据是一类特殊的空间数据,应被视为机器学习中的独特模态,并应将遥感数据智能研究从机器学习的应用领域转变为专门的研究学科,从而推动机器学习发展并应对社会需求的挑战[37]。面向遥感数据智能的未来发展,应在以下几个方面加强工作。
(1)重视AI-ready的遥感知识库建设和小数据的作用
“AI-ready”概念的出现引起了多方关注。“AI- ready”预示着大数据能承接AI时代的到来,达到即时可用。遥感数据来源多,分布广,特别是高分数据商业价值高,遥感大数据的潜在价值还没有充分发挥出来。其原因有制度层面、观念层面和技术层面[38]
从技术上讲,高质量的数据是实现数据智能的基础,没有可信赖的遥感大数据,很难实现遥感数据智能[17]。对于遥感数据而言,AI-ready体现在4个方面: ① 元数据是否正确、全面; ② 数据实体是否经过几何标准化和辐射归一化; ③ 数据的组织管理是否适合“遥感数据智能”的高效应用; ④ 样本数据能否快速转换为大模型能理解的“语料”。不少科学家和研究人员针对特定应用建立了遥感样本数据集,为推动遥感数据智能做了大量的卓有成效的工作,如果这些样本库能够进一步针对具体应用进行结构化表达和语义关联描述,建立知识图谱[39],或能更好地实现多模态遥感数据的信息融合,帮助AI模型更好地理解遥感数据中的语义,识别和提取遥感数据中潜在的知识,促进从数据驱动到知识驱动的转变,提升遥感数据分析的效率与效果。
此外,对于遥感智能而言,优质小数据同样具有重要价值。受传感器、天气等因素的影响,某些地区(如中国的海南岛)在特定时间段内,能够获取的有效数据,尤其是光学卫星遥感数据非常稀少,是遥感大数据中的小数据。在这种情况下,优质小数据显得尤为珍贵,因此应当充分重视小数据的独特作用。同时,这也对发展能够适应这种小数据的遥感“大模型”提出了新的挑战和要求。2024年人工智能十大前沿技术趋势展望中首先强调了小数据和优质数据的重要性[40]
(2)发展“实用”的数据智能方法与遥感大模型
2024年的诺贝尔物理学奖肯定了人工智能算法的价值,但对于遥感数据而言,“人工智能在改变卫星成像领域,但它不是魔法;不要过度沉迷于人工智能炒作,实质性的解决方案远胜于华而不实的演示”。2024年6月,行星(Planet)公司产品和软件工程高级副总裁托曼(Troy Toman)表示[41]。虽然在遥感大模型方面已经取得了诸多成果,但由于遥感数据的特殊性及其应用广泛性,发展实用的数据智能方法是值得引起重视的问题。信息的精度和符合行业规范的表达是遥感工程应用的基本要求。因此,推进遥感大模型向领域应用纵深发展,真正实现行业的精准服务至关重要。例如,对于土地利用分类任务而言,土地利用的类别非常明确,但在遥感图像中,对于目标类别的定义却复杂得多。以城市街道的行道树为例,从遥感的物理属性来看,行道树显然属于树木,但从土地利用类型的角度来看,却应将其归为“交通运输用地”;又如,联合国粮农组织(Food and Agriculture Organization of the United Nations, FAO)把森林定义为“面积在0.5 hm2以上,树木高于5 m、林冠覆盖率超过10%,或树木在原生境能够达到这些阈值的土地。不包括主要为农业或城市用途的土地。”[42],而单纯依赖现有的遥感图像数据,难以直接识别“树木在原生境能够达到这些阈值”。因此,先验知识或领域知识的引入或许有助于遥感大模型的智能实现。
另外,遥感数据作为一类特殊的空间数据,具有时间、空间和波谱特性,也应考虑深度学习架构设计的特殊性,同时将地理上下文和约束条件编码到模型中,利用卫星数据中的空间和时空结构来指导模型设计和训练[37],李飞飞的“空间智能”或许也可以给遥感数据智能带来启示:“虽然计算机视觉技术已经非常强大,但在面对三维现实环境的认知与交互时,我们的AI系统仍远不如人类灵活”[43]
(3)推进遥感数据、信息和知识的多层次服务
在应用服务方面,遥感数据智能有望发挥其在数据即服务(DaaS)、模型即服务(MaaS)和知识即服务(KaaS)方面的优势。未来,遥感大数据平台将不仅提供高质量数据,还能够提供便捷的模型调用和数据分析服务,用户可以根据需求灵活地选择适合的模型服务,而无需进行复杂的模型训练与本地计算,有效降低使用门槛并节约成本。同时,通过知识图谱和智能推理进一步整合领域知识,提升遥感数据的智能分析能力,帮助用户更深层次理解和预测环境变化。另外,遥感与AI的跨学科融合也将促使遥感数据与其他领域的专业知识相结合,建立遥感数据智能与生态环境、气候变化、人类活动等学科领域的深入链接,实现跨领域的数据智能应用,促进科学研究、工程应用范式的转变。
即时服务也是遥感数据智能的未来发展方向。在重大自然灾害等突发事件发生时,遥感的快速响应显得尤为重要。即时服务可从2个方面进一步加强遥感数据处理和应用的效率。 ① 在轨计算。例如,Planet计划发射的Pelican-2卫星,将搭载英伟达(NVIDIA)的Jetson边缘AI平台,目标是把AI模型直接部署在卫星上运行,使灾害监测和灾情识别的时间从几小时缩短到几秒钟[41]。实现高效在轨计算的关键在于AI模型的轻量化和智能化,应建立有效的星地互馈机制[44]。② 开展卫星下行数据的即时服务。当卫星资源不足以在轨实现复杂场景的实时处理或高精度分析时,则可通过卫星地面站对下行数据进行准实时信息提取,补充卫星在轨监测能力。在国家自然基金重点项目的支持下,研究团队开展了基于认知计算的卫星下行数据即时服务的理论与方法研究,进行了卫星下行数据即时服务的技术框架设计及其关键技术研究,形成了面向火灾等突发事件即时服务的方法体系[8]
利益冲突: Conflicts of Interest
所有作者声明不存在利益冲突。
All authors disclose no relevant conflicts of interest.
作者贡献: Author Contributions
何国金提出研究思路与框架,设计研究方法,提供研究资源,指导研究过程;刘慧婵、杨瑞清、张兆明、薛远、安诗豪、袁铭若完成资料数据整理分析,开展实验,制作图表;所有作者参与论文的写作和修改。所有作者均阅读并同意最终稿件的提交。
HE Guojin proposed the research idea and framework, designed the research methodology, provided research resources, and supervised the research process. LIU Huichan, YANG Ruiqing, ZHANG Zhaoming, XUE Yuan, AN Shihao, and YUAN Mingruo completed data collection and analysis, conducted experiments, and created visualizations. All authors participated in the writing and revision of the paper and have read and agreed to the submission of the final manuscript.
[1]
Campbell J B, Wynne R H, Thomas V A. Introduction to Remote Sensing[M]. 6th ed. New York: Guilford Publications, 2022.

[2]
梁顺林, 白瑞, 陈晓娜, 等. 2019年中国陆表定量遥感发展综述[J]. 遥感学报, 2020, 24(6):618-671.

[ Liang S L, Bai R, Chen X N, et al. Review of China’s land surface quantitative remote sensing development in 2019[J]. Journal of Remote Sensing, 2020, 24(6):618-671. ] DOI:10.11834/jrs.20209476

[3]
何国金, 王力哲, 马艳, 等. 对地观测大数据处理:挑战与思考[J]. 科学通报, 2015, 60(5):470-478.

[ He G J, Wang L Z, Ma Y, et al. Processing of earth observation big data: Challenges and countermeasures[J]. Chinese Science Bulletin, 2015, 60(5):470-478. ] DOI:10.1360/N972014-00907

[4]
吴田军, 骆剑承, 李曼嘉, 等. 地理时空数字化底座理论框架构建与应用实践[J]. 地球信息科学学报, 2024, 26(4):799-830.

DOI

[ Wu T J, Luo J C, Li M J, et al. Theoretical framework construction and application practice of the geographic spatiotemporal digital base[J]. Journal of Geo-Information Science, 2024, 26(4):799-830. ] DOI:10.12082/dqxxkx.2024.230747

[5]
李德仁, 丁霖, 邵振峰. 面向实时应用的遥感服务技术[J]. 遥感学报, 2021, 25(1):15-24.

[ Li D R, Ding L, Shao Z F. Application-oriented real-time remote sensing service technology[J]. National Remote Sensing Bulletin, 2021, 25(1):15-24. ] DOI:10.11834/jrs.20210260

[6]
张永军, 万一, 史文中, 等. 多源卫星影像的摄影测量遥感智能处理技术框架与初步实践[J]. 测绘学报, 2021, 50(8):1068-1083.

DOI

[ Zhang Y J, Wan Y, Shi W Z, et al. Technical framework and preliminary practices of photogrammetric remote sensing intelligent processing of multi-source satellite images[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8):1068-1083. ] DOI:10.11947/j.AGCS.2021.20210079

[7]
龚健雅, 张觅, 胡翔云, 等. 智能遥感深度学习框架与模型设计[J]. 测绘学报, 2022, 51(4):475-487.

DOI

[ Gong J Y, Zhang M, Hu X Y, et al. The design of deep learning framework and model for intelligent remote sensing[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(4):475-487. ] DOI:10.11947/j.AGCS.2022.20220027

[8]
何国金, 焦伟利, 龙腾飞, 等. 遥感信息工程[M]. 北京: 科学出版社, 2021.

[ He G J, Jiao W L, Long T F, et al. Remote sensing information engineering[M]. Beijing: Science Press, 2021. ]

[9]
Union of Concerned Scientists. Union of Concerned Scientists Satellite Database[DB/OL]. (2023-05-01) [2024-10-18]. https://www.ucsusa.org/resources/satellite-database

[10]
7wData. Terabytes From Space: Satellite Imaging Fills Data Centers[N/OL].(2020-05-01) [2024-12-25]. https://7wdata.be/cloud-computing/terabytes-from-space-satellite-imagng-fills-data-centers/

[11]
MAXAR. Maxar is a Leading Provider of Secure, Precise Geospatial Insights[DB/OL].(2023-05-01) [2024-12-25]. https://maxar.com/maxar-intelligence/about

[12]
廖小罕. 中国对地观测20年科技进步和发展[J]. 遥感学报, 2021, 25(1):267-275.

[ Liao X H. Scientific and technological progress and development prospect of the Earth observation in China in the past 20 years[J]. National Remote Sensing Bulletin, 2021, 25(1):267-275. ] DOI:10.11834/jrs.20211017

[13]
孙伟伟, 杨刚, 陈超, 等. 中国地球观测遥感卫星发展现状及文献分析[J]. 遥感学报, 2020, 24(5):479-510.

[ Sun W W, Yang G, Chen C, et al. Development status and literature analysis of China's earth observation remote sensing satellites[J]. Journal of Remote Sensing, 2020, 24(5):479-510. ] DOI:10.11834/jrs.20209464

[14]
邹同元, 丁火平, 王玮哲, 等. 天基遥感大数据人工智能应用探讨[J]. 卫星应用, 2019(6):38-44.

[ Zhou T Y, Ding H P, Wang W Z, et al. Discussion on the application of artificial intelligence in space-based remote sensing big data[J]. Satellite Application, 2019(6):38-44. ] DOI:10.3969/j.issn.1674-9030.2019.06.012

[15]
国家遥感数据与应用服务平台. 高分卫星运行与数据分发报告-2024年8月[EB/OL]. (2024-10-10) [2024-10-18]. https://www.cpeos.org.cn/home/#/gfNews

[ China Platform of Earth Observation System. GF Satellite Operations and Data Distribution Report- August 2024[EB/OL].(2024-10-10) [2024-10-18]. https://www.cpeos.org.cn/home/#/gfNews

[16]
魏昆. 中国遥感卫星地面站:仰望星空的“数据驿站”[N/OL].(2024-10-04) [2024-10-24]. https://aircas.cas.cn/dtxw/cmsm/202410/t20241024_7407687.html

[ Wei K. China Remote Sensing Satellite Ground Station: A "Data Station" for Starry Sky[N/OL].(2024-10-04) [2024-10-24]. https://aircas.cas.cn/dtxw/cmsm/202410/t20241024_7407687.html

[17]
何国金, 郑铠沅, 杨瑞清, 等. 遥感大数据赋能青藏高原陆表水体空间分布信息认知[J]. 中国水利, 2024(11):56-66.

[ He G J, Zheng K Y, Yang R Q, et al. Empowering cognition of surface water spatial distribution information in the Tibetan Plateau with remote sensing big data[J]. China Water Resources, 2024(11):56-66. ]

[18]
张兵. 遥感大数据时代与智能信息提取[J]. 武汉大学学报(信息科学版), 2018, 43(12):1861-1871.

[ Zhang B. Remotely sensed big data era and intelligent information extraction[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12):1861-1871. ] DOI:10.13203/j.whugis20180172

[19]
许子明, 田杨锋. 云计算的发展历史及其应用[J]. 信息记录材料, 2018, 19(8):66-67.

[ Xu Z M, Tian Y F. Development history and application of cloud computing[J]. Information Recording Materials, 2018, 19(8):66-67. ] DOI:10.16009/j.cnki.cn13-1295/tq.2018.08.042

[20]
Synergy Research Group. Cloud Market Growth Surge Continues in Q3-Growth Rate Increases for the Fourth Consecutive Quarter[EB/OL].(2024-11-01) [2024-11-07]. https://www.srgresearch.com/articles/cloud-market-growth-surge-continues-in-q3-growth-rate-increases-for-the-fourth-consecutive-quarter

[21]
国家数据局. 数字中国发展报告(2023年)[EB/OL].(2024-06-30) [2024-11-07]. https://www.digitalchina.gov.cn/2024/xwzx/szkx/202406/P020240630600725771219.pdf

[ National Data Administration. Digital China development report(2023)[EB/OL].(2024-06-30) [2024-11-07] ]. https://www.digitalchina.gov.cn/2024/xwzx/szkx/202406/P020240630600725771219.pdf

[22]
闾国年, 袁林旺, 陈旻, 等. 地理信息学科发展的思考[J]. 地球信息科学学报, 2024, 26(4):767-778.

DOI

[ Lyu G N, Yuan L W, Chen M, et al. Reflections on the development of the geographic information discipline[J]. Journal of Geo-Information Science, 2024, 26(4):767-778. ] DOI:10.12082/dqxxkx.2024.240149

[23]
Achiam J, Adler S, et al. GPT-4 technical report[EB/OL]. 2023: 2303.08774. https://arxiv.org/abs/2303.08774v6

[24]
向鹏. 周成虎院士:从遥感大数据到遥感大模型[J]. 高科技与产业化, 2023, 29(9):16-19.

[ Xiang P. From big data of remote sensing to big model of remote sensing[J]. High-Technology & Commercialization, 2023, 29(9):16-19. ]

[25]
张良培, 张乐飞, 袁强强. 遥感大模型:进展与前瞻[J]. 武汉大学学报(信息科学版), 2023, 48(10):1574-1581.

[ Zhang L P, Zhang L F, Yuan Q Q. Remote sensing big models: progress and prospects[J]. Journal of Wuhan University (Information Science Edition), 2023, 48(10):1574-1581. ] DOI:10.13203/j.whugis20230341

[26]
Diao W H, Yu H C, Kang K Y, et al. RingMo-aerial: An aerial remote sensing foundation model with A affine transformation contrastive learning[EB/OL]. 2024: 2409.13366. https://arxiv.org/abs/2409.13366v1

[27]
Hong D F, Zhang B, Li X Y, et al. SpectralGPT: Spectral remote sensing foundation model[EB/OL]. 2023: 2311.07113. https://arxiv.org/abs/2311.07113v3

[28]
Guo X, Lao J W, Dang B, et al. SkySense: A multi-modal remote sensing foundation model towards universal interpretation for earth observation imagery[EB/OL]. 2023: 2312.10115. https://arxiv.org/abs/2312.10115v2

[29]
Xu H, Man Y B, Yang M Y, et al. Analytical insight of earth: A cloud-platform of intelligent computing for geospatial big data[EB/OL]. 2023: 2312.16385. https://arxiv.org/abs/2312.16385v1

[30]
Zhang W, Cai M X, Zhang T, et al. EarthGPT: A universal multi-modal large language model for multi-sensor image comprehension in remote sensing domain[EB/OL]. 2024: 2401.16822. https://arxiv.org/abs/2401.16822v3

[31]
Gong Z Y, Wei Z X, Wang D, et al. CrossEarth: Geospatial vision foundation model for domain generalizable remote sensing semantic segmentation[EB/OL]. 2024:241 0.22629. https://arxiv.org/abs/2410.22629v2

[32]
Kuckreja K, Danish M S, Naseer M, et al. GeoChat: Grounded large vision-language model for remote sensing[EB/OL]. 2023: 2311.15826. https://arxiv.org/abs/2311.15826v1

[33]
Szwarcman D, Roy S, Fraccaro P, et al. Prithvi-EO-2.0: A versatile multi-temporal foundation model for earth observation applications[EB/OL]. 2024:2412.02732. https://ar xiv.org/abs/2412.02732v1

[34]
Yang R Q, He G J, Yin R Y, et al. A novel weakly-supervised method based on the segment anything model for seamless transition from classification to segmentation: A case study in segmenting latent photovoltaic locations[J]. International Journal of Applied Earth Observation and Geoinformation, 2024, 130:103929. DOI:10.1016/j.jag.2024.103929

[35]
郭华东. 科学大数据——国家大数据战略的基石[J]. 中国科学院院刊, 2018, 33(8):768-773.

[ Guo H D. Scientific big data—a footstone of national strategy for big data[J]. Bulletin of Chinese Academy of Sciences, 2018, 33(8):768-773. ] DOI:10.16418/j.issn.1000-3045.2018.08.001

[36]
郭华东. 地球大数据科学工程[J]. 中国科学院院刊, 2018, 33(8):818-824.

[ Guo H D. A project on big earth data science engineering[J]. Bulletin of Chinese Academy of Sciences, 2018, 33(8):818-824. ] DOI:10.16418/j.issn.1000-3045.2018.08.008

[37]
Rolf E, Klemmer K, Robinson C, et al. Mission critical -- satellite data is a distinct modality in machine learning[EB/OL]. 2024:2402.01444. https://arxiv.org/abs/2402.01444v1

[38]
何国金, 王桂周, 龙腾飞, 等. 对地观测大数据开放共享:挑战与思考[J]. 中国科学院院刊, 2018, 33(8):783-790.

[ He G J, Wang G Z, Long T F, et al. Opening and sharing of big earth observation data: Challenges and countermeasures[J]. Bulletin of Chinese Academy of Sciences, 2018, 33(8):783-790. ] DOI:10.16418/j.issn.1000-3045.2018.08.003

[39]
陆锋, 诸云强, 张雪英. 时空知识图谱研究进展与展望[J]. 地球信息科学学报, 2023, 25(6):1091-1105.

DOI

[ Lu F, Zhu Y Q, Zhang X Y. Spatiotemporal knowledge graph: Advances and perspectives[J]. Journal of Geo-Information Science, 2023, 25(6):1091-1105. ] DOI:10.12082/dqxxkx.2023.230154

[40]
乔红. 2024年人工智能十大前沿技术趋势展望[R]. 世界科技与发展论坛,北京, 2024-10-23.

[ Qiao H. 2024 Top ten emerging technology trends in artificial intelligence[R]. World Science and Development Forum, Beijing, 2024-10-23. ]

[41]
Erwin S. AI transforming satellite imaging industry 'but it’s not magic'[N/OL]. SpaceNews, 2024-06-12 [2024-11-09]. https://spacenews.com/ai-transforming-satellite-imaging-industry-but-its-not-magic/

[42]
Food and Agriculture Organization of the United Nations. Global forest resources assessment 2020: terms and definitions FRA 2020 [EB/OL]. Forest Resources Assessment Working Paper 188. Rome: FAO, 2020 [2024-11-09]. https://openknowledge.fao.org/server/api/core/bitstreams/531a9e1b-596d-4b07-b9fd-3103fb4d0e72/content

[43]
秦枭. “AI教母”创业瞄准空间智能[N]. 中国经营报, 2024-05-13(C01).

[ Qin X. "AI Matriarch" Ventures into Space Intelligence[N]. China Business Journal, 2024-05-13(C01).] DOI:10.38300/n.cnki.nzgjy.2024.000963

[44]
王桥. 地表异常遥感探测与即时诊断方法研究框架[J]. 测绘学报, 2022, 51(7):1141-1152.

DOI

[ Wang Q. Research framework of remote sensing monitoring and real-time diagnosis of earth surface anomalies[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(7):1141-1152.] DOI:10.11947/j.AGCS.2022.20220124

Outlines

/