遥感科学与应用技术

XGBoost和DSCGAN模型协同的SMAP土壤水分降尺度方法

  • 王思超 , 1 ,
  • 蔡玉林 , 1, * ,
  • 朱子正 1 ,
  • 黄修东 2 ,
  • 赵相伟 1
展开
  • 1.山东科技大学测绘与空间信息学院,青岛 266500
  • 2.青岛市水文中心,青岛 266071
* 蔡玉林(1974— ),男,山东高密人,副教授,主要从事资源环境遥感方面的研究。E-mail:

王思超(1999— ),男,山东枣庄人,硕士生,主要从事水文遥感方面的研究。E-mail:

Editor: 蒋树芳

收稿日期: 2024-03-20

  修回日期: 2024-07-03

  网络出版日期: 2024-09-10

基金资助

国家重点研发计划子课题(2019YFE0126700)

山东省自然科学基金项目(ZR2022MD018)

Downscaling SMAP Soil Moisture Using a Combination of XGBoost and DSCGAN Algorithms

  • WANG Sichao , 1 ,
  • CAI Yulin , 1, * ,
  • ZHU Zizheng 1 ,
  • HUANG Xiudong 2 ,
  • ZHAO Xiangwei 1
Expand
  • 1. College of Geodesy and Geomatics, Shandong University of Science and Technology, Qingdao 266500, China
  • 2. Qingdao Hydrology Bureau, Qingdao 266071, China
* CAI Yulin, E-mail:

Received date: 2024-03-20

  Revised date: 2024-07-03

  Online published: 2024-09-10

Supported by

National Key Research and Development Program of China(2019YFE0126700)

National Key Research and Development Program of Shandong Province, China(ZR2022MD018)

摘要

卫星微波遥感的SMAP土壤水分产品可以用于大陆和全球尺度,但因为空间分辨率低,难以满足中小尺度的应用。经验性降尺度方法是空间降尺度常用方法,但因为需要依赖于光学遥感获取降尺度因子,所以易受云雾影响导致无法获得时间连续的高空间分辨率土壤水分。为了解决这个问题,我们结合机器学习和深度学习方法进行了降尺度研究。首先,获取地表温度、植被指数、反照率、土地覆盖、地形数据、土壤质地等降尺度因子。然后,利用机器学习模型(Random Forest、LightGBM、XGBoost)建立SMAP土壤水分产品数据与降尺度因子的经验降尺度模型。选择其中精度较好的XGBoost模型将SMAP-L4土壤水分产品的空间分辨率由9 km降尺度至1 km。最后,基于9 km和1 km土壤水分数据对训练DSCGAN超分辨率模型,并利用该模型获取研究区域时空连续的土壤水分数据。结果表明,降尺度得到的土壤水分与SMAP 原数据之间的相关性系数R为0.96,均方根误差RMSE为0.034 m3/m3,偏置bias为0.011 m3/m3,无偏均方根误差ubRMSE为0.034 m3/m3。与实测站点之间的相关性系数R为0.696,均方根误差RMSE为0.192 m3/m3,偏置bias为-0.171 m3/m3,无偏均方根误差ubRMSE为0.089 m3/m3。本文方法为生产时空连续的更高空间分辨率的地表土壤水分提供了一个框架,可以满足区域水分调查和农业干旱监测等小尺度应用需求。

本文引用格式

王思超 , 蔡玉林 , 朱子正 , 黄修东 , 赵相伟 . XGBoost和DSCGAN模型协同的SMAP土壤水分降尺度方法[J]. 地球信息科学学报, 2024 , 26(9) : 2213 -2225 . DOI: 10.12082/dqxxkx.2024.240152

Abstract

Due to the coupling effects of climatic conditions, surface and subsurface conditions, and human activities, soil moisture is highly heterogeneous on spatial and temporal scales. The SMAP soil moisture products from satellite microwave remote sensing can be used from continental to global scales, but they are not suitable for small- and medium-scale applications due to low spatial resolution. To improve the spatial resolution of soil moisture products, various downscaling methods have been developed, with the empirical downscaling method being widely used due to its relatively simple calculation. These models require downscaling factors, which are mostly obtained based on optical remote sensing and are susceptible to cloud influence. Therefore, it is impossible to obtain high spatial resolution soil moisture continuously over time using this model for downscaling. To solve this problem, we proposed a downscaling framework based on multiple data sources using machine learning and deep learning methods. The main idea is to use traditional machine learning methods in the absence of clouds and super-resolution methods to downscale soil moisture in the presence of clouds. The combination of these two methods yields time-continuous, high-resolution soil moisture. First, multi-source data were used to obtain fifteen downscaling factors, including surface temperature, normalized vegetation index, albedo, elevation, slope, slope direction, soil cover type, soil texture, etc. Then, three machine learning models (Random Forest, LightGBM, and XGBoost) were used to establish empirical downscaling models of SMAP soil moisture product data with downscaling factors. The best performing XGBoost model was chosen to downscale the spatial resolution of SMAP soil moisture products from 9 km to 1 km. Finally, the DSCGAN super-resolution model was trained based on 9 km and 1 km soil moisture data pairs. The trained models were used to obtain spatio-temporally continuous soil moisture data for the study area. The results show that, by comparing the downscaled soil moisture and original SMAP data, the R is 0.96, the RMSE is 0.034 m3/m3, the bias is 0.011 m3/m3, and the ubRMSE is 0.034 m3/m3. The comparison between the downscaled soil moisture and the measured data shows that the R is 0.696, the RMSE is 0.192 m3/m, the bias is -0.171 m3/m3, and the ubRMSE is 0.089 m3/m3. The downscaling method proposed in this study provides a framework for generating higher resolution spatio-temporally continuous surface soil moisture that can meet the needs of small-scale applications such as regional moisture surveys and agricultural drought monitoring.

1 引言

土壤水分(Soil Moisture, SM)是生态系统水循环和能量预算的关键参数[1-2],影响着陆地表面和大气之间的水、能量和碳通量的交换[3-4]。SM的时空分布及变化是许多主要地表过程的基础数据,在诸如干旱监测[5-6]、农业管理[7-9]、农业估产[10-11]、水文和水资源管理[12-13]以及自然灾害监测等方面有着广泛应用。因此,准确获取地表SM的时空分布变化信息具有重要意义。
目前获取土壤水分的方法主要有传统的站点观测、卫星监测、数据同化3种[14]。被动微波遥感技术是目前监测大尺度范围土壤水分变化最成熟的技术手段,现有的土壤水分产品多数来自被动微波遥感,例如AMSR-E(Advanced Microwave Scanning Radiometer-Earth Observing System)、SMOS(Soil Moisture and Ocean Salinity),SMAP(Soil Moisture Active Passive)[15-16],这些产品已经被广泛应用于大陆和全球尺度的研究,如大尺度干旱监测和气候模型评估[17-19]。然而,这些产品虽然具有精细时间分辨率(每日),但其空间分辨率较粗,往往不适用于区域水文和农业应用等需求。因此,空间降尺度方法逐渐成为被动微波土壤水分研究的方向之一。土壤水分对不同的相关水文变量和地表条件具有复杂依赖性,这些变量和条件被称为降尺度因子,往往具有较强的空间异质性,能够间接或直接表达土壤和大气之间的交互作用。降尺度方法的核心是利用高分辨率降尺度因子的空间差异性,通过关系模型提高被动微波土壤水分空间分辨率[20-21]。这些降尺度模型主要分为经验性、半经验性和基于物理机理3类[22]。基于物理机理的降尺度方法物理背景强,通常结果精度较高,但是也带来了原理复杂、模型运行复杂的缺陷。半经验性降尺度方法考虑到了物理背景,提高简化物理背景以达到更方便简单,但是其结果在一定程度还是依赖于降尺度因子对土壤水分的解释程度。经验性的降尺度方法相对最简单、易实现大尺度的降尺度,应用较为广泛。该方法主要是基于土壤水分与降尺度因子之间的定量关系,将高空间分辨率降尺度因子和原始粗空间分辨率的土壤水分进行连接,并将降尺度关系模型表达至高空间分辨率尺度,进而将土壤水分产品数据解析到更高的空间分辨率。近些年来,随着人工智能的发展,机器学习算法应用于降尺度研究中,期望在忽略物理机理的情况下得到土壤水分与降尺度因子之间的关系。于是学者利用不同的机器学习算法学习土壤水分与降尺度因子之间的非线性关系,如人工神经网络(Artificial Neural Network, ANN)、随机森林(Random Forest, RF)、LightGBM(Light Gradient Boosting Machine)、深度置信网络(Deep Belief Network,DBN)等[23-26]。经验性降尺度方法使用的模型主要为回归模型、空间插值模型和机器学习模型,其最大的缺点是降尺度因子大多来源于光学遥感数据,所以往往受到云雾覆盖和其他大气条件的影响。
基于上述分析,本文引入深度学习的超分辨率算法建立了一个模型,以避免因部分降尺度因子难以获取导致无法实现降尺度。图像超分辨率方法,是计算机视觉领域提高图像分辨率的重要方法之一,是将一幅或者多幅低分辨率(Low Resolution, LR)图像通过处理生成一幅具有较高分辨率(High Resolution, HR)图像的方法。本文基于超分辨率深度学习网络CGAN网络[27-28]构建了一个不依赖于光学遥感数据降尺度因子的模型Downscaling Convolutional Generative Adversarial Networks(DSCGAN),以实现土壤水分的空间降尺度。

2 研究方法

图1为研究技术流程图。具体包括: ① 获取降尺度因子:获取遥感数据(地表温度、植被指数、反照率)、土地覆盖类型,和其他数据如数字高程模型、土壤质地等; ② 在无云雾覆盖情况下构建机器学习降尺度模型对土壤水分降尺度,得到研究区域1 km的土壤水分:分别将9 km低分辨率的降尺度因子与因变量土壤水分作为输入数据,输入机器学习模型;将输入数据以3:1的比例随机分为训练集与测试集,训练集数据作为建模样本,测试集数据用来检验模型;将高分辨率的降尺度因子输入模型,进行模型预测出高分辨率的土壤湿度数据; ③ 在云雾覆盖情况下使用机器学习降尺度得到高分辨率土壤水分、SMAP L4低分辨率土壤产品水分数据和DEM数据构建训练DSCGAN的数据集,训练模型参数之后,利用低分辨率土壤水分和DEM数据输入模型中得到高分辨率土壤水分。XGBoost和DSCGAN协同可以生成时间连续的土壤水分数据,并使用实测站点数据对结果进行了验证。
图1 时空连续土壤水分降尺度技术路线

Fig. 1 Technical flow of spatio-temporally continuous soil moisture downscaling

2.1 降尺度因子筛选

目前被动微波土壤水分空间降尺度研究在降尺度因子的选择和使用上没有统一的标准,广泛使用的因子包括地表温度(Land Surface Temperature,LST)、植被指数(Vegetation Index,VI)、地表反照率、地形数据等[20-21,29-31]。选取合适的降尺度因子是降尺度过程中的关键环节。然而,如果回归模型中的参数过多,模型求解时反而会出现过拟合的现象。因此,在回归模型的复杂性和精度之间需要做出一定的取舍。目前使用最广泛的降尺度因子是地表温度(LST)和植被指数(Vegetation Index,VI),两者构成的特征空间变化可以解释陆表水热交换[32],地表温度变化也会对土壤湿润程度有一定影响[23,30],植被条件也会对土壤水分循环产生复杂的影响[33]。此外,土壤水分分布和变化已被证明与地形、植被、土壤质地或者这些变量的组合相关[34-38],参考以上研究,我们选取了LST、NDVI、反照率、DEM、坡度、坡向、土壤质地和土地覆盖作为降尺度因子。
针对这些因子,我们利用SHAP(Shapley Additive exPlanations)方法对其重要性进行评估、筛选,寻求在精度和复杂度之间的折衷方案。SHAP是一种博弈论方法[39],用于解释机器学习模型的输出,在合作博弈论的启发下SHAP构建一个加性的解释模型,所有的特征都视为“贡献者”。对于每个预测样本,模型都产生一个预测值,SHAP value就是该样本中每个特征即降尺度因子所分配到的数值。SHAP value最大的优势是SHAP能对于反映出每一个样本中的特征的影响力,同时还表现出影响的正负性。假设第i个样本为xi,第i个样本的第j个特征为xij,模型对该样本的预测值为yi,整个模型的基线(通常是所有样本的目标变量的均值)为ybase,那么SHAP Value服从以下等式:
y i = y b a s e + f x i 1 + f x i 2 + + f x i j
式中: f(xij)为xij的SHAP值。直观上看, f(xi1)就是第i个样本中第1个特征对最终预测值yi的贡献值,当f(xi1)>0,说明该特征提升了预测值;反之,说明该特征使得预测值降低。对于本文而言,机器学习是以像元为基础,逐像元进行降尺度,故而f(xij)就是第i个像元对应的第j个降尺度因子对最终预测土壤水分yi的贡献值。

2.2 机器学习经验降尺度模型

本研究经验降尺度模型比较了3种当前普遍应用的机器学习算法,包括:随机森林(Random Forest)、XGBoost、LightGBM(Light Gradient Boosting Machine)。它们都属于集成学习,即通过构建并结合多个分类器来完成学习任务。其目的是通过结合多个机器学习分类器的预测结果来改善基本学习器的泛化能力和鲁棒性。随机森林是以决策树为基础学习器构建Bagging,然后在决策树的训练过程中引入了随机特征选择[40]。XGBoost模型是一种高效、灵活、可扩展的梯度提升决策树集成算法[41],通过迭代将少量“弱”学习器的预测组合成“强”学习器以优化损失函数,之后在每次迭代时使用残差校准先前的预测器。同时,还增加了正则化以防止过拟合[42],模型本身具有很强的鲁棒性和稳健性。LightGBM基本原理与XGBoost相同,对于样本多和特征多分别采用了基于梯度的单边采样算法(Gradient-based One-Side Sampling,GOSS)和互斥特征捆绑算法(Exclusive Feature Bundling,EFB),在框架上做了优化(重点优化了模型训练速度)[43]
研究利用3种机器学习方法,以9 km分辨率、通过SHAP方法筛选确定的降尺度因子为输入变量,以SMAP L4土壤水分产品逐像元数据作为目标变量建立该区域的经验降尺度模型并进行了验证。然后利用训练好的模型将SMAP L4 SSM的分辨率由9 km提高到1 km。

2.3 DSCGAN降尺度模型

DSCGAN是一种对抗神经网络(GAN), GAN通常由2个网络的组合:生成网络(Generator)负责生成模拟数据;判别网络(Discriminator)负责判断输入的数据是真实的还是生成的。生成器和判别器二者相互对抗,其最优结果为判别网络判断数据真假的概率各为0.5。GAN通过对某一事物大量数据的学习,来学习总结出其在数学层面上的分布规律,构建出合理的映射函数,从而解决现实问题。Wang等[27]设计了CGAN用于降水降尺度,其关键思想是使用低分辨率和高分辨率数据来训练神经网络从而从前者映射到后者实现降尺度。在CGAN的基础上,构建了DSCGAN(图2),具体做法是:
图2 DSCGAN生成器模型

Fig. 2 DSCGAN generator model

(1) 特征提取模块保持不变,特征提取模块采取了4个分支结构以获得更加细致的特征,共使用了 1×1、3×3、5×5 共3个大小的卷积核以及一个3×3的池化层;保留注意力机制,注意力机制可用于重新调整由神经网络的某些层生成的特征图,这使其能够检测特定的通道或空间特征[44-45]。采用的注意力机制是CBAM模块(Convolutional Block Attention Module),其包含2个子模块通道注意力模块(Channel Attention Module,CAM)和空间注意力模块(Spatial Attention Module,SAM)。空间注意力机制就是在图像的空间维度上找到其空间关联性,突出空间上的一些重要特征;通道注意力机制就是在通道维度上找到通道之间的联系,关注信息量大的通道特征。
(2)为了避免动态降尺度因子难以获取的弊端,故而仅使用了容易获得的静态降尺度因子DEM作为网络输入的一部分。将CGAN网络上采样部分换为亚像素卷积层,亚像素卷积(Subpixel Convolution)是一种用于图像超分辨率的技术,目标是将低分辨率图像恢复为高分辨率图像,提高图像的细节和清晰度。在亚像素卷积中,首先使用传统的卷积操作进行特征提取,然后将低分辨率特征图转换为高分辨率特征图。其中一个关键操作是亚像素重排,它将低分辨率特征图中的每个像素值分配到原始像素的多个位置上。这个过程可以看作是将一个像素分解成多个子像素,从而提高了图像的分辨率。
将SMAP L4 SSM和高分辨率的DEM输入到模型中,利用特征提取模块提取细节特征,SSM通过2次亚像素卷积提高分辨率并结合DEM,通过2个上采样层(亚像素卷积)将土壤水分放大9倍,利用DSCGAN通过学习高、低分辨率土壤水分数据对之间的映射关系将土壤水分数据产品网格尺寸缩小至1 km。在有云覆盖影响从而无法获取降尺度因子的情况下使用DSCGAN对土壤水分降尺度得到的1 km的土壤水分。实验训练集和测试比例为3:1。在Pytorch深度学习框架下实施模型的训练和测试,具体实验参数为: batch size为4,学习率为0.000 3, epoch为10 000,使用Adam优化器进行梯度下降,采用BCE Loss和L1 Loss作为损失函数。输入的低分辨率土壤水分和高分辨率DEM大小分别为24×24和216×216,输出高分辨率土壤水分大小为216×216,放大倍数为9倍。

2.4 评价指标

选用4个常用的统计指标评估土壤水分降尺度结果的精度,包括皮尔逊相关系数(R),偏差(bias),均方根误差(RMSE)和无偏RMSE(ubRMSE)。R用于评估土壤水分产品在时间变化上趋势, bias用于衡量偏离程度[27]RMSEubRMSE被解释为随机误差的标准差[46]。这些指标的计算方法如下:
R = i = 1 n S M d o w n s c a l i n g - S M d o w n s c a l i n g ¯ S M i n   s i t u - S M i n   s i t u ¯ i = 1 n S M d o w n s c a l i n g - S M D o w n s c a l i n g ¯ 2 i = 1 n S M i n   s i t u - S M i n   s i t u ¯ 2
B i a s = S M d o w n s c a l i n g - S M i n   s i t u ¯
R M S E = S M d o w n s c a l i n g - S M i n   s i t u 2 ¯
u b R M S E = S M d o w n s c a l i n g - S M d o w n s c a l i n g ¯ - S M i n   s i t u - S M i n   s i t u ¯ 2 ¯
式中: S M i n   s i t u S M d o w n s c a l i n g分别代表站点测量值和土壤水分降尺度结果值,横线代表时间平均运算符; n是用于比较的土壤水分数据对的数量。

3 实验区概况和数据来源

3.1 实验区概况

闪电河位于滦河上游流经中国北部的河北和内蒙古,发源于河北,最后注入渤海,全长877 km。闪电河流域属半干旱大陆性气候,年平均降雨量大概375 mm,年蒸发量约1 188 mm[49]。流域地形平坦,以平原、丘陵和洼地为主,南部地势偏高,南北相对高差约400 m,海拔约为1 260~1 680 m。主要土壤类型为风沙土和草甸土。地表类型包括耕地、林地、草地、灌木地、湿地、水体、人造地表和裸地,分布多为耕地和草地,其次是林地和湿地,其他类型较少,研究区域位置及主要地表类型见图3,土地覆盖类型图来自中国自然资源部组织制作发布的30 m全球地表覆盖数据GlobeLand30(http://globallandcover.com/)。流域内属于大陆性季风气候,四季分明,早晚温差大[50],夏季降水较为充沛。春季受季风影响,土壤较干燥,而夏季由于雨水充足,土壤较为湿润,因此研究区土壤水分时间变化较为明显。
图3 闪电河流域土地覆盖类型及实测站点分布

Fig. 3 Land cover types and measured site distribution in Shandian River Basin

3.2 研究数据

研究数据包括遥感数据、土壤水分数据、高程数据及土壤质地数据,如表1。遥感数据来自于美国宇航局(https://modis.gsfc.nasa.gov/),包括表面反射率产品MOD09GA、土地覆盖产品MCD12Q1、反照率产品MCD43A3以及地表温度产品MOD11A1,表面反射率产品MOD09GA,土壤水分数据来自SMAP的L4级产品,从土壤水分观测网络SMN-SDR收集的实测站点数据,其他辅助数据包括高程和土壤质地。
表1 研究数据

Tab. 1 Research data

类型 产品 变量 空间分辨率 时间分辨率
遥感数据 MCD43A3 反照率 500 m 16-day
MOD09GA 地表反射率 500 m daily
MCD12Q1 土地覆盖类型 500 m yearly
MOD11A1 地表温度 1 km daily
其他数据 HWSD 土壤质地 1 km
GMTED2010 高程 7.5″
土壤水分数据 SMAP L4 土壤水分 9 km 3-hour

3.2.1 遥感数据

MODIS土地覆盖类型产品(MCD12Q1)提供了2001—2020年每年的全球土地覆盖类型。该数据共有6种不同的分类方案,本研究中使用了基于 IGBP的全球植被分类方案的土地覆盖分类。反照率产品(MCD43A3)提供MODIS波段1—7以及可见光、近红外(NIR)和短波波段的局部太阳正午的黑天反照率(定向半球反射率)和白空反照率(双半球反射率)数据,共获得BSA_VIS(黑空反照率可见光波段)、BSA_NIR(黑空反照率近红外波段)、WSA_VIS(白空反照率可见光波段)、WSA_NIR(白空反照率近红外波段)。MODIS反射率产品是计算地球地表反照率过程中最常用的数据,分为MOD09GA与MYD09GA 2种,分别对应Terra与Aqua卫星。MOD09GA产品的时间分辨率为天,空间分辨率为500 m。每幅影像集中提供了1~7波段的反射率,使用波段1(红波段)和波段2(近红外波段)计算归一化植被指数(Normalized Difference Vegetation Index,NDVI)。地表温度 (MOD11A1)产品提供空间分辨率为1 km的每日白天和夜晚地表温度,并使用白天地表温度(LSTD)和夜晚地表温度(LSTN)相减得到白天夜晚地表温度差(ΔLST)。

3.2.2 SMAP L4土壤水分产品

SMAP是由美国宇航局(NASA)于2015年1月31日发射的卫星,搭载着L波段(1.41 GHz)的辐射计和L波段(1.26 GHz)的雷达,能够以中等分辨率(-36 km)得到土壤顶部5 cm土壤水分估计值,NASA利用Backus-Gilbert最优插值技术将36 km的SMAP亮度温度降尺度到9 km,然后利用陆地表面模型反演9 km的增强型被动微波土壤水分。SMAP L4产品由陆地表面模型根据SMAP观测值估测的,分别在时空方面对SMAP的观测进行内插和外推,得到9 km分辨率的3 h土壤湿度产品。Tavakol等[51]在以美国本土为研究区区域分析了SMAP L3和SMAP L4以及SPoRT-LIS土壤水分数据的精度,结果表明SMAP L4在所有季节内与原位数据的一致性更强。此外,Nadeem等[52]分析了SMAP L3和SMAP L4与SMN-SDR的验证结果,结果也表明L4 SM产品表现更好。故而本文选择了SMAP L4的9 km土壤水分数据,数据集名称为SMAP L4 Global 3-hourly 9 km EASE-Grid Surface and Root Zone Soil Moisture Geophysical Data V007。

3.2.3 实测站点数据

2018年,我国在位于中国北部半干旱地区的滦河流域建立了一个包含34个站点的新型土壤湿度和温度无线传感器网络(SMN-SDR)[53],覆盖的区域面积约为10 000 km2。为了匹配各种土壤水分产品的不同尺度,34个站点的空间分布设计为三采样尺度的嵌套结构,包括100 km(大尺度)、50 km(中尺度)和10 km(小尺度)。每个站在不同的测量深度(3、5、10、20和50 cm)以水平方向安装5TM传感器,以测量土壤湿度和温度。5TM传感器的标称精度(分辨率)为土壤湿度±3% m3/m3(0.000 8 m3/m3)和土壤温度±1 K。考虑到 SMAP L4 的采样深度为 0~5 cm,选择顶部 3 cm的原位测量用于验证降尺度的土壤水分结果。

3.2.4 辅助数据

全球多分辨率地形高程数据(GMTED2010)由美国地质勘探局和国家地理空间情报局(NGA)合作开发,它包含7种新的栅格高程产品,分别适用于30"、15"和7.5"的空间分辨率,研究选择使用7.5"分辨率的DEM,以及根据DEM得到其他的地形信息:Aspect(坡向)、Slope(坡度)。
国际应用系统分析研究所(IIASA)、联合国粮农组织(FAO)等组织共同倡导下建立了新一代世界土壤数据库(Harmonized World Soil Database version 1.2,HWSD V1.2)。其中,中国地区数据源为1995年全国第二次土地调查由南京土壤所所提供的1:1 000 000土壤数据。其分辨率为30"(约0.083°,1 km)。研究使用数据库中的土壤质地(clay/sand/silt),单位为百分比。

3.2.5 数据处理

由于不同数据源空间分辨率及地理参考不同,我们对数据进行了处理。首先,根据MOD09GA的波段1(红光波段)和波段2(近红外波段)计算得到归一化植被指数(Normalized Difference Vegetation Index,NDVI),其分辨率为500 m。然后对不同数据统一其参考空间,然后使用最邻近法重采样到 1 km和9 km分辨率,最后裁剪为同一尺寸。

4 结果及分析

4.1 3种机器学习降尺度模型效果对比

我们分别对2018—2020年云雾覆盖率小于10%的日期(包括2018年4月15日-2020年10月16日之间的15 d)进行了降尺度。图4为3种机器学习模型降尺度结果(以2018年4月15日为例)和同日SMAP L4产品数据分布图的比较。可以看出,降尺度结果空间分布趋势与原数据相同,但是呈现更多细节。
图4 3种机器学习模型降尺度结果对比

Fig. 4 Comparison of downscaled results of three machine learning models

图5为所有日期降尺度结果与原始SMAP进行了定量对比分析和评价的结果。由图5可知,在与原始SMAP产品数据对比中,XGBoost模型精度为:R为0.861, RMSE为0.045 m3/m3Bias为-0.004 m3/m3ubRMSE为0.045 m3/m3,相较于其他3种模型, 4种评价指标都是最优的,大部分点均位于1:1线附近。其中XGBoost相较于其他两者与原始SMAP土壤水分分布特征吻合的更好。根据上述分析,利用XGBoost得到研究区1 km的土壤水分降尺度,其结果数据用作DSCGAN网络的训练数据集。
图5 Random Forest、LightGBM 和XGBoost模型精度对比

Fig. 5 Comparison of performance of Random Forest 、LightGBM and XGBoost models

4.2 降尺度因子筛选的结果与讨论

在机器学习降尺度研究中,比较分析了15种降尺度因子,分别包括: LSTD(白天地表温度)、 LSTN(夜晚地表温度)、ΔLST(白天夜晚地表温度差)、NDVI(归一化植被指数)、BSA_VIS(可见光波段黑空反照率)、BSA_NIR(近红外波段黑空反照率)、WSA_VIS(可见光波段白空反照率)、WSA_NIR(近红外波段白空反照率)、DEM(数字高程模型)、Aspect(坡向)、Slope(坡度)、土壤覆盖类型(Land Cover)、土壤质地(Clay、Sand、Silt)。借助于XGBoost,我们使用SHAP方法对降尺度因子的重要性进行了排序,图6显示了每种特征的SHAP值平均绝对值,即不同降尺度因子对预测结果的重要性,柱状图长短为不同因子的重要性排序。例如Clay在这些因子重要性排序第一,大部分值(紫色点)多数集中在y轴右侧,说明高Clay值处的土壤水分较高,但是仍然有部分的高Clay值在y轴右侧,说明土壤水分仍受到其他因子的影响。除了Clay外ΔLST、DEM、Silt、LSTD、NDVI在小尺度土壤水分降尺度中也起到重要作用,其次是Aspect、BSA_NIR、LSTN、BSA_VIS、Sand、WSA_NIR、Slope、WSA_VIS。而土地覆盖类型在闪电河流域土壤水分降尺度中作用较小。
图6 不同特征的SHAP值平均绝对值

Fig. 6 Mean absolute values of SHAP values for different features

为了更直观地表达出各个降尺度因子对降尺度的影响,本文依次只去除一个降尺度因子,然后比较结果精度变化。图7显示了去除各个因子前后的R、RMSE、Bias和ubRMSE的变化。可以明显看出,在分别去除图6特征重要性排序倒数的四种因子后(WSA_NIR、Slope、WSA_VIS和Land Cover),R、RMSE和ubRMSE 3个指标都有提升。
图7 每次去除一种因子前后降尺度结果精度比较

Fig. 7 Comparison of evaluation indicators for downscaled results before and after removing one factor at a time

所以,最终我们筛选的降尺度因子为LSTD、LSTN、ΔLST、NDVI、BSA_VIS、BSA_NIR、DEM、Aspect、Clay、Sand、Silt。

4.3 降尺度模型结果

图8所示是DSCGAN模型2019年4月1日降尺度结果。图8(a)图8(b)分别是SMAP原土壤水分数据和降尺度结果。可见,跟机器学习降尺度模型一样,降尺度结果呈现更多空间分布细节。
图8 SMAP L4土壤水分和降尺度土壤水分

Fig. 8 Comparison of SMAP L4 soil moisture and downscaled soil moisture

结合机器学习和超分辨率模型得到了2019年4—9月的1 km的时空无缝反演土壤水分,其中2019年4—9月中的2019年4月25日、2019年5月25日、2019年5月25日、2019年9月16日、2019年9月25日、2019年9月27日的土壤水分由机器学习降尺度,其余时间由DSCGAN降尺度得到。图9表2为该段时期内降尺度结果和SMAP土壤水分、野外实测数据三者之间的一致性分析。图9(a)为降尺度结果与SMAP原数据的比较,两者在空间分布上高度一致,两者之间的R达到了0.960。 图9(b)为降尺度结果和SMAP原数据分别与实测数据集SMN-SDR数据的对比, Zheng等[49]对SMN-SDR实测站点网络与诸多卫星土壤水分产品的相关性进行了研究,其中SMAP与SMN-SDR站点网络相关系数在0.590~0.630之间,RMSE在0.072~0.105 m3/m3之间, bias在-0.057~ -0.097 m3/m3之间,ubRMSE在0.036~0.044 m3/m3之间, SMAP原数据的验证结果与Zheng等[49]对SMAP水分数据产品验证的结果相似。我们分别对降尺度结果与SMAP原数据、降尺度结果与实测数据、SMAP原数据与实测数据进行对比,4个指标精度值见表2,降尺度结果验证的各项精度指标均略有提升。
图9 降尺度土壤水分与SMAP 原数据及实测数据的比较

Fig. 9 Comparison of downscaled soil moisture with SMAP L4 soil moisture and in situ measured data

表2 降尺度结果比较

Tab. 2 Comparison of downscaled soil moisture results

指标 R RMSE/(m3/m3) Bias/(m3/m3) ubRMSE/(m3/m3)
降尺度结果与SMAP 原数据对比 0.960 0.034 0.011 0.034
降尺度结果与实测数据对比 0.696 0.169 0.149 0.079
SMAP 原数据与实测数据对比 0.691 0.192 0.171 0.089
通过评价结果来看,本文提出的XGBoost和DSCGAN结合的方法框架可以生产时间连续的土壤水分,避免因为云雾遮盖而无法获得质量好的降尺度因子,从而导致经验降尺度方法无法反演时间连续的土壤水分。
虽然降尺度土壤水分具有与原始粗分辨率SMAP SSM相似的时空分布,与实测站点在时间序列上也比较符合,证实了降尺度过程的有效性。然而,因为降尺度实地观测和卫星观测无论是在观测条件、时间及尺度上都有差异[46],所以不可避免地会导致卫星产品存在误差。目前诸多学者对土壤水分产品SMAP评估的结果也证明了这一点,相关研究证明SMAP存在有高估现象[47-48]。本研究在闪电河流域发现也存在这种现象,即相较于实测数据微波观测数据偏高,后期研究可以考虑通过数据校正来提高降尺度结果实用性。

5 结论与讨论

为了满足区域中小尺度应用需求,本文综合利用机器学习模型XGBoost和超分辨率模型DSCGAN对闪电河流域的土壤水分进行了降尺度研究。比较了研究区域内3种机器学习,研究分析了在闪电河流域不同降尺度因子(LSTD(白天地表温度)、LSTN(夜晚地表温度)、ΔLST(白天夜晚地表温度差值)、NDVI(归一化植被指数)、BSA_VIS(黑空反照率可见光波段)、BSA_NIR(黑空反照率近红外波段)、WSA_VIS(白空反照率可见光波段)、WSA_NIR(白空反照率近红外波段)、DEM(数字高程模型)、Aspect(坡向)、Slope(坡度)、土壤覆盖类型(Land Cover)、土壤质地(Clay、Sand、Silt))对土壤水分降尺度的影响。在无云情况下构建了基于机器学习模型的经验降尺度模型,依赖于降尺度因子完成降尺度,构建了适用于云雾覆盖情况下降尺度方法DSCGAN,弥补了经验降尺度方法因降尺度因子难以获取导致失效的情形。由此获得了研究区域时间连续的高分辨率(1 km)的土壤水分分布这是目前为止,首次将超分辨率模型应用于土壤水分降尺度的研究。降尺度获得的土壤水分与SMAP土壤水分产品数据在空间分布上高度一致,两者之间的相关系数R为0.960, RMSE为0.034 m3/m3bias为0.011 m3/m3ubRMSE为0.034 m3/m3。与SMN-SDR实测站点数据对比的R为0.696, RMSE为0.169 m3/m3bias为-0.149 m3/m3ubRMSE为0.079 m3/m3。研究表明,通过使用超分辨率模型与机器学习模型相结合,可以完成时间连续的土壤水分反演,为降尺度研究提供了一个新的思路。
用于经验性降尺度的机器学习算法适于处理海量数据,但是训练数据的选取及算法对降尺度结果有着直接的影响,故而在不同区域内选择的不同降尺度因子可能会导致不同机器算法的精度各有优劣, XGBoost在其他研究区域是否保持其鲁棒性和泛化性需要进一步探究。此外,DSCGAN模型是基于局域尺度数据训练得到的,它在多大的时空尺度上会保持稳定性是值得进一步研究的问题。
[1]
Crow W T, Berg A A, Cosh M H, et al. Upscaling sparse ground-based soil moisture observations for the validation of coarse-resolution satellite soil moisture products[J]. Reviews of Geophysics, 2012, 50(2):2011RG000372. DOI:10.1029/2011rg000372

[2]
Petropoulos G P, Ireland G, Barrett B W. Surface soil moisture retrievals from remote sensing: Current status, products & future trends[J]. Physics and Chemistry of The Earth, 2015, 83:36-56. DOI:10.1016/J.PCE.2015.02.009

[3]
Ochsner T E, Cosh M H, Cuenca R H, et al. State of the Art in Large-Scale Soil Moisture Monitoring[J]. Soil Science Society of America Journal, 2013, 77(6). DOI:10.2136/sssaj2013.03.0093

[4]
Wagner W, Bloschl G, Pampaloni P, et al. Operational readiness of microwave remote sensing of soil moisture for hydrologic applications[J]. Water Policy, 2007, 38(1):1-20. DOI:10.2166/nh.2007.029

[5]
Keshavarz M R, Vazifedoust M, Alizadeh A. Drought monitoring using a Soil Wetness Deficit Index (SWDI) derived from MODIS satellite data[J]. Agricultural Water Management, 2014, 132:37-45. DOI:10.1016/j.agwat.2013.10.004

[6]
Gonzalez-Zamora A, Martinez-Fernandez, Herrero-Jimenez C, et al. Satellite soil moisture for agricultural drought monitoring: Assessment of the SMOS derived Soil Water Deficit Index (vol 177, pg 277, 2016)[J]. Remote Sensing of Environment: An Interdisciplinary Journal, 2016, 183:368-368. DOI:10.1016/j.rse.2016.02.064

[7]
Colliander A, Cosh M H, Misra S, et al. Validation and scaling of soil moisture in a semi-arid environment: SMAP validation experiment 2015 (SMAPVEX15)[J]. Remote Sensing of Environment, 2017, 196:101-112. DOI: 10.1016/j.rse.2017.04.022

[8]
Colliander A, Fisher J B, Halverson G, et al. Spatial Downscaling of SMAP Soil Moisture Using MODIS Land Surface Temperature and NDVI During SMAPVEX15[J]. IEEE Geoscience and Remote Sensing Letters, 2017. DOI:10.1109/LGRS.2017.2753203

[9]
Colliander A, Jackson T J, Bindlish R, et al. Validation of SMAP surface soil moisture products with core validation sites[J]. Remote Sensing of Environment: An Interdisciplinary Journal, 2017:191. DOI:10.1109/LGRS.2017.2753203

[10]
Fan L, Al-Yaari A, Frédéric Frappart, et al. Mapping soil moisture at a high resolution over mountainous regions by integrating in Situ measurements, topography data, and MODIS land surface temperatures[J]. Remote Sensing, 2019, 11(6):656. DOI:10.3390/rs11060656

[11]
Meng X, Mao K, Meng F, et al. Long-term spatiotemporal variations in soil moisture in North East China based on 1-km resolution downscaled passive microwave soil moisture products[J]. Sensors (Basel, Switzerland), 2019, 19(16). DOI:10.3390/s19163527

[12]
Dijk V, A. I J M, Henderson, et al. Continental satellite soil moisture data assimilation improves root-zone moisture analysis for water resources assessment[J]. Journal of Hydrology, 2014. DOI:10.1016/j.jhydrol.2014.08.008

[13]
Pablos M, Piles, María, Sánchez, Nilda, et al. Impact of day/night time land surface temperature in soil moisture disaggregation algorithms[J]. European Journal of Remote Sensing, 2016, 48:899-916. DOI:10.5721/EuJRS20164947

[14]
Bi H, Ma J, Zheng W, et al. Comparison of soil moisture in GLDAS model simulations and in situ observations over the Tibetan Plateau[J]. Journal of Geophysical Research Atmospheres, 2016, 121(6): n/a-n/a. DOI:10.1002/2015JD024131

[15]
Lu H, Koike T, Fujii H, et al. Development of a Physically-based Soil Moisture Retrieval Algorithm for Spaceborne Passive Microwave Radiometers and its Application to AMSR-E[J]. Journal of The Remote Sensing Society of Japan, 2009, 29(1):253-262. DOI:10.11440/rssj.29.253

[16]
Jackson T J, Bindlish R, Cosh M H, et al. Validation of Soil Moisture and Ocean Salinity (SMOS) Soil Moisture Over Watershed Networks in the U.S.[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011.DOI:10.1109/TGRS.2011.2168533

[17]
Aghakouchak A, Farahmand A, Melton F S, et al. Remote sensing of drought: Progress, challenges and opportunities[J]. Reviews of Geophysics, 2015,53:452-480. DOI:10.1002/2014RG000456

[18]
Brocca L, Hasenauer S, Lacava T, et al. Soil moisture estimation through ASCAT and AMSR-E sensors: An intercomparison and validation study across Europe[J]. Remote Sensing of Environment, 2011, 115(12):3390-3408. DOI:10.1016/j.rse.2011.08.003

[19]
Dorigo W A, Gruber A, Jeu R A, et al. Evaluation of the ESA CCI soil moisture product using ground-based observations[J]. Remote Sensing of Environment, 2015, 162:380-395. DOI:10.1016/j.rse.2014.07.023

[20]
Portal G, Vall-Llossera M, Piles M, et al. A spatially consistent downscaling approach for SMOS using an adaptive moving window[C]// IGARSS 2017-2017 IEEE International Geoscience and Remote Sensing Symposium.IEEE, 2017. DOI:10.1109/IGARSS.2017.8127915

[21]
Xu C, Qu J J, Hao X, et al. Downscaling of Surface Soil Moisture Retrieval by Combining MODIS/Landsat and In Situ Measurements[J]. Remote Sensing, 2018, 10:210. DOI:10.3390/rs10020210

[22]
赵伟, 文凤平, 蔡俊飞. 被动微波土壤水分遥感产品空间降尺度研究:方法、进展及挑战[J]. 遥感学报, 2022, 26(9):1699-1722.

[Zhao W, Wen F P and Cai J F. Methods, progresses, and challenges of passive microwave soil moisture spatial downscaling[J]. National Remote Sensing Bulletin, 2022, 26(9):1699-1722. DOI:10.11834/jrs.20210515.]

[23]
Srivastava P, Han D, Ramirez M, et al. Machine Learning Techniques for Downscaling SMOS Satellite Soil Moisture Using MODIS Land Surface Temperature for Hydrological Application[J]. Water Resources Management: An International Journal, Published for the European Water Resources Association (EWRA), 2013, 27(8):3127-3144. DOI:10.1007/s11269-013-0337-9

[24]
Im J, Park S, Rhee J, et al. Downscaling of AMSR-E soil moisture with MODIS products using machine learning approaches[J]. Environmental Earth Sciences, 2016, 75(15):1120. DOI:10.1007/s12665-016-5917-6

[25]
Huang S., Zhang X., Wang C, et al. Two-step fusion method for generating 1 km seamless multi-layer soil moisture with high accuracy in the Qinghai-Tibet plateau[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2023: 346-363. DOI:10.1016/j.isprsjprs.2023.02.009

[26]
Cai Y, Fan P, Lang S, et al. A. Downscaling of SMAP Soil Moisture Data by Using a Deep Belief Network[J]. Remote. Sens., 2022, 14: 5681. DOI:10.3390/rs14225681

[27]
Wang J, Liu Z, Foster I T, et al. Fast and accurate learned multiresolution dynamical downscaling for precipitation[J]. Geoscientific Model Development, 2021, 10:6355-6372. DOI:10.5194/gmd-14-6355-2021

[28]
杜晓婉, 陈曦, 郑宏伟, 等. 一种降水降尺度模型:地形约束下的条件生成对抗网络[J]. 地球信息科学学报, 2023, 25(8):1586-1600.

DOI

[Du X W, Chen X, Zheng H W. A Precipitation Downscaling Model: Conditional Generative Adversarial Networks under Terrain Constraints[J]. Journal of Geo-information Science, 2023, 25(8):1586-1600. DOI:10.12082/dqxxkx.2023.230033

[29]
Ray R L, Jacobs J M, Cosh M H. Landslide susceptibility mapping using downscaled AMSR-E soil moisture: A case study from Cleveland Corral, California, US[J]. Remote Sensing of Environment, 2010, 114(11):2624-2636.DOI:10.1016/j.rse.2010.05.033

[30]
Piles M, Sanchez N, Vall-Llossera M, et al. A downscaling approach for SMOS land observations: Evaluation of high-resolution soil moisture maps over the iberian peninsula[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2014, 7(9):3845-3857. DOI:10.1109/JSTARS.2014.2325398

[31]
Peng J, Loew A, Zhang S, et al. Spatial downscaling of satellite soil moisture data using a vegetation temperature condition index[J]. IEEE Transactions on Geoscience & Remote Sensing, 2015, 54(1):558-566.DOI:10.1109/TGRS.2015.2462074

[32]
Huete A R. A Soil-Adjusted Vegetation Index (SAVI). Remote Sensing of Environment[J]. Remote Sensing of Environment, 1988, 25:295-309. DOI:10.1016/0034-4257(88)90106-X

[33]
Li Z, Tang R, Wan Z, et al. A review of current methodologies for regional evapotranspiration estimation from remotely sensed data[J]. Sensors (Basel, Switzerland), 2009, 9:3801-3853. DOI:10.3390/s90503801

[34]
Cantón Y, Solé‐Benet A, Domingo F. Temporal and spatial patterns of soil moisture in semiarid badlands of SE Spain[J]. Journal of Hydrology, 2004, 285:199-214. DOI:10.1016/j.jhydrol.2003.08.018

[35]
Gómez-Plaza A, Martínez-Mena M, Albaladejo J, et al. Factors regulating spatial distribution of soil water content in small semiarid catchments[J]. Journal of Hydrology, 2001, 253(1):211-226. DOI:10.1016/S0022-1694(01)00483-8

[36]
Gutiérrez‐Jurado H.A, Vivoni E R, Harrison J B, et al. Ecohydrology of root zone water fluxes and soil development in complex semiarid rangelands[J]. Hydrological Processes, 2006, 20. DOI:10.1002/hyp.6333

[37]
Western A W, Grayson R B, Blöschl G, et al. Observed spatial organization of soil moisture and its relation to terrain indices[J]. Water Resources Research, 1999. DOI:10.1029/1998wr900065

[38]
Moore I D, Burch G J, Mackenzie D H. Topographic effects on the distribution of surface soil water and the location of ephemeral gullies[J]. Transactions of the Asae, 1988, 31(4):1098-1107. DOI:10.13031/2013.30829

[39]
Lundberg S M, Lee S. A Unified approach to interpreting model predictions[J]. Neural Information Processing Systems, 2017. DOI:10.5555/3295222.3295230

[40]
Breiman L. Random forests[J]. Machine Learning, 2001, 45(1):5-32. DOI:10.1023/A:1010933404324

[41]
Chen T, Guestrin C. XGBoost: A scalable tree boosting system[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016. DOI:10.1145/2939672.2939785

[42]
Chen B, Zheng H, Bao A, et al. Adaptive estimation of multi-regional soil salinization using extreme gradient boosting with Bayesian TPE optimization[J]. International Journal of Remote Sensing, 2022, 43(3):778-811.DOI:10.1080/01431161.2021.2009589

[43]
Wang L Y, Hu P, Zheng H W, et al. Integrative modeling of heterogeneous soil salinity using sparse ground samples and remote sensing images[J]. Geoderma, 2023, 430:116321 DOI:10.1016/j.geoderma.2022.116321

[44]
Xiao K, Yufeng Z. Fine-grained vehicle type detection and recognition based on dense attention network[J]. Neurocomputing, 2020, 399:247-257. DOI:10.1016/j.neucom.2020.02.101

[45]
Bo Z, Zhang H, Yong J, et al. Dense attention seg: Segment hands from interacted objects using depth input[J]. 2019. DOI:10.1016/j.asoc.2020.106297

[46]
Montzka C, Crow W, Bayat B, et al. Soil moisture product validation good practices protocol[J]. 2020.DOI:10.5067/doc/ceoswgcv/lpv/sm.001

[47]
白瑜, 孟治国, 赵凯. 像元尺度土壤水分监测网络及其对L波段土壤水分产品的初步验证结果[J]. 遥感技术与应用, 2018, 33(1):78-87.

DOI

[Bai Y, Meng Z G, Zhao K, Zheng X M, et al. Pixel-scale soil moisture monitoring network and its preliminary validation of L-band soil moisture products[J]. Remote Sensing Technology and Application, 33(1),10. DOI:10.11873/j.issn.1004-0323.2018.1.0078

[48]
孟越, 王大刚, 林泳恩. SMOS和SMAP卫星土壤水分产品的对比评价与差异分析[J]. 中山大学学报(自然科学版)(中英文), 2022, 61(5):9-21.

[Meng Y, Wang D G, Lin Y G, et al. Comparative evaluation and difference analysis of SMOS and SMAP satellite remote sensing soil moisture products[J]. Acta Scientiarum Naturalium Universitatis Sunyatseni, 2022, 61(5):9-21.DOI:10.13471/j.cnki.acta.snus.2021D049

[49]
Zheng J, Zhao T, Haishen , et al. Assessment of 24 soil moisture datasets using a new in situ network in the Shandian River Basin of China[J]. Remote Sensing of Environment, 2022, 271:112891 DOI:10.1016/j.rse.2022.112891

[50]
文凤平, 赵伟, 胡路. 耦合MODIS数据的SMAP被动微波土壤水分空间降尺度研究—以闪电河流域为例[J]. 遥感学报, 2021, 25(4):962-973.

[Wen F P, Zhao W, Hu L, et al. SMAP passive microwave soil moisture spatial downscaling based on optical remote sensing data:A case study in Shandian river basin[J]. National Remote Sensing Bulletin, 25(4):962-973. DOI:10.11834/jrs.20219393

[51]
Tavakol A, Rahmani V, Quiring S M, et al. Evaluation analysis of NASA SMAP L3 and L4 and SPoRT-LIS soil moisture data in the United States[J]. Remote Sensing of Environment, 2019, 229:234-246. DOI:10.1016/j.rse.2019.05.006

[52]
Nadeem A A, Zha Y, Shi L, et al. Multi-scale assessment of SMAP Level 3 and Level 4 soil moisture products over the soil moisture network within the ShanDian River (SMN-SDR) Basin, China[J]. Remote Sensing, 2022, 14(4):982. DOI:10.3390/rs14040982

[53]
Zhao T, Shi J, Lv L, et al. Soil moisture experiment in the Luan River supporting new satellite mission opportunities[J]. Remote Sensing of Environment, 2020, 240:111680. DOI:10.1016/j.rse.2020.111680

文章导航

/