EN中文

地球信息科学学报 >

2023 , Vol. 25 >Issue 8: 1717 - 1729

DOI: https://doi.org/10.12082/dqxxkx.2023.220866

遥感科学与应用技术

结合植被光谱特征与Sep-UNet的城市植被信息智能提取方法

  • 林娜 , 1 ,
  • 何静 , 1, * ,
  • 王斌 2 ,
  • 唐菲菲 1 ,
  • 周俊宇 1 ,
  • 郭江 1
展开
  • 1.重庆交通大学智慧城市学院，重庆 400074
  • 2.重庆市地理信息与遥感应用中心，重庆 401147
*何 静（1997— ），女，重庆人，硕士生，研究方向为遥感影像智能处理。E-mail:

林 娜（1981— ），女，湖北襄阳人，博士，副教授，主要从事遥感影像智能处理等方面的研究。E-mail:

收稿日期: 2022-11-07

  修回日期: 2023-03-28

  网络出版日期: 2023-07-14

基金资助

国家重点研发计划项目(2021YFB2600600)

国家重点研发计划项目(21YFB2600603)

教育部产学合作协同育人项目(220702313111054)

重庆市技术创新与应用发展专项重点项目(CSTB2022TIAD-CUX0016)

宁夏回族自治区重点研发计划(2022CMG02014)

收起

Intelligent Extraction of Urban Vegetation Information based on Vegetation Spectral Signature and Sep-UNet

  • LIN Na , 1 ,
  • HE Jing , 1, * ,
  • WANG Bin 2 ,
  • TANG Feifei 1 ,
  • ZHOU Junyu 1 ,
  • GUO Jiang 1
Expand
  • 1. School of Smart City, Chongqing Jiaotong University, Chongqing 400074, China
  • 2. Chongqing Geomatics and Remote Sensing Center, Chongqing 401147, China
*HE Jing, E-mail:

Received date: 2022-11-07

  Revised date: 2023-03-28

  Online published: 2023-07-14

Supported by

National Key Research and Development Program of China(2021YFB2600600)

National Key Research and Development Program of China(21YFB2600603)

Industry-University Cooperation Education Program of Ministry of Education(220702313111054)

Chongqing Technology Innovation and Application Development (Key Industry Research and Development)(CSTB2022TIAD-CUX0016)

Key R&D Program of Ningxia Hui Autonomous Region(2022CMG02014)

Fold

摘要

城市植被在城市环境中起着举足轻重的作用，高效、准确的城市被信息提取是目前亟需解决的任务之一。针对研究中U-Net网络存在的深度较浅使得植被细节特征遗漏，小数量植被样本造成网络拟合表现不佳以及大量参数导致的网络运算负担过重等问题，本文在U-Net网络的基础上，利用可分离卷积、批量标准化层、Tanh激活函数，设计提出了一种Sep-UNet网络。基于GF-1D高分遥感影像，结合Sep-UNet与植被在近红外波段上最具标志性的光谱反射特性，进行了高分遥感影像城市植被信息提取的研究。结果表明：① 标准假彩色样本集的植被提取模型精度最佳，NDVI样本集次之，真彩色波段的最差；② Sep-UNet在验证样本集中提取城市植被信息的各项精度指标(ACC：0.9576，IOU：0.8938，Recall：0.9549)均优于U-Net(ACC：0.9389，IOU：0.7593，Recall：0.9405)，且明显优于SegNet (ACC：0.8897，IOU：0.8019，Recall：0.8867)，这表明本文做出的网络优化有利于城市植被信息的提取并取得了更好的精度；③ Sep-UNet模型在公园、建筑、云雾、城郊场景的植被提取结果表示，模型在验证样本集之外的影像上同样能够很好地执行城市植被信息的提取，近红外波段的引入也使得Sep-UNet模型具备更好的迁移性和泛化性。

关键词： 高分遥感影像; 深度学习; 可分离卷积; Sep-UNet; 城市植被信息; 近红外波段; 提取

本文引用格式

林娜 , 何静 , 王斌 , 唐菲菲 , 周俊宇 , 郭江 . 结合植被光谱特征与Sep-UNet的城市植被信息智能提取方法[J]. 地球信息科学学报, 2023 , 25(8) : 1717 -1729 . DOI: 10.12082/dqxxkx.2023.220866

Abstract

Urban vegetation is an important component of urban ecosystems and plays a vital role in human settlements, urban ecology, urban planning, and sustainable development. It is urgent to develop an efficient and accurate method to achieve the intelligent extraction of urban vegetation. In view of the problems of low efficiency and strong human intervention in the extraction of urban vegetation by traditional methods, and insufficient utilization of spectral information in deep learning methods, this study focused on intelligent extraction of urban vegetation from GF-1D high resolution remote sensing images by combining the most important spectral reflection characteristics of vegetation in the Near Infrared (NIR) band and the Sep U-Net, an optimization of U-Net. The main work of this research includes: (1) we created three sample sets considering the high reflectance of vegetation in the NIR band: the true-color green space sample set (true sample set), which served as the control group, the standard false-color green space sample set (the fake sample set), and the false-color green space sample set synthesized by NDVI (NDVI sample set); (2) the Sep-UNet was optimized based on U-Net. On the basis of U-Net, Sep-UNet expanded the network receptive field and increased the network depth by increasing the number of concatenated convolutions to achieve the purpose of enhancing the network's information processing of vegetation details. The separable convolution was used to reduce the network parameters while maintaining the underlying characteristics and depth of the network, avoiding the computational burden caused by network deepening. The batch normalization layer and Tanh activation function were also used to enhance the operability and robustness of the network; (3) we extracted urban vegetation from multiple scene images. Four typical urban scenes were selected from remote sensing images outside the sample set, and models were applied to extract urban vegetation from scene images with typical urban characteristics to verify the applicability and transferability of the models. The results show that: (1) The inclusion of NIR band significantly enhanced the accuracy of urban vegetation extraction. The extraction results using standard false color sample set were the best, followed by NDVI sample set, and the extraction results using true color sample set were the worst; (2) Based on the validation sample set, the urban vegetation extraction accuracy using Sep-UNet (ACC: 0.9576, IOU: 0.8938, Recall: 0.9549) was better than that using U-Net (ACC: 0.9389, IOU: 0.7593, Recall: 0.9405), and much better than that using SegNet (ACC: 0.8897, IOU: 0.8019, Recall: 0.8867), which demonstrated that the proposed model in this paper obtained best results for extraction of urban vegetation; (3) The extraction results from multiple scene images based on Sep-UNet showed that the model can also extract urban vegetation well from images beyond the sampling area, and the inclusion of NIR band can eliminate the interference of thin clouds, mist, and buildings, making the model have good generalizability.

Key words： high resolution remote sensing image; deep learning; the separable convolution; Sep-UNet; urban vegetation information; near infrared; extraction

1 引言

城市植被是城市中生态的重要组成部分，对于人居环境、城市生态都起着举足轻重的作用。高精度植被信息的获取不仅有利于植被资源的利用和开发，还对城市生态环境评价和城市规划与可持续发展建设都有重要意义[1]，故而高效、准确且智能化的城市植被信息提取方法具有十足的科研价值和应用价值。
空间光学遥感技术的飞速发展极大地推动了对地观测系统的进步[2]，使得卫星遥感在宏观上对大区域进行连续观测具有明显优势[3]，已成为区域及全球植被信息获取的有效手段[4-5]。传统的基于遥感影像获取城市植被信息的方法大致可以分为目视解译、基于像元的分类方法[6]和面向对象的分类方法[7-8] 3种。目视解译存在着受人为干扰性强、效率低、成本高的缺点，基于像元和面向对象的分类方法通常先进行特征选择，再利用分类器进行地物分类，这类方法虽然比人工目视解译有着更高的效率和具备一定学习能力，但是面对高分遥感影像如今所呈现出的特征信息庞大且复杂的特点[9]，使得这类方法的分类结果既受到特征集优劣带来的影响，也受到分类器性能的约束，比如常用的决策树、支持向量机、随机森林等这类浅层的机器学习分类算法对于海量的特征数据就难以做到充分学习，发掘出的有用信息也有限[10]。
近年来，随着深度学习理论的提出，卷积神经网络（Convolutional Neural Networks, CNN）迎来了快速发展的时代，卷积神经网络的主要架构由输入层、卷积层、池化层、全连接层以及输出层组成[11]，拥有着强大的学习能力，能够自动从海量样本数据中学习到特征，避免了复杂的特征提取过程。因此CNN成为了基于视觉特征对图像进行分类的最为重要的深度学习算法[12]，同时也被广泛应用于遥感影像地物语义分割[13-14]、地物分类[15-16]等方面的研究。FCN（Fully Convolution Network,全卷积神经网络）[17]、U-Net[18]、SegNet[19]等一系列语义分割卷积神经网络的相继提出，也为城市植被信息的智能提取提供了更多的可行方案。研究表明，基于深度学习方法的城市植被信息提取有着精度高、成本低的优点，其提取精度较支持向量机、随机森林等浅层机器学习算法具有明显优势[20]，对于大范围的城市植被信息监测也十分有利[21]，但是上述学者在相关研究中仅采用了可见光影像数据，可见光波段的光谱信息较少难以有效区分植被信息，而植被在近红外光区上的光谱特性，可以增大植被信息与无关地物之间的差异，帮助深度学习模型更好的识别植被信息[22]。如Nezami等[23]在进行植被分类时采用了高光谱数据来构建训练集；李前景等[24]在训练集构建时用到了GF-6WFV的红边波段；Chen等[25]则在城市绿地智能制图的研究数据集中用到了Sentinel-2A的红边波段等多个光谱信息；许知宇等[26]使用了GF-2的近红外波段构建城市绿地分类的数据集；Huerta等[27]通过使用归一化差值植被指数（Normalized Difference Vegetation Index, NDVI）、增强植被指数2(Two-band Enhanced Vegetation Index，EVI2)、归一化水体指数（Normalized Difference Water Index，NDWI）等多种植被指数与近红外、红、绿、蓝波段进行多种搭配组合构建不同数据集进行研究。上述多位学者的结果表明在数据集中引入红边波段或相关植被指数能够进一步提升植被覆被信息提取的精准度。但是也存在着对于拥有不同编码器的网络，其适配的最优的波段组合也各不相同的问题[27]。面对城市植被覆被的边缘不规则、形状复杂、大小不一、分布零散等特点，研究者往往通过优化深度学习网络的编码器来达到获取更佳精度的目的：在编码器中使用的空洞空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模块能有效整合模型学习到的上下文语义信息[20]，但ASPP过大的空洞率会造成细节的丢失；或者通过增加残差网络模块来增加网络深度，以获得更高的城市植被提取精度[21,27]，但这样的改动又会增加网络参数，给网络运行带来计算负担。
基于上述讨论，为了能获取更高精度，又能保证网络具备深层特征学习能力与运行稳定性和可行性的同时减少网络参数带来的计算负担，本文基于U-Net优化得到Sep-UNet网络，以更高效率和更高准确率为目标，结合了植被在近红外光区展现出的高反射率特性，分别制作真彩色样本集、标准假彩色样本集和NDVI (Normalized Difference Vegetation Index，归一化差值植被指数)合成的假彩色样本集进行城市植被信息智能提取研究。以期获得更加高效、准确和智能化的城市植被信息提取模型，能为相关研究和城市规划提供具有参考价值的植被信息。

2 基于Sep-UNet的城市植被信息提取

2.1 城市植被信息智能提取技术流程

本文在U-Net网络结构的基础上提出一种基于Sep-UNet网络的GF-1D城市植被信息提取框架，该提取框架结构主要分为3部分，分别是植被样本数据制作、模型训练和模型多场景应用，本文研究路线如图1所示。
图1 研究路线

Fig. 1 The roadmap of research

2.2 Sep-UNet网络

U-Net网络的提出可以追溯到2015年，是Ronneberger等[18]基于FCN提出的一种改进网络，因其结构似字母U，故而得名U-Net。与其他语义分割网络相比，U-Net最大的优势体现在其对称的编码-解码结构以及跳跃连接：对称的编码器与解码器能够很好地将图片进行卷积学习缩小后，再通过解码器部分的上采样操作恢复图片尺寸与信息；而跳跃连接则为模型训练过程提供的多种尺度下不同特征的融合，从而提升图片语义分割的能力。本研究在U-Net网络的基础上，针对网络在小数量城市植被样本集训练过程中的拟合表现和精度变化，对网络做出进一步优化，提出了Sep-UNet网络（图2），以提升网络模型在城市植被样本集中的泛化表现和可迁移性。Sep-UNet中的Sep来源于Separable和Septal：① 指在网络结构中引入了可分离卷积（Separable Convolution）；② 指Septal中隔、间隔的含义，体现了Sep-UNet网络中拥有可分离卷积层的层级与普通卷积组成的层级、批量标准化层与卷积层都是交替排列组成。
图2 Sep-UNet网络结构

Fig. 2 The structure of Sep-UNet network

Sep-UNet的设计主要集中在对编码器部分的优化上，基于城市植被分布的形态特点，主要通过增加网络深度来达到提升植被提取精度的目的。在原U-Net网络的基础上，对每一层级的编码器增加了卷积的串联数量，加深了网络卷积计算的深度，同时多个卷积的串联使得每一层级卷积计算的感受野得到扩大可以更好地学习到全局语义信息，但同时也增加了网络的参数数量，增加了网络运行的计算负担。针对这个问题，本文引入了可分离卷积[28]，可分离卷积的参数更少，可以轻量化网络的骨架，但也会带有一定的细节遗漏风险，因此将其从第二层级开始布设，使网络能够在第一层级中以普通卷积计算方式更多的保留城市植被的低层特征，减少可分离卷积带来的细节的遗漏和损失，经过研究最终将可分离卷积布设于网络的第二和第四层级，以达到既能增加网络深度和减少计算参数（表1），还能保留网络对于城市植被细节的提取和识别能力的目的。此外，由于本研究采用的样本集数量较少，容易导致U-Net在模型训练过程中拟合表现不佳，所以Sep-UNet还在U-Net网络的基础上，在每个卷积层后面加入了批量标准化层[29]（Batch Normalizatioin，BN），规范每次卷积计算的输入与输出，帮助模型训练过程的梯度传播，保证模型训练的稳定性，并且使用Tanh激活函数替换原U-Net网络中那个的Relu[30]激活函数，帮助网络更好的收敛和拟合。
表1 U-Net与Sep-UNet参数对比

Tab. 1 Parameter comparison between U-Net and Sep-UNet

网络模型 下采样卷积层数/个 网络参数总数量/个
U-Net 10 31 379 010
Sep-UNet 15 18 890 626

2.3 精度评定指标

为了量化模型对影像的分类精度，采用准确率（Accuracy，ACC）、交并比（Intersection over Union，IOU）、召回率（Recall）以及通过交叉熵损失函数计算得到的损失值（Loss）作为指标来评定影像分类精度。
其中ACC表示模型提取结果中为预测正确的像元数量与样本的像元总数的比值，其计算公式如下：
A C C = T P + T N T P + T N + F P + F N
IOU是一个关于模型正确预测植被的像元数量与预测为植被和实际为植被的像元总数量的比值，其计算公式如下：
I O U = T P T P + F P + F N
Recall表示正确预测为植被的像元数量与样本中所有实际为植被的像元数量的比值，计算公式如下：
R e c a l l = T P T P + F N
式中：TP表示样本的真实类别为植被且模型识别结果也是植被的像元数量；FN表示样本的真实别类为植被，但模型识别结果为非植被的像元数量；FP表示样本真实的类别为非植被，但模型识别结果为植被的像元数量；TN表示样本的真实类别为非植被且模型的识别结果也为非植被的像元数量。

2.4 模型训练环境

本研究采用TensorFlow框架搭建SegNet、U-Net、以及Sep-UNet网络并进行模型训练。实验所用主要硬件配置有Inter Core i9-10900F的CPU和NVIDIA GeForce RTX2060，12 GB显存的GPU。
模型训练所用植被样本集由1 613组训练集和403组验证集共同组成，植被样本集中影像和标签的大小均为256像元×256像元，训练设置初始学习率（Learning Rate）为0.001，批大小（Batch Size）为4，迭代次数（Epoch）为200。其中学习率决定了算法每次迭代过程的参数更新步长，帮助模型梯度下降直到最佳；批大小表示在一次迭代中，用于更新权值的样本数量；迭代次数表示将训练集样本完整训练的次数。

3 研究区概况与数据来源

3.1 研究区概况

重庆市中心城区地处中国内陆西南，属亚热带季风性湿润气候，坐落于缙云山、中梁山、铜锣山和明月山四座南北贯通的山脉之间，长江和嘉陵江从东至西交汇贯通，形成渝中半岛，造就了重庆市中心城区“一岛、两江、三谷、四脉”的自然山水格局和独特的山地城市环境。独特的地形环境使得重庆市高楼密集，且建筑物随山势起伏而高低错落，城市中的植被夹杂其中分布零散，在此地形和气候的共同作用下，重庆市中心城区常年为云雾笼罩，地形因素与云雾都为基于遥感影像的城市植被信息提取增大了难度。本文选择重庆市中心城区为研究区域，围绕山地城市下具备的特征场景展开研究分析。
本文以国产GF-1D卫星多光谱影像为主要研究数据，影像成像时间均在2021年9月，云量均低于5%。影像数据包括2 m分辨率的全色影像和 8 m分辨率的多光谱影像，通过辐射定标、大气校正、正射校正、影像融合等预处理，合成2 m空间分辨率的多光谱影像。预处理后的遥感影像DN(Digital Number)值量化深度为16 bit，影像DN值范围为0~65 535。

3.2 城市植被样本集构建

城市植被样本集是由一组对应的影像和标签共同组成，用来进行模型的训练和验证并计算模型分类的精度，本研究通过人工目视解译的方式进行植被样本集标签的制作和建立：首先，结合GF-1D影像与Google高分影像，利用ArcGIS进行人工目视解译，勾绘出实验区域内植被的矢量边界；然后结合实地踏勘（图3），对城市植被的矢量边界进行修改更正；最后将结果以栅格图像的形式导出，作为地表真实的标签数据，其中1代表城市植被，0代表其他地物背景。
图3 实地踏勘相关照片展示

Fig. 3 The display of photos related to field survey

由于绿色植被中大量光合色素的存在，使得绿色植被的反射光谱曲线在近红外光区整体具有较高反射率的平台[31]，形成植被标志性的光谱特征，在标准假彩色的影像下，植被也尤为突出，因此本研究采用NIR、R和G 3个波段合成的标准假彩色影像植被样本集（后称为Fake样本集，图4（c））。 归一化差值植被指数（Normalized Difference Vegetation Index, NDVI）有效地整合了植被近红外和红光波段中的光谱信息，能进一步增强植被与非植被区域之间的差距[32]，也常被用做区分植被区域和非植被区域的主要研究参数[33]，所以NDVI也被用来与R、G波段合成假彩色的植被样本集（后称为NDVI样本集，图4（d））。最后，利用R、G、B三波段合成真彩色样本集（后称为True样本集，图4（b））作为研究对照组，分别进行模型训练和场景应用，进行对比分析。
图4 样本集展示

Fig. 4 The display of sample set

3种植被样本集经过同样的数据增强手段，分别按同等比例分配训练集和验证集，最终每种植被样本集各自拥有1 613组训练集数据和403组验证集数据，如图4所示，其中标签内的白色区域表示植被，黑色表示非植被区域。

3.3 多场景影像

为了验证训练所得模型的迁移性和泛化能力，本研究从植被样本之外的影像中裁剪出4个 1 000像元×1 000像元大小，且具有典型山地城市场景特点的区块进行植被提取，并进行分析。由于遥感影像的DN值在大气校正后经过偏移和增益参数的校正会发生改变，如果影像不经过预处理就会使得遥感影像地物的光谱反射值受到大气和光照的影响，呈现出错误的光谱反射值，从而对提取结果产生一定的影响，所以4个场景区块的来源影像也需要进行辐射定标、大气校正、正射校正和图像融合等影像预处理工作。
4个场景区块如上图5所示：① 具有薄云雾覆盖的影像，重庆作为著名的“雾都”，其遥感影像中长期伴随有云雾遮挡，使用具有薄云雾覆盖的影像可以探究模型在薄云遮挡下城市植被信息的提取的迁移性，因其场景内主要的干扰元素来源于云雾，因此命名为云雾（图5（a））；② 位于城区中心位置，具有密集高楼以及低层洋房错杂分布的复杂场景，其间植被信息分布零散琐碎，用于探究模型对建筑间隙中细碎植被的提取效果，因其区块内的主要干扰地物为建筑，因此命名为建筑（图5（b））； ③ 城郊（图5（c）），其地理位置处于城市边缘，其间房屋、厂房与耕地道路错乱交杂，植被分布杂乱破碎，考验模型在复杂背景下的植被提取能力；④ 公园（图5（d））代表城市中的公园植被，公园中的植被分布集中，面积较大且存在湖水干扰，排除湖水干扰实现对大面积植被的完整提取对于模型来说也十分重要。
图5 多场景影像展示

Fig. 5 The display of multiple scene images

4 结果与分析

为了体现Sep-UNet在植被提取中的优势，本文使用了其他2种深度学习网络SegNet和U-Net及传统方法中基于归一化差值植被指数NDVI的提取方法与本文的Sep-UNet进行对比。

4.1 城市植被信息提取结果及对比

4.1.1 城市植被验证样本集提取结果

将城市植被验证样本集中的影像输入到图1中网络训练得到的9个模型中进行影像的城市植被信息提取，得到的结果如表2所示，其中白色区域表示植被，黑色区域表示非植被区域。
表2 验证样本集城市植被信息提取结果

Tab. 2 The urban vegetation information extraction results of validation sample set

方法 Fake样本集 NDVI样本集 True样本集
区块1 区块2 区块1 区块2 区块1 区块2
原始影像
标签
SegNet
U-Net
Sep-UNet

注：白色区域为植被区域，黑色为非植被区域。

从验证集提取结果中可以看出，SegNet网络模型提取出来的整体效果最差，植被边界难以贴合实际，错提和漏提现象十分明显。U-Net与Sep-UNet网络模型的城市植被信息的提取效果明显优于SegNet，都能很好地完成绝大部分植被区域的提取，二者之间的具体差距表现在对细小植被的提取上。在区块1的影像中，对于道路两旁的细小长条状植被，Sep-UNet网络模型能很好的识别并完成提取，这一点上U-Net各个样本集的模型表现都稍逊一筹。此外，从不同验证样本集的角度来看，True样本集对于城市植被的提取结果具有更明显的错提现象，如2个区块中的操场，True样本集在提取过程中将塑料草坪都错分为植被，而其余2种引入植被光谱特征的样本集则避免了这样的错误。

4.1.2 城市植被智能提取模型精度对比分析

将3套城市植被训练样本集数据分别输入到SegNet、U-Net和Sep-UNet网络中，通过200次迭代来训练模型，并对每次迭代的精度值和损失值进行输出并绘制出精度曲线图，精度变化曲线图可以从宏观层面展示网络的拟合过程的变化。
图6所示为各模型训练的精度变化曲线图，从各精度曲线变化图中可以看出，在同一网络下，各模型都呈现出相似的精度变化趋势。① 对于SegNet，3套植被样本集的模型拟合过程中都出现了较为明显的震荡，且Loss曲线都呈现出先下降后上升的走向；② 对于U-Net模型，3套植被样本集在模型训练过程中都表现出精度在前几十个批次中都呈现出稳定无明显变化的状态，随后Loss曲线剧烈下降，其余精度值曲线急剧上升，并在不断震荡中逐渐达到拟合状态；③ 相较于前两种网络，本文提出的Sep-UNet在模型训练过程中模型拟合曲线更加平滑，模型精度在前期上升速度也更快，在拟合过程中，精度变化更均匀，曲线也更为平滑。
图6 模型训练精度变化曲线对比

Fig. 6 The comparison of the training accuracy curve of the model

将验证集影像和标签输入到模型中，完成城市植被的提取并进行精度计算，最终得到如表3所示精度值。提取精度显示，对于本文涉及的3种方法而言，SegNet提取精度最差、U-Net次之，Sep-UNet提取精度最高，其中Sep-UNet的ACC与Recall两项精度指标较U-Net网络有小幅度提升，IOU指标上体现出较大幅度增长。
表3 模型精度对比

Tab. 3 The comparison of model accuracy

网络模型 Fake NDVI True
ACC IOU Recall ACC IOU Recall ACC IOU Recall
SegNet 0.889 7 0.801 9 0.886 7 0.892 6 0.566 4 0.888 7 0.860 3 0.557 9 0.857 3
U-Net 0.938 9 0.759 3 0.940 5 0.937 3 0.781 8 0.935 7 0.919 7 0.811 8 0.918 9
Sep-UNet 0.957 6 0.893 8 0.954 9 0.956 5 0.886 3 0.956 1 0.940 8 0.868 1 0.941 1

4.1.3 城市植被提取模型的效率对比

通过在模型训练过程中对ACC指标的追踪，获取了ACC最优的模型及其出现的迭代次数，如表4所示，展示了Fake样本集下3种网络获得最优模型的时间效率，其中Sep-UNet获取最佳模型的迭代次数最少，耗费总时间也是最短。
表4 模型效率对比

Tab. 4 The comparison of model efficiency

网络模型 单次迭代时间/（s/次） 迭代次数/次 总时间/s
SegNet 111 168 18 648
U-Net 102 152 15 504
Sep-UNet 113 124 14 012
虽然对U-Net做出优化后，Sep-UNet的单次迭代所用时间增加了很多，但是获取最优模型所需的迭代次数却变得更少，较U-Net下降约18%，在总时间的消耗上Sep-UNet较U-Net也出现了下降，下降幅度约为U-Net的9.6%。

4.2 基于NDVI的城市植被提取

基于NDVI的城市植被提取是指仅通过归一化植被指数NDVI的计算值来构建植被分类的规则，从而实现对城市植被信息的提取。为了便于与深度学习方法进行对比，本文通过混淆矩阵计算了ACC、IOU、Recall 3项精度指标。图7所示为真值图、NDVI提取结果与Sep-UNet最佳模型的植被提取结果之间的对比，本文最佳模型为Fake样本集基于Sep-UNet网络训练得到。
图7 城市植被提取结果对比

Fig. 7 The comparison of urban vegetation extraction results

从图7中可以看出，基于NDVI的城市植被提取结果较为粗糙，植被边缘呈锯齿状，植被的错误提取较多，与本文的最佳结果之间也有不小的差异，与真值之间也有明显区别。相比之下，本文最佳结果更为贴近地表真值。通过计算精度指标，基于NDVI的城市植被提取的ACC为0.826 6，IOU为0.604 1，Recall为0.807 9，本文最佳模型的精度较NDVI提取方法的ACC提升了0.131 0，IOU提高了0.289 7，Recall提升了0.147 0。总的来说，由于遥感影像中地物存在着同物异谱、异物同谱的现象，使得仅通过NDVI进行植被提取的结果并不理想。往往需要通过多个波段信息的组合，来进一步加强模型对植被与非植被的区分能力，提升分类精度[34]。

4.3 城市植被智能提取模型的场景应用提取结果

表5为四大场景的提取结果，可以看出，由于植被在近红外光区的高反射率特性，以及水体在近红外光区呈现出高吸收特性，使得近红外波段的引入能够明显提升模型对水体的抗干扰性，减少错误提取的现象发生。在薄云薄雾覆盖的场景下，云雾对波段的影响受到大气校正的削弱，同时近红外波段的引入使得植被与背景之间的差异增大，凸显了植被特征，模型也能更好地学习到植被特征完成植被的提取，近红外波段的引入使得城市植被的提取结果明显优于True样本集训练得到的模型。此外，从4个场景可以看出，对于植被分布面积较大，整体性强的场景，模型的提取精度更佳，而对于城郊场景，杂乱的背景给模型的植被识别增加了难度，使得模型精度出现了小幅度下滑。从表6中的提取精度中可以看出，Fake样本集训练得到的模型提取效果最佳，NDVI样本集的模型次之，True样本集的模型提取结果最差。
表5 Sep-UNet模型的多场景提取结果

Tab. 5 Extraction Results of Sep-UNet Model in multiple scene images

云雾 建筑 城郊 公园
标准假彩色影像
各样本集
模的提取
结果		 Fake样本集
NDVI样本集
True样本集

注：提取结果中白色区域为植被区域，黑色区域为非植被区域。

表6 Sep-UNet模型的多场景提取精度

Tab. 6 Extraction precision of Sep-UNet model in multiple scene images

场景 Fake样本集 NDVI样本集 True样本集
云雾 建筑 城郊 公园 云雾 建筑 城郊 公园 云雾 建筑 城郊 公园
ACC 0.942 3 0.941 2 0.905 5 0.951 6 0.938 8 0.940 6 0.886 7 0.937 2 0.891 2 0.923 9 0.861 3 0.907 9
IOU 0.900 1 0.886 7 0.867 7 0.913 0 0.889 5 0.887 1 0.855 5 0.891 5 0.819 6 0.851 5 0.792 2 0.856 7
Recall 0.941 5 0.941 5 0.889 6 0.955 1 0.937 4 0.938 8 0.884 4 0.923 9 0.889 8 0.919 8 0.866 6 0.884 1

5 讨论

本文利用Sep-UNet结合植被的光谱反射特征进行了城市植被的提取，并通过多场景影像的应用验证了该方法的优势和可行性。对研究结果进行了分析讨论：
（1）近红外波段的加入使得植被提取模型有更好的表现，这一点与Huerta等[27]基于ResNet34获取城市植被信息的部分研究结果具有相似性，即具有近红外波段信息的样本集训练出了具有更好表现的城市植被提取模型。并且，本文结果中Fake样本集的提取结果略优于NDVI样本集的提取结果，其主要原因是一些低植被覆盖度区域与受到云雾等遮挡的植被区域的光谱特征有些许不同，具体表现为在近红外波段上的反射率与红色波段上的反射率差值较正常值要小，使得其NDVI的数值小于植被识别的阈值，导致模型对此类区域的植被产生了漏提。
（2）Sep-UNet基于U-Net进行的优化措施是有利于城市植被提取的。与U-Net相比，Sep-UNet在结构上具有更深的卷积计算深度，可以帮助网络充分学习城市植被从低层到高层的特征，能更好地识别植被，提高网络对于植被细节信息的保留效果，并且通过可分离卷积的合理排列，使得Sep-UNet在保留上述优势的同时，还能进一步减少网络参数，减轻网络运行负担。BN层的加入和Tanh激活函数的更换则更好地帮助网络收敛和拟合，提升了网络在城市植被提取过程中的稳定性和可靠性。本研究中Sep-UNet比U-Net在城市植被的提取中有着更好的表现。
（3）本研究使用的是人工目视解译的自制植被样本集数据，其中难免存在一定的人工误差，不能保证样本集的对象选取完全贴合地表真值，这会对模型精度产生一定的影响，因此，样本集的质量不同也会导致Sep-UNet的模型精度会产生不同差异。同时，因为深度学习模型的训练需要大量的样本数据集，所以样本集的数量不同、包含的植被覆被类型不同也会对模型的精度造成一定的影响。
（4）不同城市特征下的城郊环境复杂且差异性也较大，本文上述所使用的城郊场景只能表示城郊中的部分环境特征，与其他3种场景下的影像相比城郊场景缺乏严格的代表性，因此城郊场景下的提取结果及结论只具备一定的参考价值。

6 结论

本文以语义分割网络U-Net为基础，利用可分离卷积、Tanh激活函数和BN层对U-Net进行优化，提出了Sep-Unet，并结合植被在近红外波段上的波谱反射特性，进行了城市植被智能提取方法研究。研究结果表明：
（1）近红外波段的加入使得植被提取模型的精度有所提升，验证样本集提取结果和多场景的模型应用提取精度都表明：Fake样本集下的城市植被提取模型为本文最佳。同时，Sep-UNet较U-Net进一步提升了城市植被的提取精度和效率。Fake样本集下Sep-UNet的各项精度ACC、IOU和Recall较U-Net分别提升了1.87%、10.46%和1.44%；效率上，通过对训练模型ACC的追踪，Fake样本集下Sep-UNet获取ACC最佳模型的耗费时间较U-Net下降约9.6%。
（2）目前研究仍存在一定的不足之处：对于其他地物之间的超细小的植被仍旧存在漏提的现象，可能是随着采样深度的加深，使得超细小的植被信息在下采样的池化过程中不断丢失，进而不能被模型正确判断并识别；此外，对于遥感影像上，建筑物等产生的阴影所遮盖的植被在研究中也无法做出准确的判断和提取，这些问题都有待在未来的研究中做出进一步改进。
综上可知，Sep-UNet基于Fake样本集训练得到的城市植被信息提取模型为本文最佳，可以对建筑、公园、城郊和云雾遮挡的城市场景进行较为准确的城市植被信息提取，具备一定的可迁移性和普适性，能够执行城市植被的智能化提取的工作，并为城市规划建设与研究需求提供一定的数据参考。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
郭逸飞, 吴田军, 骆剑承, 等. 基于不确定性迭代优化的山地植被遥感制图[J]. 地球信息科学学报, 2022, 24(7):1406-1419.

DOI

[Guo Y F, Wu T J, Luo J C, et al. Remote sensing mapping of mountain vegetation via uncertainty-based iterative optimization[J]. Journal of Geo-information Science, 2022, 24(7):1406-1419.] DOI:10.12082/dqxxkx.2022.210594

DOI

[2]
王小勇. 空间光学技术发展与展望[J]. 航天返回与遥感, 2018, 39(4):79-86.

[Wang X Y. Development and prospect of space optical technology[J]. Spacecraft Recovery & Remote Sensing, 2018, 39(4):79-86.] DOI:10.3969/j.issn.1009-8518.2018.04.010

DOI

[3]
陈阳, 赵俊三, 陈应跃. 基于ENVI的高分辨率遥感影像城市绿地信息提取研究[J]. 测绘工程, 2015, 24(4):33-36.

[Chen Y, Zhao J S, Chen Y Y. ENVI based urban green space information extraction with high resolution remote sensing data[J]. Engineering of Surveying and Mapping, 2015, 24(4):33-36.] DOI:10.19349/j.cnki.issn1006-7949.2015.04.008

DOI

[4]
Zhu X L, Liu D S. Improving forest aboveground biomass estimation using seasonal Landsat NDVI time-series[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 102:222-231. DOI:10.1016/j.isprsjprs.2014.08.014

DOI

[5]
Yang L Q, Jia K, Liang S L, et al. A robust algorithm for estimating surface fractional vegetation cover from landsat data[J]. Remote Sensing, 2017, 9(8):857. DOI:10.3390/rs9080857

DOI

[6]
徐建辉, 苏娅. 高分辨率遥感影像在城市绿地信息提取中的应用研究[J]. 资源开发与市场, 2010, 26(4):291-293,288.

[Xu J H, Su Y. Study of urban green space surveying based on high resolution images of remote sensing[J]. Resource Development & Market, 2010, 26(4):291-293,288.] DOI:10.3969/j.issn.1005-8141.2010.04.001

DOI

[7]
陈仁喜, 王成芳. 城市高分辨率影像绿地植被识别研究进展[J]. 遥感信息, 2013, 28(3):119-125.

[Chen R X, Wang C H. Review on greenland recognition from urban high-resolution satellite imagery[J]. Remote Sensing Information, 2013, 28(3):119-125.] DOI:10.3969/j.issn.1000-3177.2013.03.021

DOI

[8]
杨柳, 陈延辉, 岳德鹏, 等. 无人机遥感影像的城市绿地信息提取[J]. 测绘科学, 2017, 42(2):59-64.

[Yang L, Chen Y H, Yue D P, et al. Information extraction of urban green space based on UAV remote sensing image[J]. Science of Surveying and Mapping, 2017, 42(2):59-64.] DOI:10.16251/j.cnki.1009-2307.2017.02.012

DOI

[9]
李德仁, 童庆禧, 李荣兴, 等. 高分辨率对地观测的若干前沿科学问题[J]. 中国科学:地球科学, 2012, 42(06):805-813.

[Li D R, Tong Q X, Li R X, et al. Some frontier scientific problems of high-resolution earth observation[J]. Scientia Sinica (Terrae), 2012, 42(6):805-813.] DOI:10.1007/s11430-012-4445-9

DOI

[10]
杨惠雯. 基于深度特征学习的高分辨率遥感影像分类[D]. 北京: 中国科学院大学, 2018.

[Yang H W. High Resolution remote sensing imagery classification based on deep learning[D]. Bei Jing: University of Chinese Academy of Sciences, 2018.]

[11]
周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6):1229-1251.

[Zhou F Y, Jin L P, Dong J. Review of Convolutional Neural Network[J]. Chinese Journal of Computers, 2017, 40(6):1229-1251.] DOI:10.11897/SP.J.1016.2017.01229

DOI

[12]
Kohzadi M, Chegeni. Convolution-layer parameters optimization in Convolutional Neural Networks[J]. Knowledge-Based Systems, 2023, 261:110210. DOI:10.1016/j.knosys.2022.110210

DOI

[13]
Liu Luo, Huang, et al. DE-Net: deep encoding network for building extraction from high-resolution remote sensing imagery[J]. Remote Sensing, 2019, 11(20):2380. DOI: 10.3390/rs11202380

DOI

[14]
张华, 郑祥成, 郑南山, 等. 基于MAEU-CNN的高分辨率遥感影像建筑物提取[J]. 地球信息科学学报, 2022, 24(6):1189-1203.

DOI

[Zhang H, Zheng X C, Zheng N S, et al. Building extraction from high spatial resolution imagery based on MAEU-CNN[J]. Journal of Geo-information Science, 2022, 24(6):1189-1203.] DOI:10.12082/dqxxkx.2022.210727

DOI

[15]
Helber P, Bischke B, Dengel A, et al. Introducing eurosat: a novel dataset and deep learning benchmark for land use and land cover classification[C]// IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. IEEE, 2018:204-207. DOI:10.1109/IGARSS.2018.8519248

DOI

[16]
林禹, 赵泉华, 李玉. 一种基于深度传递迁移学习的遥感影像分类方法[J]. 地球信息科学学报, 2022, 24(3):495-507.

DOI

[Lin Y, Zhao Q H, Li Y. A Remote sensing image classification method based on deep transitive transfer learning[J]. Journal of Geo-information Science, 2022, 24(3):495-507.] DOI:10.12082/dqxxkx.2022.210428

DOI

[17]
Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017, 39(4):640-651. DOI:10.1109/TPAMI.2016.2572683

DOI PMID

[18]
Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[M]// Lecture Notes in Computer Science. Cham: Springer International Publishing, 2015:234-241. DOI:10.1007/978-3-319-24574-4_28

DOI

[19]
Badrinarayanan V, Kendall A, Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12):2481-2495. DOI:10.1109/TPAMI.2016.2644615

DOI PMID

[20]
Liu W Y, Yue A Z, Shi W H, et al. An automatic extraction architecture of urban green space based on DeepLabv3plus semantic segmentation model[C]// 2019 IEEE 4th International Conference on Image, Vision and Computing (ICIVC). IEEE, 2020:311-315. DOI:10.1109/ICIVC47709.2019.8981007

DOI

[21]
Men G Q, He G J, Wang G Z. Concatenated residual attention UNet for semantic segmentation of urban green space[J]. Forests. 2021, 12(11): 1441. DOI:10.3390/f12111441

DOI

[22]
许明珠, 徐浩, 孔鹏. 结合植被指数和卷积神经网络的遥感植被分类方法[J]. 激光与光电子学进展, 2022, 59(24):273-285.

[Xu M Z, Xu H, Kong P, et al. Remote sensing vegetation classification method based on vegetation index and Convolution Neural Network[J]. Laser & Optoelectronics Progress, 2022, 59(24):273-285.] DOI:10.3788/LOP202259.2428005

DOI

[23]
Nezami S, Khoramshahi E, Nevalainen O, et al. Tree species classification of drone hyperspectral and RGB imagery with deep learning Convolutional Neural Networks[J]. Remote Sensing, 2020, 12(7): 1070. DOI:10.3390/rs12071070

DOI

[24]
李前景, 刘珺, 米晓飞. 面向对象与卷积神经网络模型的GF-6 WFV影像作物分类[J]. 遥感学报, 2021, 25(2):549-558.

[Li Q J, Liu J, Mi X F, et al. Object-oriented crop classification for GF-6 WFV remote sensing images based on Convolutional Neural Network[J]. National Remote Sensing Bulletin, 2021, 25(2):549-558.] DOI:10.11834/jrs.20219347

DOI

[25]
Chen Y, Weng Q, Tang L, et al.. Automatic mapping of urban green spaces using a geospatial neural network[J]. GIScience & Remote Sensing, 2021, 58(4):624-642. DOI: 10.1080/15481603.2021.1933367

DOI

[26]
徐知宇, 周艺, 王世新. 面向GF-2遥感影像的U-Net城市绿地分类[J]. 中国图象图形学报, 2021, 26(3):700-713.

[Xu Z, Zhou Y, Wang S X, et al. U-Net for urban green space classification in Gaofen-2 remote sensing images[J]. Journal of Image and Graphics, 2021, 26(3):700-713.]. DOI: 10.11834/jig.200052.

DOI

[27]
Huerta R E, Yépez F D, Lozano G D F. et al. Mapping urban green spaces at the metropolitan level using very high resolution satellite imagery and deep learning techniques for semantic segmentation[J]. Remote Sensing, 2021, 13(11):2031. DOI:10.3390/rs13112031

DOI

[28]
Chollet F. Xception: Deep learning with depthwise separable convolutions[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017:1800- 1807. DOI:10.1109/CVPR.2017.195

DOI

[29]
Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing Iinternal covariate Shift[J]. JMLR.org, 2015. DOI:10.48550/arXiv.1502.03167

DOI

[30]
Maas A L, Hannun A Y, NG A Y. Rectifier nonlinearitiesimprove neural network acoustic models[C]// Deep Learning Workshop 2013: ICML 2013 Workshop on Deep Learning for Audio, Speech, and Language Processing. 2013:456-462.

[31]
谢东津, 吕呈龙, 祖梅, 等. 绿色植被可见-近红外反射光谱模拟材料研究进展[J]. 光谱学与光谱分析, 2021, 41(4):1032-1038.

[Xie D J, Lv C L, Zu M, et al. Research progress of bionic materials simulating vegetation visible-near infrared reflectance spectra[J]. Spectroscopy and Spectral Analysis, 2021, 41(4):1032-1038.] DOI:10.3964/j.issn.1000-0593(2021)04-1032-07

DOI

[32]
虞佳佳, 姬旭升, 李晓丽. 基于多/高光谱影像的农作物叶片像素自动提取方法[J]. 农业机械学报, 2022, 53(8):240-249.

[Yu J J, Ji S X, Li X L, et al. Automatic extraction method of crop leaves from complex background based on multi/hyperspectral imaging[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(8):240-249.] DOI:10.6041/j.issn.1000-1298.2022.08.025

DOI

[33]
Tang L, He M Z, Li X R. Verification of fractional vegetation coverage and NDVI of desert vegetation via UAVRS technology[J]. Remote Sensing, 2020, 12(11):1742. DOI: 10.3390/RS12111742

DOI

[34]
姚静, 武文波, 康停军. 基于TM影像的城市绿地信息提取方法研究[J]. 测绘科学, 2010, 35(1):113-115.

[Yao J, Wu W B, Kang T J. Extraction method of urban vegetation information based on TM image[J]. Science of Surveying and Mapping, 2010, 35(1):113-115.] DOI:10.16251/j.cnki.1009-2307.2010.01.066

DOI

Options
文章导航

/

〈 〉