EN中文

地球信息科学学报 >

2020 , Vol. 22 >Issue 8: 1702 - 1713

DOI: https://doi.org/10.12082/dqxxkx.2020.200086

遥感科学与应用技术

机载多光谱影像语义分割模型在农田防护林提取中的应用

  • 王学文 , 1, 2 ,
  • 赵庆展 , 1, 2, * ,
  • 韩峰 1, 2 ,
  • 马永建 1, 2 ,
  • 龙翔 2, 3 ,
  • 江萍 2, 3
展开
  • 1.石河子大学信息科学与技术学院,石河子 832003
  • 2.兵团空间信息工程技术研究中心,石河子 832003
  • 3.石河子大学机械电气工程学院,石河子 832003
*赵庆展（1972— ）,男,河南南阳人,教授,主要从事农业信息化、空间信息系统集成与服务研究。 E-mail:

王学文（1996— ）,男,江苏南通人,硕士生,主要从事农业信息化技术及应用、深度学习与遥感影像处理研究。 E-mail:

收稿日期: 2020-02-23

  要求修回日期: 2020-03-25

  网络出版日期: 2020-10-25

基金资助

新疆生产建设兵团科技计划项目(2017DB005)

兵团空间信息工程技术研究中心创建项目(2016BA001)

中央引导地方科技发展专项资金项目(201610011)

版权

版权所有，未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
收起

Application of Airborne Multispectral Image Semantic Segmentation Model in Farmland Shelterbelt Extraction

  • WANG Xuewen , 1, 2 ,
  • ZHAO Qingzhan , 1, 2, * ,
  • HAN Feng 1, 2 ,
  • MA Yongjian 1, 2 ,
  • LONG Xiang 2, 3 ,
  • JIANG Ping 2, 3
Expand
  • 1. College of Information Science & Technology, Shihezi University, Shihezi 832003, China
  • 2. Geospatial Information Engineering Research Center, Xinjiang Production and Construction Corps, Shihezi 832003, China
  • 3. College of Mechanical and Electrical Engineering, Shihezi University, Shihezi 832003, China
*ZHAO Qingzhan, E-mail:

Received date: 2020-02-23

  Request revised date: 2020-03-25

  Online published: 2020-10-25

Supported by

Xinjiang Production and Construction Corps Science and Technology Project(2017DB005)

Geospatial Information Engineering Research Center To Create, Xin-jiang Production and Construction Corps(2016BA001)

The Central Government Directs Local Science and Technology Development Special Funds(201610011)

Copyright

Copyright reserved © 2020
Fold

摘要

农田防护林是农田生态系统的屏障,其健康状况的监测与评估在我国北方农田林网管理中尤为重要。本文以新疆生产建设兵团第三师51团为研究区,使用复合翼无人机CW-20搭载Micro MCA12 Snap多光谱相机获取农田防护林的多光谱影像,经辐射校正、裁剪等预处理,通过优选有效特征和模型比较,提出农田防护林提取的有效方法。首先,基于原始12波段,依据相关性系数矩阵和最佳指数因子（Optimum Index Factor,OIF）选取最优3波段和植被指数特征进行组合,构建8种农田防护林提取方案;然后,通过建立语义分割Deeplabv3+模型进行精度评价,得到最优3波段组合6（波长710 nm）、8（波长800 nm）、 11（波长900 nm）波段为最佳特征组合;最后,以最优3波段为基础,将Deeplabv3+模型与U-Net、ENVINet5模型进行对比分析。结果表明：Deeplabv3+模型能够更深层次的挖掘光谱中潜在的信息,相比其他模型,能够较好地处理正负样本不均衡问题,获得最高MIoU值85.54%,比U-Net、ENVINet5的MIoU值则分别高出21.21%、27.19%。该研究结果可为基于多光谱遥感影像的语义分割在农田防护林提取及健康状况监测的应用提供借鉴和参考。

关键词： 无人机; 多光谱影像; 农田防护林提取; 最佳指数因子; 植被指数; 特征选择; 语义分割; Deeplabv3+

本文引用格式

王学文 , 赵庆展 , 韩峰 , 马永建 , 龙翔 , 江萍 . 机载多光谱影像语义分割模型在农田防护林提取中的应用[J]. 地球信息科学学报, 2020 , 22(8) : 1702 -1713 . DOI: 10.12082/dqxxkx.2020.200086

Abstract

Farmland shelterbelt is the barrier of a farmland ecosystem. Monitoring and assessing the health condition of farmland shelterbelt are significant for farmland forests management in North China. This paper selects the farmland shelterbelt in the 3th Division of Xinjiang Production and Construction Crops as the experimental example. In July and August of 2019, we used the CW-20 fixed-wing drone which was equipped with a SONY-A7RII camera and a Micro MCA12 Snap camera to capture visible light images and multispectral images. Four targets on the ground with different reflectance (3%, 22%, 48%, and 64%) were set up for radiometric correction. we collected field data by Aowei software. Optimal bands were selected base on the Optimum Index Factor (OIF) and correlation coefficient. By integrating appropriate vegetation indices, eight different extraction schemes were constructed to select an effective method for final farmland shelterbelt extraction. In this study, when the flight mission was completed, we collated the exported POS and image data correspondingly. High resolution visible light images with 0.08 m resolution and high resolution multispectral images with 0.149 m resolution were first mosaiced using Pix4Dmapper. Four ground targets were then used for radiometric correction of mosaiced images using linear fitting model. The final experimental data was extracted using clipping method. Because each multispectral image was displayed in gray scale, which was not easy for direct data interpretation. High-resolution visible light images and multispectral images were registered together through ArcGIS software. We labeled 8030 samples based on visible light images through ENVI 5.5 software. We separated the training dataset and verification dataset according to the ratio of 4:1. Specifically, 112 512 pixel×512 pixel slices were taken as the training dataset, and 28 512 pixel×512 pixel slices were taken as the verification dataset. Based on eight extraction schemes, model accuracy of Deeplabv3+semantic segmentation model was evaluated. Three optimal bands that had the best model performance were selected including band 6 (wavelength 710 nm), band 8 (wavelength 800 nm), and band 11 (wavelength 900 nm) based on OIF. Based on these three optimal bands, we further compared the Deeplabv3+ model with U-Net and ENVINet5 model. Our results show that Deeplabv3 + model can capture the potential information in the images at a deeper level with fewer parameters. The MIoU derived from Deeplabv3+, U-Net, and ENVINet5 was 85.54%, 21.21%, and 27.19%, respectively. Also, Deeplabv3 + model solved the problem of sample unbalance. Our results provide a reference for the application of semantic segmentation using multispectral remote sensing data in farmland areas.

Key words： The Unmanned Aerial Vehicle (UAV); multispectral image; farmland shelterbelt extraction; optimum index factor; vegetation index; feature combination; semantic segmentation; Deeplabv3+

1 引言

农田防护林作为农林生态系统一种重要组成部分,能够改善自然灾害对农田带来的不利影响,起到防风固沙、调节农田气候、改善土壤属性的作用,是区域农业生态系统的天然屏障[1,2,3]。近年来上世纪建成的农田防护林有逐渐退化的现象,加之水资源匮乏、管理不到位等原因,导致某些区域的农业防护林功能无法有效发挥,农业生态系统受到了破坏[4]。因此准确有效的提取农田防护林信息,对其健康状况进行评估,为林业与土地管理部门进行防护林的及时更替提供参考依据,对维护农田尺度的生态系统具有重要意义。
遥感技术具有观测范围广、周期短、获取信息量大的优势,传统的野外实地调查逐渐被替代。随着中高分辨率卫星（Landsat、Sentinel-2等）的出现,卫星影像已在林业得到广泛应用。如Wessel等[5]使用多时相Sentinel-2数据利用机器学习方法对德国2个森林地区树种进行分类,证明Sentinel-2数据在林业和植被分析中有很高的潜力;Anees等[6]使用MODIS影像构建非线性最小二乘法模型用于监测时间序列的森林虫害,得出红绿指数具有较好的效果。卫星影像虽然在大范围的林业研究中是一种有效的手段,由于其存在空间分辨率不够高、卫星访问周期长等缺点,已经不能满足林业管理部门的普查时间要求。随着无人机技术的发展,越来越多的高分辨率传感器应用在林业研究中,因其受天气、周期等影响较小,弥补了卫星影像的不足,成为目前中小尺度林业遥感监测的一种重要手段。Torresan等[7]统计了近10年林业监测的研究情况,充分肯定了无人机在林业上取得的成绩。国内外学者已经在防护林提取[8,9]、树种分类[10]、森林破坏情况评估[11]等方面开展了研究工作,展现了无人机遥感在林业中的潜力与贡献。
随着无人机遥感影像光谱分辨率的不断提高,相邻波段之间存在光谱的冗余信息也有所增加,这给数据处理带来了挑战,同时也耗费了计算资源[12]。以不丢失重要信息为前提,从海量数据中获得的特征组合需要充分反映地物信息,因此特征组合的选取至关重要。顾铮鸣等[13]选取光谱特征和纹理特征作为特征参量使用BoW模型识别田间道路和沟渠,精度在70%以上。张磊等[14]选取植被指数、水体指数、纹理特征使用随机森林算法进行湿地信息提取,红边植被指数可以有效提高精度,纹理特征加入后反而导致精度的下降。在不同应用场景,植被指数特征、纹理特征组合会有不同的效果,甚至可能导致精度的降低,因此如何正确且合理选取有助于提升地物识别效果的特征组合,依然面临重大挑战。通过寻找一种合适的特征组合,以期准确、有效的提取农田防护林是本文研究的重点。
近年来,越来越多的学者将深度学习算法与框架应用到遥感的影像处理中,如地物分类、目标检测等,都获得较为优异的效果[15]。在语义分割的应用方面,杨建宇等[16]基于SegNet语义分割网络,对高分辨率农村建设用地进行提取,并比较了最大似然法、随机森林、支持向量机等机器学习方法,SegNet整体精度最优。Yao等[17]基于DCNNs对土地利用进行分类,Encoder-Decoder结构可以有效减少遥感影像空间信息的丢失,其中Decoder结构可以有效提取土地边界信息,将高层次语义信息和低层次语义信息结合,得到较好分类效果,证实深度学习在高分辨率遥感影像领域具有普遍适用性。Krestenitis等[18]基于SAR影像构建Deeplabv3+对石油泄漏现象进行检测与识别,并与U-Net、PSPNet等其他语义分割方法进行比较,证明Deeplabv3+可以高效识别漏油现象,MIoU值比其他方法高出20%左右。Morales等[19]采用Deeplabv3+语义分割模型监测亚马逊雨林中的棕榈树,与U-Net模型相比取得更好的分割效果,为保护棕榈树提供了理论基础。
本文鉴于特征组合目前面临的困难与瓶颈,结合已有研究成果的优势,采用机载多光谱影像,通过最佳指数因子和相关性系数矩阵选取最优3波段与植被指数特征进行组合构建提取方案,使用多种语义分割模型,以期获得农田防护林提取的最优特征组合方案和语义分割模型,为农田防护林的退化及破坏监测提供基础数据。

2 数据来源

2.1 无人机数据

无人机平台为成都纵横垂直起降固定翼CW-20无人机（图1(a)）,该无人机具有RTK定位、全自主起飞、快速安装等优势,已在中航时、大范围无人机数据获取得到广泛应用。翼展3.2 m,机身长度2.1 m,最大起飞重量24 kg,巡航速度100~144 km/h,续航时间3 h,抗风能力7级。
图1 无人机平台

Fig. 1 The UAV platform

传感器载荷为Micro MCA12 snap多光谱相机（图1(b)）和SONY-A7RII可见光相机（图1(c)）。12通道多光谱相机每个波段配备1.3 M像素CMOS传感器,传感器尺寸6.18 mm×4.95 mm,分辨率1280像元×1024像元,焦距9.6 mm,各波段波长、波宽及波段特征见表1;可见光相机传感器尺寸35.9 mm×24 mm,图像分辨率7952像元×5305像元,焦距35 mm。
表1 Micro MCA12 Snap传感器波段参数

Tab. 1 The band feature parameters of Micro MCA12 Snap sensor

波段 波长/nm 波宽/nm 波段特征
1 470 10 区分植被和土壤岩石表层
2 515 10 可见光光谱中的绿波波峰
3 550 10 对水质浑浊变化敏感
4 610 10 植被光谱反射曲线中红光初始波段
5 656 10 重新归一化植被指数
6 710 10 植被光谱反射曲线的红边波段
7 760 10 植被光谱反射曲线的红边波段
8 800 10 归一化植被指数
9 830 10 区别植被种类
10 860 10 与植物总叶绿素含量显著相关
11 900 20 计算特定作物水分敏感指数
12 950 40 计算水波段指数
实验以新疆生产建设兵团第三师51团为研究区（39°58′N,79°3′E,图2）,为满足研究的农田防护林长势需要和面积需求,可见光数据于2019年7月24日获取,获取面积约5 km2;多光谱数据于2019年8月2日获取,目标区域长1.4 km,宽0.68 km,航高300 m,巡航速度100 km/h,航线重叠率65%,旁向重叠率70%,满足后期影像处理需求。在起飞地点地面布设反射率分别为3%、22%、48%、64%的4块地面靶标,以便后期进行辐射校正。
图2 研究区假彩色影像

注：合成波段为760 nm、656 nm、550 nm。

Fig. 2 False color image in the study area

2.2 野外调查数据

研究区域农田防护林的类型和种植结构主要分为新疆杨（Populus Bolleana Lauche）和榆树 （Ulmus pumila L）,这2个树种均有喜阳光、耐旱、易活的优点。使用奥维互动地图对样区内主要树种的地理位置进行记录,并使用空间分辨率0.08 m的高精度可见光遥感影像进行辅助识别。

3 研究方法

使用语义分割网络模型对农田防护林进行提取包括数据预处理、特征选择、语义分割及精度评价3个部分。总体技术路线见图3。
图3 总体技术路线

Fig. 3 Overall technology route

3.1 数据预处理

飞行任务完成后将基站中的POS数据导出进行整理,将Micro MCA12 Snap原始RAW格式图片导出,使用Tetracam PixelWrench2软件[20]将其转换成标准TIFF格式的栅格影像数据。在Excel中将图片编号和POS信息匹配,导入到Pix4D mapper进行图像拼接[21],得到0.08 m分辨率的可见光影像数据和0.149 m分辨率的多光谱影像数据。
将拼接完成的多光谱影像数据进行辐射校正,将4块靶标的12波段的实际DN值通过感兴趣区域方式统计出来,与靶标的实际反射率值进行匹配,计算增益和偏移参数,以灰阶梯度靶标为参考,利用最小二乘法建立每个波段的经验线性校正模型,用以计算每个波段反射率。计算公式为：
ρ λ = DN ( λ ) × b ref _ λ + c ref _ λ
式中： ρ λ 为 λ 波段的地表反射率; DN ( λ ) 为遥感影像 λ 波段的灰度值; b ref _ λ 和 c ref _ λ 为 λ 波段的反射率转换因子,可近似理解为多光谱传感器的增益和偏移值。

3.2 最佳波段组合

最佳指数因子（Optimum Index Factor,OIF）是基于波段间相关性系数以及波段间的标准差来反映波段组合信息质量的一种方法,计算公式为[22,23]：
O = ∑ i = 1 n S i ∑ i = 1 n ∑ j = 1 n R ij
式中：O为最佳指数因子;Si为第i个波段的标准差;Rij为第i和j波段的相关系数;n为所选波段的波段数（一般为3波段）。
所选择的最佳波段应该满足以下条件：
（1）波段间相关性较小;
（2）波段所包含信息量较大;
（3）所选波段组合可以提升分类精度。

3.3 植被指数选择

植被指数是用来衡量植物理化参数、生长状况的一项重要指标,归一化植被指数（NDVI）对植被具有较好的敏感性,已经广泛应用在植被分类中[24]。近年来,红边植被指数的相继提出,证明其衍生因子与叶绿素等理化因子息息相关,可以较好地反映出植被的光谱特征,区分植被信息。由于之前的传感器如MODIS、Landsat尚未包含较为丰富的红边波段信息,对于红边植被指数的使用具有一定的局限性。本文所使用的传感器为Micro MCA12 Snap多光谱相机,设置有2个波段的红边,对于植被的区分具有一定的帮助。
虽然最佳指数因子可以得到波段信息量冗余度较小的波段,可以提高农田防护林信息提取算法的效率,由于研究区包含房屋、道路、水渠、裸土等其他非植被信息,我们考虑将植被指数引入到组合方案中。尝试使用NDVI及3种红边植被指数参与到农田防护林信息提取中来,探讨其在深度学习模型下是否对精度提升有所帮助,本文所使用植被指数见表2。
表2 植被指数及计算公式

Tab. 2 Vegetation index and calculation formula

指数 中文名称 英文名称 对应Micro MCA12 Snap波段 计算公式及编号
NDVI[25] 归一化植被指数 Normalized difference vegetation index B8、B5 NDVI=ρ800-ρ656ρ800+ρ656 （3）
NDVIre[26] 红边归一化差值植被指数 Red-edge normalized difference vegetation index B8、B7、B8、B6 NDVIre=ρ800-ρ760710ρ800+ρ760710 （4）
MTCI[27] 地面叶绿素指数 MERIS Terrestrial Chlorophyll Index B7、B6、B5 MTCI=ρ760-ρ710ρ710-ρ656 （5）
NDRE[28] 归一化差值红边指数 Normalized difference Red Edge index B7、B6 NDRE=ρ760-ρ710ρ760+ρ710 （6）

注：B5、B6、B7、B8分别为Micro MCA12 Snap的第5、6、7、8波段。

3.4 实验方案设计

根据波段间相关性系数矩阵、最佳指数因子、植被指数选择,本文共设计8种方案进行对比（表3）。
表3 农田防护林提取方案设计

Tab. 3 Design of extraction scheme of farmland shelterbelt

实验方案 特征组合
1 多光谱原始12波段
2 最佳指数因子选出3波段
3 最优3波段+NDVI
4 最优3波段+NDVIre
5 最优3波段+MTCI
6 最优3波段+NDRE
7 NDVI+NDVIre+MTCI+NDRE
8 最优3波段+NDVI+NDVIre+MTCI+NDRE

3.5 遥感影像语义分割算法

以深度学习Deeplabv3+框架为基础[18],其Encoder-Decoder结构在边界提取应用中效果较优,可显著提升影像的分割精度,原理如图4所示。
图4 Deeplabv3+网络结构

Fig. 4 Deeplabv3+ network structure

编码器以ResNet-50残差网络作为骨架网络进行特征提取,ResNet-50引入残差模块的组件使得网络深度加深,但没有给网络增加额外参数和计算量,同时相较于VGGNet提高了训练速度,得到更好的训练效果和模型准确率。首先由ResNet-50的前3组残差块串行级联,然后修改第4组残差块采用膨胀卷积,引入空间金字塔池化（Atrous Spatial Pyramid Pooling,ASPP）,ASPP可以通过不同的采样率（膨胀因子）捕捉多尺度信息,聚合来自5个并行分支的预测结果,得到一个1×1卷积的特征图,最终输入到解码器中进行使用。
解码器借鉴FCN组合较浅层特征和高层次特征预测的特点,在低层次特征通过细节信息中,为减少通道数,首先利用48通道1×1卷积对低层次特征图进行卷积,得到预测图,然后将其与4倍上采样的高层次特征图进行融合,最后进行3×3卷积操作,再次经过4倍上采样恢复至原始分辨率,最后使用Softmax分类器对每个像素进行分类,得到像素分类概率图。

3.6 精度评价指标

度量遥感影像语义分割算法精度的其中一个重要指标是MIoU（Mean Intersection over Union）,就是真实值（Ground Truth）和预测值（Predicted Segmentation） 2个集合的交集和并集之比的平均值,即每一类地物的IoU（Intersection over Union）求和之后的平均值[11]。农田防护林的提取同时也是二分类问题,本文同时选取二分类问题中常用F1值、查准率（Precision）、查全率（Recall）作为提取精度评价指标[29],计算公式如下：
IoU = TP FN + FP + TP
MIoU = 1 k + 1 ∑ i = 0 k TP FN + FP + TP
F 1 = 2 × TP N + TP - TN
Pr ecision = TP TP + FP
Recall = TP TP + FN
式中：TP（True Positive）为真正例;TN（True Negative）为真负例;FN（False Negative）为假负例;FP（False Positive）为假正例;N为样本总数;k为分割k类地物。

4 结果与分析

4.1 最佳波段组合选择

按照波段特征,Micro MCA12 Snap相机的1—5波段是可见光区域,6、7波段是植被反射光谱曲线的红边区域,8—12波段是近红外区域。对研究区使用ENVI5.5的Compute Statistics工具进行统计,得到波段1—12波段的标准差分别为3.90、3.50、4.10、6.40、6.34、4.85、10.50、12.44、10.59、11.89、11.84、11.61。各波段标准差主要是呈上升趋势,在第8波段是一个很明显的峰值,各波段标准差从小到大依次为2、1、3、6、5、4、7、9、12、11、10、8波段。
通过计算相关性系数矩阵得到表4,可以看出,波段可以分为2组：第一组为1—6波段,波段相关性系数均较低;第二组为7—12波段,波段相关性系数均较高,均在0.9以上,只有6波段与第二组成正相关,1—5波段与第二组均成负相关。
表4 研究区域12波段相关性系数矩阵

Tab. 4 The 12 band correlation coefficient matrix of study area

波段 波段
1 2 3 4 5 6 7 8 9 10 11 12
1 1.000
2 0.982 1.000
3 0.960 0.966 1.000
4 0.968 0.973 0.963 1.000
5 0.958 0.962 0.940 0.991 1.000
6 0.827 0.850 0.922 0.862 0.831 1.000
7 -0.330 -0.302 -0.192 -0.357 -0.395 0.087 1.000
8 -0.330 -0.300 -0.188 -0.357 -0.398 0.099 0.966 1.000
9 -0.345 -0.315 -0.204 -0.372 -0.410 0.081 0.964 0.982 1.000
10 -0.339 -0.309 -0.198 -0.364 -0.402 0.089 0.967 0.981 0.971 1.000
11 -0.335 -0.308 -0.199 -0.362 -0.397 0.080 0.965 0.952 0.947 0.979 1.000
12 -0.261 -0.239 -0.119 -0.281 -0.319 0.169 0.931 0.943 0.944 0.960 0.957 1.000
通过MATLAB 2019a编程计算波段间OIF值,得到排名前5的组合如表5所示。可以看出,第6波段与第二组波段之间相关性系数均较低,考虑到第8波段标准差最大,因此以6波段和8波段进行组合,6波段和8波段与10波段和11波段的相关性系数显示,11波段明显低于10波段,最终选择6、8、11波段组合参与后续提取实验。
表5 OIF值排名前5的组合

Tab. 5 Top 5 combination of OIF values

序号 波段组合 OIF
1 6、8、11 25.756
2 6、8、10 24.962
3 6、10、11 24.881
4 6、9、11 24.632
5 6、7、8 24.136

4.2 不同特征组合的提取结果对比分析

将经过辐射校正后得到的多光谱影像数据导入到ENVI 5.5中勾画感兴趣区域进行农田防护林标注,由于多光谱影像各波段以灰度值的形式显示,不能直观地辨别,不利于数据标注,因此将0.08 m高分辨率可见光影像与多光谱影像通过ArcGIS软件进行影像配准,利用可见光影像进行标注,共标注样本8030个,像元数1 846 039个,占总像元的4.69%;非农田防护林像元个数37 475 561,占总像元的95.31%,以4:1划分训练集和验证集,训练集切分为512像元×512像元大小的图像块,得到112张输入原始影像和标签图,农田防护林标签值为1,非农田防护林标签值为0。
合适的学习率对语义分割精度有着至关重要的影响,高的学习率会导致训练loss函数过高或者梯度下降过快越过最优值,低的学习率会导致梯度下降很慢,甚至耗费计算机过多资源得不到最优解。在训练之前对本文所使用的模型进行参数设置,基于MATLAB 2019a进行模型构建,由于计算的CPU和内存大小限制,一次性读入8张图片,训练批尺寸（minibatchSize）设置为8,最大迭代次数（maxEpochs）设置为200。经过多次试验,选择初始学习率为0.005,使用随机梯度下降动量优化器（sgdm）进行梯度下降,动量参数设置为0.9,模型损失函数逐渐降低,在第53个Epoch左右（步长730左右）开始低于0.05,逐渐趋于平稳,达到收敛,可以进行推广。
研究使用8种特征组合下的Deeplabv3+模型分别在训练集上训练,对验证集提取结果如图5所示。通过目视解译、野外实地采样结合0.08 m高分辨率影像可以看出：方案3、方案5、方案7、方案8的农田防护林提取不理想,农田防护林存在错分现象较为明显。如,道路两旁的农田防护林提取不完整或者被错误划分为其他地物,方案7、方案8错分现象最明显;农田附近防护林易与农田混淆,出现“异物同谱现象”,导致错分现象严重,从方案3、方案5可看出。从提取效果来看,方案1、方案2、方案4、方案6提取效果较好。
图5 语义分割结果

注：图(a)中红色为农田防护林标签;图(b)—图(i)中白色为农田防护林实际分割效果,黑色为背景。

Fig. 5 Result graph of semantic segmentation

为定性地评价不同提取方案对农田防护林提取精度的影响,计算混淆矩阵,得到不同特征组合下的作物提取精度（表6）。由表6可知,方案2（最优3波段）MIoU、农田防护林的F1值分别为85.54%、0.92,农田防护林真实标签与提取结果两幅图的吻合度较优;其余7种组合的MIoU、农田防护林的F1值分别在84.14%、0.91以下,吻合度较差。说明方案2的特征组合对于农田防护林的提取能力优于其他7种组合。
表6 Deeplabv3+语义分割精度评价

Tab. 6 Deeplabv3+ semantic segmentation accuracy evaluation

地物类型 指标 方案1 方案2 方案3 方案4 方案5 方案6 方案7 方案8
农田防护林 F1值 0.90 0.92 0.88 0.91 0.79 0.90 0.71 0.76
查准率precision/% 84.83 88.40 81.94 86.28 67.57 86.06 39.13 62.29
查全率recall/% 95.09 95.42 95.49 95.62 95.57 94.84 94.73 96.10
IoU/% 73.66 79.21 69.41 75.87 51.02 75.53 24.32 45.23
其他地物 F1值 0.91 0.92 0.90 0.91 0.85 0.91 0.81 0.83
查准率precision/% 95.62 95.76 96.13 96.05 96.87 95.32 98.44 97.46
查全率recall/% 86.31 89.20 84.84 87.50 74.92 87.24 69.30 72.10
IoU/% 91.61 91.61 91.86 92.40 92.14 91.06 96.93 94.13
平均 MIoU/% 82.63 85.54 80.98 84.14 72.48 83.29 60.63 69.75
以原始12波段的方案1为基础,农田防护林的F1值、MIoU分别为0.90和82.63%,使用OIF选取最优3波段后,农田防护林的F1值、MIoU分别提升到0.92、85.54%。在最优3波段的基础上依次引入不同的特征变量对农田防护林的提取会产生不同的影响。分别加入NDVIre和NDRE这2种红边植被指数时,方案4、方案6的精度,相对于方案1的原始12波段来看略有提升,农田防护林的MIoU分别达到84.14%、83.29%,但是对于最优3波段来说,农田防护林的F1值和MIoU均略有下降。NDVIre和NDRE这2种红边植被指数为Micro MCA12 Snap中6、7、8波段的衍生因子,最优3波段为6、8、11波段,2种红边植被指数与最优3波段组合后从某种程度上增加了波段信息的冗余,对语义分割Deeplabv3+模型的提取效果有阻碍作用,同时也说明语义分割模型可以挖掘遥感影像中潜在的、深层次的语义信息,有效的提取防护林信息。方案7、方案8同时也验证了这一点,当提取的特征变量植被指数越多时,精度下降也越多,方案7、方案8的农田防护林查准率均在65%以下,F1值比方案2下降了0.15左右,MIoU下降了15%左右,精度评价效果与语义分割模型结论相吻合。
单从植被指数来说,NDVIre和NDRE这2种对于农田防护林的提取最有效,NDVI和MTCI相对来说效果较差。验证集中地物除农田防护林外主要包含建筑物、裸土、水渠、低矮灌木,农田作物主要为玉米和棉花,在以农田尺度的地物提取中,绿色植被一般会占据影像的70%以上,植被覆盖度过高时,植被NDVI值呈现饱和状态,导致NDVI的性能下降,对绿色植被的敏感度有所下降,因此OIF+NDVI没有得到满意的效果,农田防护林的查准率和IoU分别为81.94%、69.41%,相较于其他优势方案略低。数据获取时间为8月,此时农作物和农田防护林均处于生长旺盛的阶段,叶绿素含量较高,在绿色植被生理指标、生长状态以及环境等参数综合影响下,OIF+MTCI没有得到较为理想的提取效果,农田防护林的查准率和IoU分别为67.57%、51.02%,相较于其他优势方案低20%左右。

4.3 不同语义分割模型的提取精度对比分析

为进一步验证本文使用语义分割Deeplabv3+模型的可靠性,使用效果最好的最优3波段方案构建U-Net和ENVINet5语义分割模型对农田防护林进行提取。U-Net网络模型[30]作为一种改进的FCN结构网络,结构较为简单,前半部分主要是特征提取,后半部分是上采样,具有编码器—解码器结构的特点。同样可以融合多尺度特征,结合上下文信息提升分割效果[31]。U型结构为后来的算法提供了模型参考,是一种较为有效的多尺度特征语义分割模型之一。ENVINet5是ENVI新推出的深度学习扩展模块,目前只支持二分类问题,是在U-Net架构的基础上开发的像素级分类模型,可以深度挖掘图像的空间和光谱信息,主要分为创建训练样本、创建模型、训练模型、图像分类4个部分,在道路网络提取、建筑物提取上已有相关应用[32]。基于MATLAB 2019a构建U-Net模型、基于ENVI构建ENVINet5模型,提取的效果如图6所示。
图6 不同语义分割模型在验证集上的提取结果

Fig. 6 Extraction results of different semantic segmentation models on validation set

从3种语义分割模型的提取结果来看,Deeplabv3+的提取效果最好,U-Net次之,ENVINet5效果较差,对提取结果进行精度评价,如图7所示。
图7 不同语义分割模型精度评价结果对比

Fig. 7 Comparison for accuracy evaluation of different semantic segmentation models

从图7可看出,3种语义分割模型的农田防护林查全率（Recall）均在95%以上,即能够较好地识别出农田防护林,但是U-Net模型和ENVINet5模型的查准率（Precision）却远远低于Deeplabv3+模型,即识别出的所有农田防护林中错分比例较高,从而导致U-Net模型和ENVINet5模型的农田防护林F1值均在0.64以下,降低了模型的总体精度。Deeplabv3+模型得到了最好的效果,MIou值为85.54%,比U-Net模型和ENVINet5模型分别提高了21.21%、27.19%。说明Deeplabv3+模型在高空间分辨率多光谱遥感影像中对农田防护林的识别能力优于其他2种模型,具有较好的适用性。

5 讨论

研究通过机载多光谱遥感影像的光谱特征设计了8种农田防护林提取方案,建立Deeplabv3+语义分割模型,通过相关指标评估该模型提取精度,初步证实了机载多光谱遥感在农田防护林提取方面的巨大潜力。由于农田周围环境的多样性和农田种植的复杂性,虽然语义分割模型的最优MIoU值达到85.54%,该提取精度仍有较大的提升空间。通过图8可看出,即使在Deeplabv3+模型排名前4的方案中,均存在将低矮灌木错分为农田防护林的现象,方案2错分情况较少,方案1、方案4、方案6,错分情况较为明显,甚至将一排低矮灌木错分为农田防护林,出现严重的“异物同谱”现象。究其原因,由于灌木和农田防护林包含多个生长周期,且 2种植被生理参数存在相似性,存在某个周期内光谱信息较为相近,使得整体识别精度下降。针对此问题,有如下思考：多光谱影像具有丰富的光谱信息,同时具有丰富的三维空间信息,可以借助摄影测量点云作为提取的特征变量;通过多时相多光谱影像数据以及农田防护林和灌木的物候特征,进一步提高农田防护林的提取精度。
图8 Deeplabv3+语义分割结果细节展示

注：红色圆框为错分为灌木的情况。

Fig. 8 Deeplabv3+semantic segmentation result detail display

以多模型对比的方式进一步验证了Deeplabv3+在农田防护林提取工作的有效性。农田防护林提取实为二分类问题,正负样本不均衡会导致二分类问题精度较差,目前众多学者在解决样本不均衡问题上做出了努力,如贺浩等[33]基于Encoder-Decoder网络改进二分类交叉熵损失函数,正样本平均比例为4.77%,F1值从原来的0.822提升到0.829,效果不是很明显。本文所使用数据农田防护林仅占总样本的4.69%,5个方案的F1值均高于0.829,且U-Net模型和ENVINet5模型的F1值均低于Deeplabv3+模型,充分说明了该模型可以较好地解决正负样本不均衡问题,具有较好的适用性和算法鲁棒性,同时为二分类问题提供了新思路和新方法。

6 结论

本研究充分挖掘机载多光谱遥感影像的深层次语义信息,在Micro MCA12 Snap原始12波段的基础上,结合最佳指数因子选择最优波段和4种植被指数进行组合,使用多种语义分割模型进行农田防护林提取,并进行提取精度评价,获得了机载多光谱影像的农田防护林最佳特征组合及提取模型,得出以下结论：
（1）经过特征组合后的农田防护林提取效果存在一定的差异。最佳指数因子得到的最优3波段获得了最好的提取效果,是一种最优的农田防护林提取特征组合,能够有效保留波段间的信息,较为准确地反映地物特征信息;在植被指数方面,NDVIre和NDRE这2种红边植被指数对提取效果有一定帮助,较原始12波段MIoU有0.66%~1.51%的提升,但是相比最优3波段确有所下降,说明冗余的波段信息会阻碍语义分割模型的学习能力,降低学习效率和模型提取精度。
（2）基于农田防护林的提取构建Deeplabv3+、U-Net、ENVINet5这3种语义分割模型,由Deeplabv3+构建的模型提取效果最优。在验证集上提取结果的MIoU值为85.54%,模型制图输出结果较好,符合农田防护林的分布特点,可为农田防护林提取提供参考和借鉴。
本研究深度挖掘了不同语义分割模型在农田防护林提取的潜力和优势,但语义分割模型训练过程时间过长,难以满足林业管理部门对数据的需求。在后续研究中,将训练好的语义分割模型集成到可视化平台（比如ArcGIS平台）上,快速得到农田防护林信息并反馈给林业管理部门,为防护林及时更替提供数据基础是下一步的研究重点。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
Vigiak O, Sterk G, Warren A, et al. Spatial modeling of wind speed around windbreaks[J]. Catena, 2003,52(3-4):273-288.

[2]
Brandle J R, Hodges L, Zhou X H. Windbreaks in North American agricultural systems[J]. Agroforestry Systems, 2004,61(1-3):65-78.

[3]
陈伟. 基于高标准农田防护林建设若干问题的探讨[J]. 现代园艺, 2019(14):215-216.

[ Chen W. Discussion on some problems of farmland shelterbelt construction based on high standard[J]. Xiandai Horticulture, 2019(14):215-216. ]

[4]
王菊兰. 金塔县农田防护林体系现状与建议[J]. 甘肃林业科技, 2019(1):34-37.

[ Wang J L. Current situation and suggestions of farmland shelterbelt system in Jinta County[J]. Journal of Gansu Forestry Science and Technology, 2019(1):34-37. ]

[5]
Wessel M, Brandmeier M, Tiede D. Evaluation of different machine learning algorithms for scalable classification of tree types and tree species based on Sentinel-2 data[J]. Remote Sensing, 2018,10(9):1419.

[6]
Anees A, Aryal J. A statistical framework for near-real time detection of beetle infestation in pine forests using MODIS data[J]. IEEE Geoscience and remote sensing letters, 2014,11(10):1717-1721.

[7]
Torresan C, Wallace L. Forestry applications of UAVs in Europe: A review[J]. International Journal of Remote Sensing, 2017,38(8-10):2427-2447.

[8]
Kort J, Poppy L, Gordon A, et al. Quantification of shelterbelt characteristics using high-resolution imagery[J]. Agriculture Ecosystems & Environment, 2009,131(1):111-117.

[9]
Shang W T, Gao Z, Jiang X P, et al. The extraction of coastal windbreak forest information based on UAV remote sensing images[C]// Remote Sensing and Modeling of Ecosystems for Sustainability XIV. Society of Photo-Optical Instrumentation Engineers (SPIE) Conference Series, 2017.

[10]
Johansen K, Raharjo T, McCabe M F. Using multi-spectral UAV imagery to extract tree crop structural properties and assess pruning effects[J]. Remote Sensing, 2018,10(6):854.

[11]
Hamdi Z M, Brandmeier M, Straub C. Forest damage assessment using deep learning on high resolution remote sensing data[J]. Remote Sensing, 2019,11(17):1976.

[12]
赵庆展, 刘伟, 尹小君, 等. 基于无人机多光谱影像特征的最佳波段组合研究[J]. 农业机械学报, 2016,47(3):242-248,291.

[ Zhao Q Z, Liu W, Yin X J, et al. Selection of optimum bands combination based on multispectral images of UAV[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016,47(3):242-248,291. ]

[13]
顾铮鸣, 金晓斌, 杨晓艳, 等. 基于无人机遥感影像监测土地整治项目道路沟渠利用情况[J]. 农业工程学报, 2018,34(23):85-93.

[ Gu Z M, Jin X B, Yang X Y, et al. Monitoring roads and canals utilization condition for land consolidation project based on UAV remote sensing image[J]. Transactions of the Chinese Society of Agricultural Engineering, 2018,34(23):85-93. ]

[14]
张磊, 宫兆宁, 王启为, 等. Sentinel-2影像多特征优选的黄河三角洲湿地信息提取[J]. 遥感学报, 2019,23(2):313-326.

[ Zhang L, Gong Z N, Wang Q W, et al. Wetland mapping of Yellow River Delta wetlands based on multifeature optimization of Sentinel-2 images[J]. Journal of Remote Sensing, 2019,23(2):313-326. ]

[15]
李冠东, 张春菊, 高飞, 等. 双卷积池化结构的3D-CNN高光谱遥感影像分类方法[J]. 中国图象图形学报, 2019,24(4):639-654.

[ Li G D, Zhang C J, Gao F, et al. Double convolution pool-structured 3D-CNN for hyperspectral remote sensing image classification[J]. Journal of Image and Graphics, 2019,24(4):639-654. ]

[16]
杨建宇, 周振旭, 杜贞容, 等. 基于SegNet语义模型的高分辨率遥感影像农村建设用地提取[J]. 农业工程学报, 2019,35(5):251-258.

[ Yang J Y, Zhou Z X, Du Z R, et al. Rural construction land extraction from high spatial resolution remote sensing image based on SegNet semantic segmentation model[J]. Transactions of the Chinese Society of Agricultural Engineering, 2019,35(5):251-258. ]

[17]
Yao X, Yang H, Wu Y, et al. Land use classification of the deep convolutional neural network method reducing the loss of spatial features[J]. Sensors, 2019,19(12):2792.

[18]
Krestenitis M, Orfanidis G, Ioannidis K, et al. Oil spill identification from satellite images using deep neural networks[J]. Remote Sensing, 2019,11(15):1762.

[19]
Morales G, Kemper G, Sevillano G, et al. Automatic segmentation of mauritia flexuosa in Unmanned Aerial Vehicle (UAV) Imagery using deep learning[J]. Forests, 2018,9(12):736.

[20]
贾银江. 无人机遥感图像拼接关键技术研究[D]. 黑龙江:东北农业大学, 2016.

[ Jia Y J. Research on Key Technologies of UAV remote sensing image mosaic[D]. Heilongjiang: Northeast Agricultural University, 2016. ]

[21]
相涛, 栾元重, 许章平, 等. 基于Pix4Dmapper的无人机低空摄影测量数据处理[J]. 测绘与空间地理信息, 2019,42(3):75-78.

[ Xiang T, Luan Y Z, Xu Z P, et al. Unmanned aerial vehicle with low-altitude aerial photogrammetry data processing flow and precision analysis based on pix4Dmapper[J]. Geomatics & spatial information technology, 2019,42(3):75-78. ]

[22]
Ji W, Wang Z Y, Wen Q. A fusion method of hyperspectral image based on spectral high fidelity applied in spectrum retrieval of vegetation species[J]. Multispectral hyperspectral and ultraspectral remote sensing technology techniques and applications, 2014(9263):1-8.

[23]
Chavez P S, Berlin G L, Sowers L B. Statistical-method for selecting Landsat mss rations[J]. Journal of applied photographic engineering, 1982,8(1):23-30.

[24]
郭文婷, 张晓丽. 基于Sentinel-2时序多特征的植被分类[J]. 浙江农林大学学报, 2019,36(5):849-856.

[ Guo W T, Zhang X L. Vegetation classification based on a multi-feature Sentinel-2 time series[J]. Journal of Zhejiang A &F University, 2019,36(5):849-856. ]

[25]
孙庆龄, 李宝林, 许丽丽, 等. 2000-2013年三江源植被NDVI变化趋势及影响因素分析[J]. 地球信息科学学报, 2016,18(12):1707-1716.

[ Sun Q L, Li B L, Xu L L, et al. Analysis of NDVI change trend and its impact factors in the Three-River Headwater Region from 2000 to 2013[J]. Journal of Geo-information Science, 2016,18(12):1707-1716. ]

[26]
Shang J, Liu J, Ma B, et al. Mapping spatial variability of crop growth conditions using RapidEye data in Northern Ontario Canada[J]. Remote Sensing of Environment, 2015(168):113-125.

[27]
Dash J, Curran P J. The MERIS terrestrial chlorophyll index[J]. International Journal of Remote Sensing, 2004,25(23):5403-5413.

[28]
Gitelson A, Merzlyak M N. Spectral reflectance changes associated with autumn senescence of aesculus hippocastanum L and Acer platanoides L leaves spectral features and relation to Chlorophyll estimation[J]. Journal of Plant Physiology, 1994,143(3):286-292.

[29]
周志华. 机器学习[M]. 北京: 清华大学出版社, 2016.

[ Zhou Z H. Machine learning[M]. Beijing: Tsinghua University Pubilshing, 2016. ]

[30]
Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]// International Conference on Medical Image Computing and Computer-assisted Intervention, 2015: 234-241.

[31]
许慧敏. 基于深度学习U-Net模型的高分辨率遥感影像分类方法研究[D]. 成都:西南交通大学, 2018.

[ Xu H M. Research on high resolution remote sensing image classification method based on deep learning U-Net model[D]. Chendu: Southwest Jiaotong University, 2018. ]

[32]
Environmental Systems Research Institut, ENVI deep learning[ED/OL]. https://www. harrisgeospatial.com/SoftwareTechnology/ENVI-Deep-Learning, 2019-04-01/2020-03-09.

[33]
贺浩, 王仕成, 杨东方, 等. 基于Encoder- Decoder网络的遥感影像道路提取方法[J]. 测绘学报, 2019,48(3):330-338.

[ He H, Wang S C, Yang D F, et al. An road extraction method for remote sensing image based on Encoder-Decoder network[J]. Acta Geodaetica et Cartographica Sinica, 2019,48(3):330-338. ]

Options
文章导航

/

〈 〉