EN中文

Journal of Geo-information Science >

2022 , Vol. 24 >Issue 5: 962 - 980

DOI: https://doi.org/10.12082/dqxxkx.2022.210572

Urban Vegetation Classification based on Multi-scale Feature Perception Network for UAV Images

  • KUAI Yu , 1 ,
  • WANG Biao , 1, * ,
  • WU Yanglan 1, 2 ,
  • CHEN Botao 1 ,
  • CHEN Xingdi 1 ,
  • XUE Weibao 1
Expand
  • 1. School of Resources and Environmental Engineering, Anhui University, Hefei 230601, China
  • 2. Anhui Province Geographic Information Intelligent Technology Engineering Research Center, Hefei 230000, China
* WANG Biao, E-mail:

Received date: 2021-09-23

  Request revised date: 2021-11-09

  Online published: 2022-07-25

Supported by

National Natural Science Foundation of China(41971311)

National Natural Science Foundation of China(41902182)

Natural Science Foundation of Anhui Province(2008085QD188)

Copyright

Copyright reserved © 2022.
Fold

Abstract

At present, the classification of urban vegetation is affected by similar characteristics and similar spectra, resulting in misclassification of vegetation. Therefore, a Multi-scale Feature Perception Network (MFDN) combined with high-resolution UAV visible light images is designed to classify urban vegetation. This network addresses the problem of misclassification and reduces the loss of spatial information by introducing coordinate convolution in the input layer. It constructs parallel networks to enhance multi-scale feature information and introduces repeated multi-scale fusion modules between networks to maintain high-resolution representation in the entire process and reduce the loss of detailed features. In addition, the separation feature module is added to expand the receptive field and obtain multi-scale features, thereby effectively alleviating the phenomenon of misclassification and omission of urban vegetation. The results show that the MFDN method improves the classification of urban vegetation mainly through spatial patterns rather than spectral information from UAV visible light images. The average overall accuracy is 89.54%, the average F1 score is 75.85%, and the average IOU is 65.45%. The segmentation results are accurate and complete. Therefore, the proposed method is compatible with the easy-to-operate low-cost UAV system, is suitable for rapid survey of urban vegetation, and can provide technical support and scientific basis for urban space utilization and ecological resource survey.

Key words： urban vegetation classification; deep learning; UAV remote sensing; visible light image; multi-scale feature fusion; semantic segmentation; multi-feature perception; urban ecosystem

Cite this article

KUAI Yu , WANG Biao , WU Yanglan , CHEN Botao , CHEN Xingdi , XUE Weibao . Urban Vegetation Classification based on Multi-scale Feature Perception Network for UAV Images[J]. Journal of Geo-information Science, 2022 , 24(5) : 962 -980 . DOI: 10.12082/dqxxkx.2022.210572

1 引言

植被影响和制约着城市景观格局和生态系统服务功能,是城市关键的组成部分,与城市密切相关[1,2,3]。城市植被是城市生态系统的主要载体[4],它具有防沙除尘、涵养水源以及缓解城市热岛效应等功能,维持着城市生态系统和人类生活环境的质量,对城市的可持续发展起着至关重要的作用[5,6,7]。如何准确有效地对城市植被类型进行划分对于保护城市生态环境和规划城市生态资源具有重要意义[8,9,10]。
传统的植被分类主要以地面实测调查为主[11],在地形相对简单、植被覆盖面积小的区域分类效果较好,但在地形较为复杂、植被覆盖面积大的区域,此方法调查成本高且费时费力[12],因此无法对地形复杂的城市区域中的植被类型进行快速划分。
随着遥感技术的快速发展,卫星遥感已成为植被分类和遥感技术的研究热点之一,不仅提高了城市生态资源调查的速度和精度,也有效降低了调查成本[13,14]。通过卫星遥感可以获取大尺度范围的植被分布情况,利于全面的植被动态监测和资源调查。但卫星遥感空间分辨率较低、寻访周期长且易受天气条件限制[15],无法满足高精度城市生态资源调查的需求。与卫星遥感相比,无人机能够获取更高分辨率的影像,具有造价低廉、灵活性高、机动性能强等独特优势,能适应各种复杂的地形且不易受环境因素的影响,时效性高,其生成的正射影像及产品拥有丰富的空间信息和纹理信息,因此能够提取更多的植被细节信息,为城市植被分类提供了更多的数据[16,17,18,19]。在地形复杂的城市地区,无人机遥感能够获取丰富全面的植被空间分布状况,在城市植被分类方面具有更多优势,弥补了地面实测调查与卫星遥感的不足,促进高效精确的城市植被分类与城市空间规划,逐渐成为生态资源调查、生态环境评价与环境监测的新方法[20,21]。
传统的遥感影像植被分类方法按其最小分类单元可分为基于像元分类与基于对象分类。基于像元的分类方法是以每个像元作为最小的分类单元并通过分类算法建立分类模型,进行植被分类,该方法多用于低分辨率影像[22,23]。相比之下,高分辨率影像中的植被特征更加复杂多样,基于像元的方法仅根据光谱信息作为分类特征,没有考虑像元周围的上下文和特征信息,存在“同物异谱,同谱异物”[24]现象。基于对象的分类方法能够更好地使用形状和拓扑增强图像空间信息[25],利用影像的光谱、纹理、形状等信息,结合不同空间尺度的多尺度分割将影像分为多个斑块并以此分割后的对象作为基本分类单元,增强了分类对象的空间信息,提高了分类精度,在高分辨率遥感植被分类中取得了较好的应用[26,27],有效缓解了基于像元分类方法中存在的椒盐现象[28]问题。然而,该方法需要预先设定分割尺度,分割尺度选择不当会影响植被分类结果细碎以及像元混分,对分类精度产生影响。相比之下,机器学习算法作为一种实现人工智能的方法,使用算法解析数据并从中筛选冗余特征后学习更加有用的特征信息,然后提取遥感影像中的信息进行预测并分类,为植被分类任务提供了一种新的有效方法[29]。然而,机器学习存在一定的局限性,例如模型调整参数复杂,依赖复杂的特征工程、忽略了样本之间的时空关系,模型容易过拟合且泛化性较差[30]。
近年来,深度学习方法得到迅速发展,作为机器学习领域最重要的一个分支,它在植被的图像分类中已被广泛应用[31,32]。深度学习方法能够从浅层的特征中自动的学习具有更高抽象性和语义性的深层特征,能更有效的对无人机影像中植被进行自动分类[33,34]。目前基于深度学习的植被分类方法主要有基于卷积神经网络（CNN）[35]和全卷积神经网络（FCN）[36]的植被分类方法。CNN能够分析图像中相邻像素的上下文信号,充分利用光谱、纹理等信息,更好地提取分类特征,实现复杂的图像分类问题。但CNN存在训练速度慢、收敛精度低以及易受局部最优解等问题影响,其中的全连接层会限制输入影像尺寸并且对细粒度植被目标提取和判别分类能力不足,具有一定的局限性[37]。而FCN使用标准卷积层替换了CNN中最后的全连接层,不受输入影像尺寸限制,在上采样时通过解码或插值将特征图恢复到原始输入影像分辨率,对图像进行语义分割并保留了细节特征,显著提高了图像分类的精度,因此被广泛应用于植被语义分割[38]。然而上采样过程会不可避免的造成空间信息的丢失,模糊边界,使得分割结果粗糙。虽然上述方法都尝试将深度学习用于植被分类工作中,并取得了不错的分类效果。但由于不同植被间的特征相近、光谱相似,很难获取准确信息来精确定位植被类别,使得上述方法的分类结果存在严重的植被漏分、错分现象。
针对以上存在的问题,本文设计了一种基于高分辨率网络(High-Resoultion, HRNet)[39]改进的多尺度特征感知网络。在网络输入层引入坐标卷积减少空间信息的丢失,构建多层并行网络增强尺度信息,减少细节特征的丢失,同时利用分离特征模块,扩大感受野并获取多尺度特征信息,有效缓解了植被漏分、错分现象,提高了分类精度。本文选取了植被类型相似但覆盖度不同的多个城市地区作为研究区,利用高分辨率无人机影像结合多尺度特征感知网络对草地、灌丛、乔木3种形态相似的植被都能取得较好的分类效果。

2 研究方法

2.1 技术路线

图1为本文技术路线,首先对采集的照片进行拼接、校正等处理生成无人机正射影像,然后采用目视解译的方法构建植被样本数据集。随后基于HRNet网络构建MFDN植被分类模型,训练数据集至模型拟合效果最佳,选取最优模型进行预测并进行精度评价,最终得到城市植被分类结果图,实现无人机遥感城市植被快速调查。
图1 技术路线

Fig. 1 Technical route

2.2 网络结构

现有的全卷积神经网络多采用编码和解码架构组成,通过编码结构提取输入影像中的多尺度特征,利用解码结构将特征图恢复到原始图像分辨率,但连续的池化和上采样操作也在一定程度上造成了细节信息的丢失。针对这一问题,本文设计了一种多尺度特征感知深度神经网络（Multiscale Feature Perception Depth Neural Network, MFDN）,在网络输入层引入坐标卷积,突出细节信息并加强边界信息的同时有效减少了特征损失;在垂直方向上利用下采样过程拓宽网络,通过多支并行连接的子网络融合多尺度特征等方式连接高分辨率与低分辨率,保留不同分辨率的特征信息;进行重复的多尺度特征融合,每支网络的高到低分辨率表示能够接收来自并行的子网络信息,在整个过程中保持高分辨率的表示;在每个分支网络中添加了密集连接模块,有效缓解梯度消失现象并减少了参数量,加强对特征的提取与复用;在底层网络中结合分离特征模块并更改空洞卷积的空洞率获取不同尺度上的细节信息。本文设计的MFDN能够在整个过程中保持高分辨率的表示,充分获取多尺度信息,有效提高了植被分类精度,本文网络结构如图2所示。影像输入网络后通过下采样操作降低特征图大小,在每一个密集连接模块后,都对特征图进行一次下采样操作,每次生成的特征图通过分支网络保持相同分辨率,利用密集连接模块对特征进行提取复用,总共生成4支网络。每支网络通过特征融合能够接收其他分支网络的特征信息。通过连续上采样操作将后3支网络提取的特征图恢复到第1分支网络的大小,通过上采样操作将4支网络合并的特征图恢复到原始影像分辨率,最后使用softmax分类器输出分割结果。
图2 MFDN网络结构

Fig. 2 MFDN Network structure

作为各分支网络中的主体结构,DenseNet[40]中的密集连接模块具有强大的特征提取与复用能力。普通卷积网络在L层会产生L个连接,但密集连接模块通过密集连接方式将前一层的特征叠加映射传递给后续其它层,每层都会与前面所有层在通道维度上通过拼接方式连接在一起,能够将多个特征进行组合,减少参数量并增强特征重用。因此,L层深度的网络中,我们的网络具有L × (L + 1)/2个连接。密集连接模块的表达式如下：
X L = H L ( [ X 0 , X 1 , X 2 , … , X L - 1 ] )
式中： X L表示L层的输出特征图; [ X 0 , X 1 , X 2 , … , X L - 1 ]表示L层前面所有层的特征映射的连接; H L是非线性变换函数,包含批标准化层、整流线性单元（ReLU）、droput层以及3×3卷积层。密集连接模块之间通过转置层（Transition layer）连接,减少了过渡层的特征图数量,使网络训练更加快速高效。

2.3 坐标卷积模块

普通卷积无法有效提取空间特征位置信息,因为缺少输入特征的坐标信息会导致连续的卷积运算在多个尺度上丢失大量的空间位置信息,尤其是边界信息和细小的特征信息。因此,Liu等[41]提出了一个坐标转换模块用以解决普通卷积难以实现坐标变换的问题。坐标卷积通过使用额外的坐标通道,在卷积过程中能够获取目标的输入坐标,提取目标特征中的空间位置信息作为额外的通道与原始的特征进行连接。通常情况下,通道是为i坐标和j坐标准备的,对额外坐标进行相应的线性变换,使它们在[-1, 1]范围内归一化,能够有效的存储输入特征图中的空间信息。如有必要,也可以使用第3个通道来表示r坐标,以处理额外情况。r坐标的计算方式如下：
r = i - h / 2 2 + j - w / 2 2
式中：h和w分别为特征图尺寸的高和宽,i和j表示基本坐标。因此,在输入层引入坐标卷积能够使网络有效的提取不同特征的空间信息,有效消除特征丢失尤其是边界信息的损失,增强植被分割时对边界范围的确定[42]。坐标卷积模块如图3所示。
图3 普通卷积与坐标卷积对比

注：h、w、c分别为输入特征的高、宽、通道数;h1、w1、c1分别为卷积后的高、宽、通道数。

Fig. 3 Comparison of ordinary convolution and coordinate convolution

与普通卷积层不同的是坐标卷积使用额外的通道作为输入,可以保留目标的水平和垂直像素的信息,坐标卷积可以作为一个空间注意单元用来获取空间位置信息。因此,网络通过坐标卷积运算后可以输出包含更多细节的特征图。坐标卷积与普通卷积相比,有效消除边界信息的损失,突出了细节特征,更利于像素级的语义分割。如图4显示,坐标卷积可以减少边界信息损失,降低各个分割类别的内部可变性。
图4 普通卷积层与坐标卷积层比较结果

Fig. 4 Comparison results of ordinary convolutional layer and coordinate convolutional layer

2.4 重复多尺度融合模块

本文在并行的网络之间引入了重复多尺度融合模块,使得每个子网络都能够重复的接收来自其他并行分支网络的特征信息,在整个过程中保持高的分辨率表示。本文的重复多尺度融合模块分为3种交互模块,每个交互模块由3个并行的卷积单位组成,并行网络之间有一个交互模块,特征信息交互示例如下：
式中： ω sr b表示第s级中第b模块的第r个分辨率中的卷积单位; ∂ s b表示相应的交互单位。
该模块的3个交互模块的表现形式如图5所示。第一种是保持高分辨率特征图不变,通过1×1卷积保持低分辨率特征和高分辨率特征具有相同维度,采用最近邻上采样生成相同大小的高低分辨率特征图并将二者通道进行叠加,最后输出特征,如图5（a）所示。第二种是保持中分辨率特征图不变,通过最近邻上采样将低分辨率特征图还原到高分辨率特征图大小,使用3×3卷积将高分辨率特征图通过下采样降维至中分辨率特征图,将高、中、低分辨率特征图通道进行叠加,最后输出特征,如图5（b）所示。第三种是保持低分辨率特征图不变,使用3×3卷积将高分辨率特征图通过下采样降维至低分辨率特征图,将二者通道进行叠加,最后输出特征,如图5（c）所示。
图5 重复多尺度融合3种形式

Fig. 5 Three forms of repeated multi-scale fusion

2.5 分离特征模块

FCN网络结构虽然能够实现端到端的逐像素语义分割,但在下采样过程中连续的卷积和池化操作会导致空间信息的损失。空洞卷积可以有效地避免空间特征的丢失并扩大感受野,提高对多尺度特征信息的提取[43]。但连续的空洞卷积操作会造成“网格效应”,丢失一定的空间信息,而空洞空间金字塔（Atrous Spatial Pyramid Pooling, ASPP）可以有效降低信息的丢失并获取多尺度特征信息[44]。然而在扩大感受野的同时也不可避免的增加了参数量。因此,使用可分离卷积代替原始卷积,用空洞率分别为3、6、9的可分离空洞卷积提取特征,不仅扩大了感受野而且减少了参数,提高了网络效率以及精度。分离特征模块如图6所示。
图6 分离特征模块

Fig. 6 Separation of feature modules

3 数据获取及处理

3.1 数据获取

本文实验选用无人机作为实验飞行平台,搭载可见光相机,相机包括红色（660 nm）、绿色（560 nm）、蓝色（475 nm）波段。飞行在晴朗无风的天气条件下进行,选择在上午10时至下午2时进行图像采集。采用悬停垂直向下方式进行图像拍摄,共获得4幅不同地区的无人机影像,如图7所示。详细的飞行参数信息如表1所示。针对目前城市植被覆盖程度存在一定差异,北方地区植被覆盖度相对较低,而南方地区植被覆盖度较高,因此本文选择植被类型相似但覆盖度不同的4个城市区域作为研究区A、B、C、D,分别为安徽大学校区、江苏海洋大学校区、山东日照地区以及苏州吴江区。其中研究区A的植被符合城市植被类型且植被覆盖度最高,满足模型的数据需求,因此将其作为训练数据。选择其他3个不同植被覆盖度的城市区域作为测试数据,用于验证实验。其中研究区B植被覆盖程度与训练区域基本一致,而研究区D的植被覆盖度次之,研究区C最低。
图7 实验所用无人机影像数据

Fig. 7 UAV image data used in the experiment

表1 无人机飞行参数

Tab. 1 UAV flight parameters

影像 研究区A 研究区B 研究区C 研究区D
位置 安徽省 江苏省 山东省 江苏省
高度/m 260 150 450 450
分辨率/m 0.03 0.02 0.04 0.04
时间 2019-05-16 2020-11-07 2019-05-28 2021-05-02
飞行次数/次 1 1 1 1
航向重叠度/% 70 70 70 70
旁向重叠度/% 80 80 80 80
图像尺寸/像素 57 285×86 854 32 066×21 832 15 850×15 061 34 505×23 399

3.2 数据处理及数据集构建

对所获得的无人机影像进行数据预处理,将采集得到的照片导入无人机处理软件中,进行质量检查,剔除无用影像,导入POS信息后进行图像拼接以及正射校正。为保证生成的影像质量,选择进行空三加密生成密集点云并通过自动空中三角测量生成网格和纹理,获得高精度的正射影像,像素空间分辨率为0.03 m。
实验以研究区A为样本数据,结合高分辨率无人机影像,采用目视解译的方法构建植被样本数据,将植被分为草地、灌丛（包括灌木）、乔木以及其他。以各类型植被轮廓为边界勾画植被矢量数据生成标签数据。将影像和标签以顺序裁剪方式按照512像素×512像素大小进行分割,由于数据量较少,以顺时针旋转90°的方式将数据进行增强,增加样本数量防止过拟合问题,最终生成20 507张影像。将得到的数据按4:1的比例随机分为训练集与验证集,其中训练集16 406张用于模型训练,验证集4101张用于调整超参数并评估模型。样本示例如图8所示。
图8 植被分类样本示例

Fig.8 Examples of vegetation classification samples

4 实验与分析

4.1 实验设置

本文以TensorFlow作为深度学习框架,实验开发平台为JetBrains PyCharm2020,所用程序语言为Python,版本为3.6.5。所有模型均运行在Windows10的64位操作系统上,硬件配置为Inter Xeon Gold 6148CPU和 Nvidia Tesla V100-PCIE（16 GB）显卡以及256 GB内存。本文实验采用了语义分割领域常用的交叉熵损失函数并选择Adam作为网络优化算法。为了使训练过程中网络能够快速有效的收敛,采用分段常数衰减设置学习率并设置初始学习率为1e-3,每15个轮次学习率自动调整下降10倍。每一轮迭代次数为8000,批次大小设置为2,正则化系数为1e-3,轮数为100轮。

4.2 精度评价

为量化植被分类结果,采用语义分割方法中常用的精度评价指标：总体精度（Overall Accuracy）、F1分数和交并比（IOU）以及平均交并比（MeanIOU）来评价整体分割结果。OA是评价分割精度的整体指标,是指正确识别到的植被与非植被像素个数之和与影像中所有像素总数的比值;F1得分是通过精确度（Precision）和召回率（Recall）计算得到的综合评价指标;IOU是模型分割结果与目视解译真实值在交集上的并集;MeanIOU是目视解译真实值和分割结果的交集和并集比值的平均值,是每一类植被的IOU求和之后得到的平均值。上述评价指标的公式如下：
OA = TP + TN TP + TN + FP + FN
Precision = TP TP + FP
Recall = TP TP + FN
F 1 = 2 × Precision × Rccall Precision + Recall
IOU = TP TP + FN + FP
MeanIOU = 1 k + 1 ∑ i = 0 k TP TP + FP + FN
式中：TP表示真阳性;FP表示假阳性;TN表示真阴性;FN表示假阴性;k表示分割k类植被。

4.3 实验结果

3个测试区域的预测结果都显示在图9—图11中。从结果中可以看出,研究区B与研究区D的分割结果更加完整,具有较好的分类结果,虽然受菜地、田地以及耕地影响,其光谱特征与所分类植被相似,导致分割结果出现了少量错分现象,但整体上植被能与其他地物完整的分开,各类型植被均有不错的分割效果,与目视解译结果接近。而研究区C影像由于未进行空三解密生成密集点云,拼接后影像植被部分出现畸变和偏移问题,降低了分割精度,但与目视解译对比,整体分割结果较为完整。为了定量评估每类植被分割结果,表2列出了测试区域的结果精度,所有测试区域的平均总体精度为89.54%,所有测试区域的平均F1得分为75.85%,每类植被都具有不错的分割精度。实验结果表明,本文设计的MFDN方法结合高分辨率无人机可见光影像对城市植被具有较好的语义分割结果。
图9 研究区B植被分类结果

Fig. 9 Vegetation classification results of study area B

图10 研究区C植被分类结果

Fig. 10 Vegetation classification results of study area C

图11 研究区D植被分类结果

Fig. 11 Vegetation classification results of study area D

表2 所有测试区域的平均总体精度和平均F1得分

Tab. 2 Average overall accuracy and average F1 score of all test areas （%）

区域 草地 灌丛 乔木 OA Mean F1
研究区B 76.77 77.95 80.94 89.87 78.55
研究区C 66.64 58.96 80.02 86.22 68.54
研究区D 78.32 74.23 88.80 92.52 80.45
平均精度 73.91 70.38 83.25 89.54 75.85
IOU能够衡量分类结果与目视解译结果2个区域的重叠度,是2个区域重叠部分的面积占二者总面积的比例。为了有效评估本文方法对城市植被分类对象形状和面积的检测,使用IOU评价指标评估分类结果,结果如表3所示。从表3中可以看出IOU的结果要低于基于像素的结果,这表明在度量植被分类结果上各评价指标之间也存在不同程度的差异,IOU指标更适用于评估被分类对象的形状和面积。
表3 所有测试区域的IOU和MeanIOU结果

Tab. 3 IOU and MeanIOU results for all test areas (%)

IOU Mean IOU
草地 灌丛 乔木
研究区B 66.95 66.77 71.30 68.34
研究区C 54.02 47.93 70.26 57.40
研究区D 67.22 64.01 80.57 70.60
平均精度 63.73 59.57 74.04 65.45
此外,本文使用混淆矩阵结合总体精度和Kappa系数等指标对所有测试区域的分类结果进行定量评价,结果见图12和表4—表6。可以看出每幅测试图像的混淆矩阵都具有较好的表现,生产者精度（PA）与用户精度（UA）都有较高的结果。在混淆矩阵的结果中,乔木的分类结果最好,草地次之,灌丛的分类结果最差,这与表2和表3呈现的结果具有一致性。
图12 测试区域混淆矩阵

Fig. 12 Confusion matrix diagram of all test areas

表4 研究区B混淆矩阵精度评价

Tab. 4 Accuracy evaluation of confusion matrix in study area B （%）

草地 灌丛 乔木 UA
草地 87.92 4.93 2.34 88.40
灌丛 5.04 86.85 5.24 88.37
乔木 4.32 5.98 89.94 93.47
PA 97.92 86.85 89.94
OA 89.87 Kappa 81.72
表5 研究区C混淆矩阵精度评价

Tab. 5 Accuracy evaluation of confusion matrix in study area C （%）

草地 灌丛 乔木 UA
草地 81.75 1.85 2.92 81.40
灌丛 2.14 83.55 5.84 81.77
乔木 14.23 13.17 89.92 89.47
PA% 81.75 83.55 89.92
OA 86.22 Kappa 78.57
表6 研究区D混淆矩阵精度评价

Tab. 6 Accuracy evaluation of confusion matrix in study area D （%）

草地 灌丛 乔木 UA
草地 88.02 2.33 1.11 86.53
灌丛 2.54 88.72 2.98 88.98
乔木 4.86 3.75 93.42 94.05
PA 88.02 88.72 93.42
OA 92.52 Kappa 84.74

4.4 方法对比分析

本文设计了一种基于HRNet网络改进的多尺度特征感知网络,实现了无人机可见光影像城市植被自动分类。为了验证该方法在城市植被分类上的优越性,在相同条件下使用了Segnet[45]、Bisenet[46]以及DeeplabV3+[47] 3种先进的语义分割网络进行对比分析。
图13—图15分别将本文方法与其他深度学习方法在3个测试区域进行了比较,对整体效果的识别结果定性分析表明,就目标边界的完整性而言,由于引入坐标卷积模块,不仅能够减少边界信息的丢失,而且能够突出细节特征,所以MFDN的结果显示出比任何其他方法更好的性能;重复多尺度融合模块使得每个子网络都能够重复的接收来自其他并行分支网络的特征信息,保留不同分辨率的特征信息,更有效的提取植被特征,提高了植被分类的一致性;分离特征模块能够扩大感受野并对多尺度特征高效提取,提高了植被分类精度,使得本文设计的MFDN方法的植被分割结果更加完整和精确。而Segnet、Bisenet和DeeplabV3+没有顾及空间信息和感受野之间的权衡,很难综合考虑浅层语义信息和复杂高层信息,因此,Segnet、Bisenet和DeeplabV3+方法有更多的漏分、错分和过度分割,如 图13—图15所示。结果表明,通过减少空间信息的损失并扩大对多尺度特征的感知,可以有效的对植被进行分割,减少错误分类。为了量化设计的MFDN方法与Segnet、Bisenet和DeeplabV3+方法之间的结果,表7和表8列出了这些方法的分割精度。MFDN方法在多项评价指标上都高于其他方法,MFDN在3个测试影像上的平均OA、平均F1和平均IOU分别高出其他方法中效果最好的DeeplabV3+方法2.32%、5.17%、3.90%,表明本文方法在高分辨率无人机光学影像城市植被分类方面具有很好的分类效果。
图13 不同深度学习方法在研究区B植被分类结果

Fig. 13 Vegetation classification results of different deep learning methods in study area B

图14 不同深度学习方法在研究区C植被分类结果

Fig. 14 Vegetation classification results of different deep learning methods in study area C

图15 不同深度学习方法在研究区D植被分类结果

Fig. 15 Vegetation classification results of different deep learning methods in study area D

表7 不同深度学习方法在3个测试区域的OA和F1结果

Tab. 7 OA and F1 results of different deep learning methods in three test areas （%）

区域 方法 草地 灌丛 乔木 OA Mean F1
研究区B MFDN 76.77 77.95 80.94 89.87 78.55
DeeplabV3+ 72.21 69.45 75.66 87.64 72.11
Segnet 53.70 58.05 64.08 83.45 58.61
Bisenet 50.01 45.66 63.98 79.01 53.19
研究区C MFDN 66.64 58.96 80.02 86.22 68.54
DeeplabV3+ 63.23 58.24 74.55 83.18 65.34
Segnet 48.70 50.01 71.11 80.91 56.61
Bisenet 31.62 42.14 68.77 78.17 47.51
研究区D MFDN 78.32 74.23 88.80 92.52 80.45
DeeplabV3+ 70.21 69.55 83.92 90.83 74.56
Segnet 72.21 60.06 71.66 82.31 67.97
Bisenet 39.01 43.74 72.06 76.66 51.60
表8 不同深度学习方法在3个测试区域的IOU结果

Tab. 8 IOU results of different deep learning methods in three test areas （%）

IOU Mean IOU
草地 灌丛 乔木
研究区B MFDN 66.95 66.77 71.30 68.34
DeeplabV3+ 61.71 60.80 65.75 62.42
Segnet 46.65 43.42 52.96 48.34
Bisenet 40.15 35.98 43.61 39.91
研究区C MFDN 54.02 47.93 70.26 57.40
DeeplabV3+ 50.11 46.33 65.01 56.75
Segnet 40.07 41.22 60.27 47.18
Bisenet 20.97 31.07 57.66 36.56
研究区D MFDN 67.22 64.01 80.57 70.60
DeeplabV3+ 61.44 60.62 74.35 65.47
Segnet 62.36 50.97 56.98 56.77
Bisenet 28.96 32.77 61.43 41.05
由图16—图18的细节展示可以看出,MFDN几乎在所有的测试图像中都取得了较好的分割效果,分割的结果非常完整,Segnet、Bisenet和DeeplabV3+的结果都存在误分类和破碎现象,本文方法分割结果的完整性和通用性优于这3种方法。从 图16—图18的浅蓝色标记框中可以看出,Segnet分割结果破碎严重并且有明显的误分类,由于Segnet网络结构比较简单,特征提取能力不足且分类没有考虑像素之间的关系,通过下采样直接还原得到的特征图比较粗糙,对复杂的植被特征感知能力不足,导致Segnet难以提取多尺度的植被信息;DeeplabV3+与Segnet相比,虽然整体的分割效果相对较好,但由于空洞卷积带来的“网格效应”会造成上下文信息的丢失,所以分割结果存在漏分现象并且边界出现了明显的背景误分;Bisenet作为轻量化分割网络,对于多尺度深层特征提取能力不足,产生椒盐现象导致分类结果中漏分、错分现象严重。因此,结果表明,本文方法不仅能有效提取植被的细节特征,而且能够融合多尺度的语义信息,有效缓解了城市多类型植被漏分、错分现象,分割结果更加完整精确。
图16 不同深度学习方法在研究区B植被分类结果细节展示

Fig. 16 Detailed display of vegetation classification results of different deep learning methods in study area B

图17 不同深度学习方法在研究区C植被分类结果细节展示

Fig. 17 Detailed display of vegetation classification results of different deep learning methods in study area C

图18 不同深度学习方法在研究区D植被分类结果细节展示

Fig. 18 Detailed display of vegetation classification results of different deep learning methods in study area D

4.5 网络运行效率对比分析

为了评价各个网络的运行效率,本文采用了网络浮点运算数（Flops）、参数数量（Params）、测试时间以及空间占用等指标定量评估网络效率。浮点运算数衡量网络的运算次数,可被用于解释模型复杂度;参数数量代表了网络的总体参数量;测试时间是测试单幅影像（2048像素×2048像素）所用时间;空间占用是网络最后生成的模型文件占用的物理内存空间大小。实验结果如表9所示,本文方法虽然在各效率指标中没有取得最佳效果,但本文旨在减少空间信息损失和细节特征丢失等问题,提高了植被分割效果并有效缓解了椒盐现象。因此,本文方法在植被分类精度上取得了最佳结果,并且减少了植被漏分、错分现象,分割结果更加完整精确。
表9 网络效率对比分析

Tab. 9 Comparative analysis of network efficiency

方法 浮点运算数(Flops)/G 参数数量(Params)/百万 测试时间/s 空间占用/M
MFDN 246.54 50.28 6.21 191
DeeplabV3+ 333.77 59.35 7.18 679
Segnet 150.18 8.91 4.08 102
Bisenet 84.38 6.33 3.48 72

4.6 模块机制有效性分析

为了证明坐标卷积、重复多尺度融合以及分离特征模块的有效性,对网络进行了4次更改,进行了去除坐标卷积（MFDN-noCoord）、去除重复多尺度融合（MFDN-noRMF）、去除分离特征（MFDN-noDSC）以及同时去除上述所有模块（MFDN-Baseline）和本文所提方法的五种网络的对比实验,实验结果如表10所示。下面介绍了四种更改网络的性能,并与MFDN做了对比分析。
表10 5种植被分类方法的评价指标对比

Tab. 10 Comparison of evaluation indexes of five planting classification methods （%）

研究区B 研究区C 研究区D
OA F1 IOU OA F1 IOU OA F1 IOU
MFDN 89.87 78.55 68.34 86.22 68.54 57.40 92.52 80.45 70.60
MFDN-noCoord 88.29 75.51 65.52 84.69 66.24 57.29 90.86 78.45 64.80
MFDN-noRMF 87.15 71.62 59.55 83.55 64.33 54.87 89.94 74.06 62.04
MFDN-noDSC 88.03 71.76 60.19 83.72 65.21 55.56 90.77 77.17 67.26
MFDN-Baseline 86.76 68.56 58.66 82.23 60.94 51.44 89.02 72.52 61.74
去除坐标卷积（MFDN-noCoord）的OA、F1和IOU在3个测试区域都低于MFDN,OA、F1和IOU在研究区B中分别低了1.58%、3.04%和2.82%,结果表明坐标卷积可以减少空间信息的丢失,增强对特征的有效提取。
去除重复多尺度融合（MFDN-noRMF）的OA、F1和IOU在研究区C中比MFDN分别低了2.67%、4.21%和2.53%,在研究区B和研究区D中也低于MFDN,去除重复多尺度融合模块后网络的性能降低很多,影响分类的精度,证明重复多尺度融合在网络中起着重要作用。
去除分离特征（MFDN-noDSC）在研究区D中的OA、F1和IOU比MFDN分别低了1.75%、3.28%和3.34%,在研究区B和研究区C中也低于MFDN,结果表明分离特征模块对网络产生了积极的影响。
去除上述所有模块（MFDN-Baseline）中的OA、F1和IOU在所有测试区域都远低于MFDN的结果,结果表明,为了确保网络的效率以及精度,坐标卷积、重复多尺度融合和分离特征模块是十分有效且必不可少的。

5 结论

城市植被是城市生态环境的重要组成部分,对城市规划和生态环境评价具有重要意义。因此本文基于无人机可见光影像,设计了一种多尺度特征感知网络（MFDN）用于城市植被自动分类,主要结论如下：
（1）在网络输入层引入坐标卷积模块,有效消除了空间信息尤其是边界信息的损失;在并行的网络之间引入了重复多尺度融合模块,使得每个子网络都能够重复的接收来自其他并行分支网络的特征信息,在整个过程中保持高的分辨率表示;在最后的分支网络中添加分离特征模块扩大感受野获取多尺度特征,提高了分类精度,平均总体精度、平均F1得分和平均IOU分别为89.54%、75.85%和65.45%,有效减少了错分、漏分现象。
（2）在不使用近红外和激光雷达等数据,仅使用可见光影像的情况下,对草地、灌丛、乔木3种形态相似的植被类型分类进行了综合评价。本文的实验是直接对不同城市区域、不同分辨率的影像进行了测试,利用MFDN对城市植被进行了有效分类,分割结果完整精确,在不同的城市植被影像分类任务上具有较好的泛化性,因此具有广阔的应用前景。
（3）本文方法与DeeplabV3+、Segnet、Bisenet等先进的深度学习方法进行了对比,在测试影像上的平均OA、平均F1和平均IOU分别高出其他方法中效果最好的DeeplabV3+方法2.32%、5.17%、3.90%。结果表明,该网络的性能优于其他网络,证明MFDN在无人机可见光影像城市植被分类性能方面是有效可行的并且具有良好的通用性,适用于城市区域植被快速调查。
本文方法仅使用RGB影像波段信息在对比实验中展现了较好的精度效果,分割结果更加完整精确,但是依旧存在由于信息不足导致形态外观相似的植被出现一些误分和错分的现象。因此未来的研究方向将会针对这一问题考虑添加更多特征作为支持信息增强分类决策的置信度以及结合辅助遥感数据进一步提高城市植被分类精度。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
李莹, 于海洋, 王燕, 等. 基于无人机重建点云与影像的城市植被分类[J]. 国土资源遥感, 2019, 31(1):152-158.

[ Li Y, Yu H Y, Wang Y, et al. Classification of urban vegetation based on unmanned aerial vehicle reconstruction point cloud and image[J]. Remote Sensing for Land and Resources, 2019, 31(1):152-158. ] DOI: 10.6046/gtzyyg.2019.01.20

DOI

[2]
刘保生. 基于高分辨率IKONOS影像的城市植被信息提取方法浅析[J]. 测绘通报, 2016(S1):182-184,187.

[ Liu B S. Analysis based on high resolution IKONOS images urban vegetation information extraction method[J]. Bulletin of Surveying and Mapping, 2016(S1):182-184,187. ] DOI: 10.13474/j.cnki.11-2246.2016.0653

DOI

[3]
汪雪淼, 孟庆岩, 赵少华, 等. GF-2在城市绿地分类及景观格局度量中的应用[J]. 地球信息科学学报, 2020, 22(10):1971-1982.

DOI

[ Wang X M, Meng Q Y, Zhao S H, et al. Urban green space classification and landscape pattern measurement based on GF-2 image[J]. Journal of Geo-information Science, 2020, 22(10):1971-1982. ] DOI: 10.12082/dqxxkx.2020.200122

DOI

[4]
浮媛媛, 赵云升, 赵文利, 等. 基于多源亮度温度的城市典型植被分类研究[J]. 激光与光电子学进展, 2015, 52(7):267-272.

[ Fu Y Y, Zhao Y S, Zhao W L, et al. Studies of typical urban vegetation classification based on brightness temperature from multiple sources[J]. Laser and Optoelectronics Progress, 2015, 52(7):267-272. ] DOI: 10.3788/LOP52.072801

DOI

[5]
Feng Q, Liu J, Gong J. UAV remote sensing for urban vegetation mapping using random forest and texture analysis[J]. Remote Sensing, 2015, 7(1):1074-1094. DOI: 10.3390/rs70101074

DOI

[6]
皮新宇, 曾永年, 贺城墙. 融合多源遥感数据的高分辨率城市植被覆盖度估算[J]. 遥感学报, 2021, 25(6):1216-1226.

[ Pi X Y, Zeng Y N, He C Q, et al. High-resolution urban vegetation coverage estimation based on multi-source remote sensing data fusion[J]. National Remote Sensing Bulletin, 2021, 25(6):1216-1226. ] DOI: 10.11834/jrs.20219178

DOI

[7]
王美雅, 徐涵秋. 中国大城市的城市组成对城市热岛强度的影响研究[J]. 地球信息科学学报, 2018, 20(12):1787-1798.

DOI

[ Wang M Y, Xu H Q. Analyzing the influence of urban forms on surface urban heat islands intensity in Chinese mega cities[J]. Journal of Geo-information Science, 2018, 20(12):1787-1798. ] DOI: 10.12082/dqxxkx.2018.180257

DOI

[8]
姚方方, 骆剑承, 沈占锋, 等. 高分辨率影像城市植被自动提取算法[J]. 地球信息科学学报, 2016, 18(2):248-254.

DOI

[ Yao F F, Luo J C, Shen Z F, et al. Automatic urban vegetation extraction method using high resolution imagery[J]. Journal of Geo-information Science, 2016, 18(2):248-254. ] DOI: 10.3724/SP.J.1047.2016.00248

DOI

[9]
Wang X, Wang Y, Zhou C, et al. Urban forest monitoring based on multiple features at the single tree scale by UAV[J]. Urban Forestry and Urban Greening, 2020, 58:126958. DOI: 10.1016/j.ufug.2020.126958

DOI

[10]
Hassaan O, Nasir A K, Roth H, et al. Precision Forestry: Trees counting in urban areas using visible imagery based on an Unmanned Aerial Vehicle[J]. IFAC PapersOnLine, 2016, 49(16):16-21. DOI: 10.1016/j.ifacol.2016.10.004

DOI

[11]
赵云景, 龚绪才, 杜文俊, 等. 基于无人机图像颜色指数的植被识别[J]. 国土资源遥感, 2016, 28(1):78-86.

[ Zhao Y J, Gong X C, Du W J, et al. Vegetation extraction method based on color indices from UAV images[J]. Remote Sensing for Land and Resources, 2016, 28(1):78-86. ] DOI: 10.6046/gtzyyg.2016.01.12

DOI

[12]
林志玮, 涂伟豪, 黄嘉航, 等. 基于FC-DenseNet的低空航拍光学图像树种识别[J]. 国土资源遥感, 2019, 31(3):225-233.

[ Lin Z W, Tu W H, Huang J H, et al. Tree species recognition of UAV aerial images based on FC-DenseNet[J]. Remote Sensing for Land and Resources, 2019, 31(3):225-233. ] DOI: 10.6046/gtzyyg.2019.03.28

DOI

[13]
Gaparovi M, Di Dobrini. Comparative assessment of machine learning methods for urban vegetation mapping using multitemporal Sentinel-1 imagery[J]. Remote Sensing, 2020, 12(12):1952. DOI: 10.3390/rs12121952

DOI

[14]
Rumora L, Miler M, Medak D. Impact of various atmospheric corrections on Sentinel-2 land cover classification accuracy using machine learning classifiers[J]. International Journal of Geo-Information, 2020, 9(4):277. DOI: 10.3390/ijgi9040277

DOI

[15]
戴鹏钦, 丁丽霞, 刘丽娟, 等. 基于FCN的无人机可见光影像树种分类[J]. 激光与光电子学进展, 2020, 57(10):101001.

[ Dai P Q, Ding L X, Liu L J, et al. Tree species identification based on FCN using the visible images obtained from an Unmanned Aerial Vehicle[J]. Laser and Optoelectronics Progress, 2020, 57(10):101001. ] DOI: 10.3788/lop57.101001

DOI

[16]
Chen S, Mcdermid G, Castilla G, et al. Measuring vegetation height in linear disturbances in the boreal forest with UAV photogrammetry[J]. Remote Sensing, 2017, 9(12):1257. DOI: 10.3390/rs9121257

DOI

[17]
Tian J, Le W, Li X, et al. Comparison of UAV and WorldView-2 imagery for mapping leaf area index of mangrove forest[J]. International Journal of Applied Earth Observation and Geoinformation, 2017, 61:22-31. DOI: 10.1016/j.jag.2017.05.002

DOI

[18]
Van L W, Straatsma M, Addink E, et al. Monitoring height and greenness of non-woody floodplain vegetation with UAV time series[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 141(jul.):112-123. DOI: 10.1016/j.isprsjprs.2018.04.011

DOI

[19]
耿仁方, 付波霖, 蔡江涛, 等. 基于无人机影像和面向对象随机森林算法的岩溶湿地植被识别方法研究[J]. 地球信息科学学报, 2019, 21(8):1295-1306.

DOI

[ Geng R F, Fu B L, Cai J T, et al. Object-based karst wetland vegetation classification method using unmanned aerial vehicle images and random forest algorithm[J]. Journal of Geo-information Science, 2019, 21(8):1295-1306. ] DOI: 10.12082/dqxxkx.2019.180631

DOI

[20]
周欣昕, 吴艳兰, 李梦雅, 等. 基于特征分离机制的深度学习植被自动提取方法[J]. 地球信息科学学报, 2021, 23(9):1675-1689.

DOI

[ Zhou X X, Wu Y L, Li M Y, et al. Automatic vegetation extraction method based on feature separation mechanism with deep learning[J]. Journal of Geo-information Science, 2021, 23(9):1675-1689. ] DOI: 10.12082/dqxxkx.2021.200641

DOI

[21]
Safonova A, Guirado E, Maglinets Y, et al. Olive tree biovolume from UAV multi-resolution image segmentation with Mask R-CNN[J]. Sensors, 2021, 21(5):1617. DOI: 10.3390/s21051617

DOI

[22]
Rsnen A, Virtanen T. Data and resolution requirements in mapping vegetation in spatially heterogeneous landscapes[J]. Remote Sensing of Environment, 2019, 230:111207. DOI: 10.1016/j.rse.2019.05.026

DOI

[23]
Sekertekin A, Marangoz A M, Akcin H. Pixel-based classification analysis of land use land cover using Sentinel-2 and Landsat-8 data. Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. 2017, 42,91-93. DOI: 10.5194/isprs-archives-XLII-4-W6-91-2017

DOI

[24]
张军国, 韩欢庆, 胡春鹤, 等. 基于无人机多光谱图像的云南松虫害区域识别方法[J]. 农业机械学报, 2018, 49(5):249-255.

[ Zhang J G, Han H Q, Hu C H, et al. Identification method of pinus yunnanensis pest area based on UAV multispectral images[J]. Transactions of the Chinese Society of Agricultural Machinery, 2018, 49(5):249-255. ] DOI: 10.6041/j.issn.1000-1298.2018.05.029

DOI

[25]
Wei W, Polap D, Li X, et al. Study on remote sensing image vegetation classification method based on decision tree classifier [C]// 2018 IEEE Symposium Series on Computational Intelligence (SSCI). IEEE, 2018.,18-21.

[26]
肖武, 任河, 吕雪娇, 等. 基于无人机遥感的高潜水位采煤沉陷湿地植被分类[J]. 农业机械学报, 2019, 50(2):184-193.

[ Xiao W, Ren H, Lu X J, et al. Vegetation classification by using UAV remote sensing in coal mining subsidence wetland with high ground-water level[J]. Transactions of the Chinese Society of Agricultural Machinery, 2019, 50(2):177-186. ] DOI: 10.6041/j.issn.1000-1298.2019.02.020

DOI

[27]
Deng Y, Liu, et al. Application of UAV-based multi-angle hyperspectral remote sensing in fine vegetation classification[J]. Remote Sensing, 2019, 11(23):2753. DOI: 10.3390/rs11232753

DOI

[28]
井然, 邓磊, 赵文吉, 等. 基于可见光植被指数的面向对象湿地水生植被提取方法[J]. 应用生态学报, 2016, 27(5):1427-1436.

[ Jing R, Deng L, Zhao W J, et al. Object-oriented aquatic vegetation extracting approach based on visible vegetation indices[J]. Chinese Journal of Applied Ecology, 2016:1427-1436. ] DOI: 10.13287/j.1001-9332.201605.002

DOI

[29]
Furuya D, Aguiar J, Estrabis N V, et al. A machine learning approach for mapping forest vegetation in riparian zones in an atlantic biome environment using Sentinel-2 imagery[J]. Remote Sensing, 2020, 12(4086):1. DOI: 10.3390/rs12244086

DOI

[30]
Spiering D J, Larsen C, Potts D L. Modelling vegetation succession in post-industrial ecosystems using vegetation classification in aerial photographs, Buffalo, New York[J]. Landscape and Urban Planning, 2020, 198:103792-. DOI: 10.1016/j.landurbplan.2020.103792

DOI

[31]
Geng R, Jin S, Fu B, et al. Object-based wetland classification using multi-feature combination of ultra-high spatial resolution multispectral images[J]. Canadian Journal of Remote Sensing, 2020. 46(6):784-802. DOI: 10.1080/07038992.2021.1872374

DOI

[32]
Liu M, Fu B, Xie S, et al. Comparison of multi-source satellite images for classifying marsh vegetation using DeepLabV3 Plus deep learning algorithm[J]. Ecological Indicators, 2021, 125(11):107562. DOI: 10.1016/j.ecolind.2021.107562

DOI

[33]
Liu, Yu, Gu, et al. The impact of spatial resolution on the classification of vegetation types in highly fragmented planting areas based on Unmanned Aerial Vehicle hyperspectral images[J]. Remote Sensing, 2020,12(1):146-. DOI: 10.3390/rs12010146

DOI

[34]
Zhang L P, Zhang L F, Du B. Deep learning for remote sensing data: A technical tutorial on the state of the art[J]. IEEE Geoscience and Remote Sensing Magazine, 2016, 4(2):22-40. DOI: 10.1109/MGRS.2016.2540798

DOI

[35]
Krizhevsky A, Sutskever I, Hinton G. ImageNet classification with deep convolutional neural networks[J]. Advances in neural information processing systems, 2012, 25(2). DOI: 10.1145/3065386

DOI

[36]
Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(4):640-651. DOI: 10.1109/CVPR.2015.7298965

DOI

[37]
Weinstein B G, Marconi S, Bohlman S A, et al. Individual tree-crown detection in RGB imagery using semi-supervised deep learning neural networks. Remote Sensing, 2019, 11(11),1309. DOI: 10.1101/532952

DOI

[38]
林志玮, 涂伟豪, 黄嘉航, 等. 深度语义分割的无人机图像植被识别[J]. 山地学报, 2018, 36(6):135-145.

[ Lin Z W, Tu W H, Huang J H, et al. Unmanned Aerial Vehicle vegetation image recognition using deep semantic segmentation[J]. Mountain Research, 2018, 36(6):135-145. ] DOI: 10.16089/j.cnki.1008-2786.000390

DOI

[39]
Sun K, Xiao B, Liu D, et al. Deep high-resolution representation learning for human pose estimation [C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). arXiv, 2019. DOI: 10.1109/CVPR.2019.00584

DOI

[40]
Huang G, Liu Z, Laurens V, et al. Densely connected convolutional networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE, 2017:2261-2269. DOI: 10.1109/CVPR.2017.243

DOI

[41]
Liu R, Lehman J, Molino P, et al. An intriguing failing of convolutional neural networks and the CoordConv solution[J]. 2018,arXiv:1807.03247v1

[42]
Yao X D, Yang H, Wu Y L, et al. Land use classification of the deep convolutional neural network method reducing the loss of spatial features[J]. Sensors, 2019,19(12):2792-. DOI: 10.3390/s19122792

DOI

[43]
Yu F, Koltun V. Multi-scale context aggregation by dilated convolutions[J]. arXiv preprint arXiv:1511.07122, 2015.

[44]
Chen L C, Papandreou G, Kokkinos I, et al. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 40(4):834-848. DOI: 10.1109/TPAMI.2017.2699184

DOI

[45]
Badrinarayanan V, Kendall A, Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12):2481-2495. DOI: 10.1109/TPAMI.2016.2644615

DOI PMID

[46]
Yu C, Wang J, Peng C, et al. BiSeNet: Bilateral segmentation network for real-time semantic segmentation [C]// European Conference on Computer Vision. Springer, Cham, 2018. DOI: 10.1007/978-3-030-01261-8_20

DOI

[47]
Chen L C, Zhu Y, Papandreou G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation [C]// European Conference on Computer Vision. Springer, Cham, 2018:833-851. DOI: 10.1007/978-3-030-01234-2_49

DOI

Options
Outlines

/

〈 〉