EN中文

地球信息科学学报 >

2024 , Vol. 26 >Issue 11: 2612 - 2625

DOI: https://doi.org/10.12082/dqxxkx.2024.230544

遥感科学与应用技术

复杂背景下轻量级SAR影像船舶检测方法

  • 高定 , 1 ,
  • 李明 1 ,
  • 范大昭 , 1, * ,
  • 董杨 1 ,
  • 李志新 1 ,
  • 王刃 2
展开
  • 1.中国人民解放军战略支援部队信息工程大学，郑州 450001
  • 2.山东五征集团，日照 262300
* 范大昭（1973— ），男，河南开封人，博士，教授，研究方向为数字摄影测量理论与应用。 E-mail:

高 定（1998— ），男，山西大同人，硕士生，主要从事摄影测量与遥感方向研究。E-mail:

Copy editor: 蒋树芳 , 黄光玉

收稿日期: 2023-09-11

  修回日期: 2023-10-31

  网络出版日期: 2024-11-07

基金资助

国家自然科学基金项目(41971427)

国家自然科学基金项目(42371459)

嵩山实验室项目(221100211000-5)

高分遥感测绘应用示范系统（二期）(42-Y30B04-9001-19/21)

收起

A Ship Detection Method from Lightweight SAR Images under Complex Backgrounds

  • GAO Ding , 1 ,
  • LI Ming 1 ,
  • FAN Dazhao , 1, * ,
  • DONG Yang 1 ,
  • LI Zhixin 1 ,
  • WANG Ren 2
Expand
  • 1. PLA Strategic Support Force Information Engineering University, Zhengzhou 450001, China
  • 2. Shangdong Wuzheng Group Co., Ltd., Rizhao 262300, China
* FAN Dazhao, E-mail：

Received date: 2023-09-11

  Revised date: 2023-10-31

  Online published: 2024-11-07

Supported by

National Natural Science Foundation of China(41971427)

National Natural Science Foundation of China(42371459)

Songshan Laboratory Project(221100211000-5)

The High Resolution Remote Sensing, Surveying and Mapping Application Demonstration System (Phase II)(42-Y30B04-9001-19/21)

Fold

摘要

合成孔径雷达（SAR）影像船舶检测在海上监视、海上贸易和海上救援等领域有着广泛的实际应用价值，随着星上在轨自主处理发展的需求，对星上SAR影像船舶在轨实时检测提出了更高的要求。因此针对当前卫星硬件资源有限、SAR影像船舶目标特征尺度多样化、易受噪声干扰等问题，本文提出了一种复杂背景下轻量级SAR影像船舶检测算法。首先，采用FasterNet结合注意力机制提取目标的高低级特征；其次，为解决目标多尺度问题，构建了一种特征增强模块(FEM)，在增加感受野的同时，提高了目标检测能力；然后，构造结合特征增强的多尺度特征融合结构，将主干网络提取的多尺度特征进行增强和融合，加强不同层级特征联系的同时获取目标多尺度的上下文信息，并在输出特征图中进行SAR影像船舶检测；最后，在SSDD、HRSID以及二者合并的数据集上，将本文方法与主流算法进行对比实验。实验结果表明，本文方法平均准确率分别为98.6%、92.3%和93.0%，召回率分别为95.10%、85.10%和86.8%，模型尺寸和参数量仅为8.8 MB和4.2 M，均明显优于其他方法，并且查准率和检测速率也具有很大的优势，有利于迁移到实际的应用中。

关键词： 星上处理; SAR影像; 轻量级; 尺度多样化; 多尺度特征融合; 特征增强

本文引用格式

高定 , 李明 , 范大昭 , 董杨 , 李志新 , 王刃 . 复杂背景下轻量级SAR影像船舶检测方法[J]. 地球信息科学学报, 2024 , 26(11) : 2612 -2625 . DOI: 10.12082/dqxxkx.2024.230544

Abstract

The ship target detection methods using Synthetic Aperture Radar (SAR) images have a wide range of practical applications in many fields such as surveillance on the sea surface, trade to and from the sea surface, and emergency rescue on the sea surface, etc. With the demand for the development of autonomous processing in satellite orbits, the real-time in-orbit detection and localization of ships from SAR images have put forward higher requirements. Therefore, this paper proposes a lightweight SAR image ship detection algorithm in a complex background for the current problems of limited satellite hardware resources, diverse and differentiated feature scales of different ship targets in Synthetic Aperture Radar (SAR) images, and easy to be interfered by noise. First of all, the FasterNet network model combined with the attention mechanism is used to extract different high and low level features of the target. Second, in order to solve the problem of scale inconsistency between different targets, this paper constructs a Feature Enhancement Module (FEM) that can not only increase the network sensory field at the same time but also improve the ability of network target detection. Then, a multi-scale feature fusion structure combined with feature enhancement is constructed in this paper, which can enhance and fuse the multi-scale features extracted by the backbone feature extraction network, and can also strengthen the connection between the features of different layers of the network while obtaining the multi-scale contextual information of the target, and carry out the detection of the SAR image ship in the three feature maps output from the multi-scale feature fusion structure combined with feature enhancement. Experiments are conducted to compare the proposed method with some other mainstream target detection algorithms on SSDD, HRSID, and merged SSDD and HRSID datasets. The results show that the average accuracy of the proposed methods on three datasets in this paper is 98.6%, 92.3% and 93.0%, respectively. The recall of the method in this paper is 95.10%, 85.10% and 86.8%, respectively, for three datasets. The model size and parameter number of the proposed method in this paper are only 8.8 MB and 4.2 M, respectively. The proposed method significantly outperforms other algorithms in terms of recall and average accuracy ratio. Moreover, the method in this paper also has great advantages in terms of checking accuracy and detection rate, which is favorable to be migrated to other practical applications.

Key words： on-board in-orbit autonomous processing; Synthetic Aperture Radar; lightweight; diversified feature scales; multi-scale feature fusion; feature enhancement

1 引言

近年来，随着智能遥感卫星系统的快速发展，通过星上在轨自主且智能的处理方式，直接获取所需的测绘产品，分发至用户，实现端到端的高效测绘遥感应用服务，展现出巨大的发展潜力和广阔的应用背景[1-2]。
星上遥感影像智能解译作为智能遥感卫星系统的重要组成部分，在国内外多颗光学遥感卫星上得到了初步应用。但SAR作为智能遥感卫星系统中不可或缺的一部分，其星上智能解译却起步较晚且研究较少，在轨SAR影像船舶精确定位和识别则是其中的一项关键技术，并且在海上监视、海上贸易、海上救援和军事行动等领域具有广泛的应用[3]。目前，SAR影像的船舶检测的方法主要分为传统检测和基于深度学习检测的方法。
传统检测方法，主要包括恒虚警率和尾迹检测算法等。其中恒虚警率检测算法(Constant False Alarm Rate, CFAR)[4]作为应用最广泛的舰船目标检测算法之一，它主要通过对背景杂波进行统计分布建模来检测舰船目标。赵婷等[5]提出的利用基于局部Radon变换与峰值聚类决策的舰船尾迹检测算法，可以确定舰船尾迹的具体位置。上述方法对于目标和背景对比度高的简单场景效果较好，但检测速率低，同时对于复杂场景下的SAR影像检测时存在大量虚警和漏警。
近年来，卷积神经网络因其具备卓越的学习特征能力，受到了广泛的关注与研究[6],其中包括以Fast R-CNN[7]、Faster R-CNN[8]、Mask R-CNN[9]等为代表的双阶段检测算法和以SSD[10]和Yolo[11]系列等为代表的单阶段检测算法，为SAR影像船舶检测提供了新思路，然而双阶段检测算法计算量大、检测速率慢，难以满足实时检测的需求，相比之下单阶段检测算法只需单个阶段就可以完成检测任务，检测速度快，更有利于在实际中的应用。但是这些算法大多不能直接用于遥感领域，需要进一步的改良优化。
诸多学者在SAR影像船舶检测算法方面展开研究，并取得了一系列显著的成果。Han等[12]以SSD网络为基础，利用反卷积操作进行特征增强，从而提高对SAR影像中的小型舰船的检测能力。Du等[13]提出了一个基于注意力的多尺度特征模块，其中将通道和空间注意力机制提取的多尺度特征进行融合，可以抑制噪声的影响，在复杂场景下的SAR影像中获得更好的检测性能。然而，在实际的SAR目标检测当中需要考虑到有限计算资源环境下高精度且体积小的要求，因此轻量化SAR目标检测已成为当前研究的热点。其中网络轻量化处理主要包括网络剪枝、知识蒸馏和网络结构改进。在网络剪枝方面，周舟等[14]提出了一种结合了Faster-RCNN和卷积通道剪枝的舰船检测方法，在训练好的模型基础上进行卷积通道的结构化剪枝，从而降低参数和减小模型体积，且依旧保持不错的检测精度。张丽丽等[15]提出了SAR图像舰船检测的神经网络关联剪枝方法，该方法通过将网络相关联卷积层输出通道同时进行剪枝，在精度稍降的前提下，实现了网络70%的剪枝率。
在知识蒸馏方面，陈诗琪等[16]提出了一种特征图知识蒸馏引导的轻量化任意方向SAR检测目标检测方法，该方法一种改进的高斯核和前景区域增强分支，通过热度图蒸馏和全局语义模块，优化了目标检测中的特征提取和正负样本平衡问题，在模型参数仅9.07 M的条件下，实现较好的检测精度。Wang等[17]提出一种特征学习蒸馏模块，通过分离前景和场景蒸馏来提高蒸馏知识的质量，然后船舶特征表示增强模块利用特征图解耦和基于注意力的多尺度融合算法来增强学生模型对小型舰船特征的学习并减少漏检。在网络模型改进方面，Yu等[18]提出的VS-LSDet首先采用一个视觉显著性增强模块突出船舶特征和削弱噪点的影像，然后通过引入ghost卷积构造一个名为GSNet的轻量级主干网络来降低网络参数，其次利用空洞卷积模块扩大其感受野，最后利用特征图中的空间和通道信息构造了一个混合注意力模块（HyAM），整体网络实现了更高的检测精度和更低的模型复杂度。Liu等[19]设计YOLOv4-LITE模型，采用MobileNetv2作为模型的主干特征提取网络，为了解决SAR船舶多尺度的问题，引入改进的RFB模块，增强了特征提取的能力。Li等[20]对Faster R-CNN网络进行改进，设计了具有多尺度特征跳跃连接的轻型网络结构，充分考虑了局部和全局的多尺度信息，使得网络能够更好的适用于SAR影像特征的提取，同时使用K-Means方法获得目标尺度的分布。Yu等[21]提出了一种用于复杂情况下船舶检测的轻量级网络Efficient-YOLO，该算法以MobileNetv3作为主干网络，提出SCUPA模块来增强图片特征信息和模型泛化性，提出GCHE模块以增强网络提取特征的能力。
虽然上述方法在多个方面对SAR船舶检测性能进行了优化，在一定程度上提高了对SAR影像船舶的检测能力，但是在检测精度、检测速率和模型轻量化方面难以实现良好的均衡，仍然不足以满足智能遥感卫星解译的发展需求，面临着许多难题。
（1）在SAR影像中，各类船舶目标方向和尺度不同，在SAR影像中表现为不同像素数，尤其是一些像素数少的小型船舶易与背景斑点噪声所混淆，导致无法有效区分船舶与斑点噪声。
（2）在复杂场景下的SAR船舶易受到背景自然因素的影响，譬如海面上的一些小型岛屿，以及海岸附近的一些船坞或其他地物干扰，甚至有些靠岸船舶在SAR图像上与海岸融为一体等现象，造成误检或漏检。
（3）由于星上的硬件资源有限，如何能够在有限的硬件资源情况下降低网络参数并仍保持检测速率和精度，依旧面临着严峻的挑战。
因此，本文针对以上问题提出一种复杂背景下轻量级SAR影像船舶检测的算法。该算法使用轻量级的主干网络，结合注意力凸显重要特征，构造特征增强模块，经过特征增强后融合高低级特征,最后结合3个输出特征图来预测目标。

2 研究方法

Yolov5s是一种端到端的目标检测网络，采用CSPDarkNet53作为主干网络，以PANet作为特征融合结构，最后通过Yolo Head输出目标检测结果。本文算法的基准方法选用Yolov5s, 整体的框架如图1所示。算法具体步骤包括： ① 主干网络特征提取。本文采用FasterNet[22]网络提取特征，FasterNet在减少计算量的同时可以更有效地提取特征，由于SAR船舶特征在复杂场景下易受斑点噪声以及其他自然背景因素的干扰，因此采用在特征提取阶段添加注意力机制(CBAM)的方法，突出目标重要特征，并且抑制背景噪声[23]； ② 特征增强。本文利用YOLOV5算法的空间金字塔池化结构（SPPF）模块，能在一定程度上解决目标多尺度问题，同时构建特征增强模块，该模块使用多个不同尺度的卷积和不同空洞率的空洞卷积，以及残差结构，通过在特征提取阶段后和特征融合前的使用，达到提升感受野，获取多尺度特征上下文信息的目的； ③ 多尺度特征融合。该算法将主干网络提取的各级尺度不一的特征进行融合，构建FBFM (FasterNet Block Fusion Module)模块，该模块将FasterNet Block和卷积层提取的不同尺度特征进行融合，在保证轻量化的同时，还能进一步提取更加丰富的特征； ④ 特征检测。该算法将经过高低级特征融合后输出的特征图进行目标检测，并且通过非极大值抑制处理得到最终检测结果。
图1 本文SAR影像船舶检测算法整体框架

注: F1、F2、F3、F4、 F 1 '、 F 2 '、 F 3 ';表示输出的特征图, FEM表示特征增强模块。

Fig. 1 The overall framework of SAR image ship detection algorithm

2.1 轻量级特征提取网络

复杂的主干特征提取网络在模型大小和运行速率方面不能满足星上轻量化在轨处理的要求，因此本文选取轻量级卷积神经网络FasterNet作为主干网络。该网络具有结构简单，运行速度快，易部署在硬件的特点。其中网络主要分为4部分，第一个部分首先是一个编码的过程，其他部分是一个合并的过程，主要作用是下采样和增加通道数量，同时每个部分拥有若干个FasterNet Block模块。如图2所示，FasterNet 模块由一个3×3的PConv和2个1×1的Conv,以及一个残差结构组成。其中PConv是在输入通道的一部分上应用常规Conv进行空间特征提取，并保持其余通道不变，因此只有常规Conv部分通道进行计算，与整个卷积通道计算相比之下，极大地减少了特征提取过程的冗余计算。其中PConv的内存访问量为：
h × w × 2 c + k 2 × c 2 ≈ h × w × 2 c
图2 FasterNet Block结构

Fig. 2 FasterNet Block structure

式中：c、h、w分别为参与计算的卷积通道、高度和宽度，其中卷积通道c仅为常规卷积通道的 1 4，根据式（1）得到PConv内存访问量仅为常规卷积的 1 4，因此采用PConv的方法极大地提高了卷积计算速度，减少特征提取过程中的参与运算的参数量。
注意力机制具有聚焦局部特征的作用，尤其对于复杂的SAR背景下的船舶尤为重要。因此本文使用结合通道和空间维度信息的注意力机制（CBAM），结构如图3所示，CBAM是按照先通道后空间的顺序串联起来，它包含2个子模块，即通道注意力（Channel Attention Module, CAM）和空间注意力模块(Spatial Attentioan Module, SAM)，通道注意力是将输入的特征图分别通过的最大池化层(Max Pooling)和平均池化层（Average Pooling），然后将得到的2个特征图送到一个多层感知机（MLP）中处理，最后做(Add)加和以及(Sigmod)激活操作输出特征；空间注意力分别通过基于通道的最大池化和平均池化，拼接这2个特征，然后做一个卷积的降维操作，最后经过Sigmod激活输出特征。
为了充分利用CBAM注意力机制的优势，本文在FasterNet提取的不同层级特征前嵌入CBAM，在增加少量的参数的同时，凸显目标重要特征，并将其包含关注目标的特征送入到结合特征增强的多尺度特征融合结构中，提高对目标的特征提取能力，增强模型训练的鲁棒性。

2.2 特征增强模块

实现目标检测主要通过使用主干网络提取的不同尺度的特征图，这些特征图中包含丰富的目标的形状、位置等信息，但是由于主干网络提取的特征有限，语义信息较少，感受野受限，故不能满足高精度目标检测的需求。
因此本文从RFB[24]原理出发，构建了一种特征增强模块，由不同的卷积和空洞卷积构成的多分支的结构拼接而成，旨在提升网络的感受野以及适应多尺度的目标检测。结构如图4所示，该模块结构共存在4条分支，首先4条支路分别通过1×1卷积，其中一条为残差结构，其余3条分别通过3×3、3×1和1×3卷积，以通过不同的卷积尺度保留目标不同尺度下的特征；然后这3条支路分别做空洞率为3、5和5的空洞卷积操作；最后将4条支路提取的特征进行拼接，使得提取的特征包含更多的上下文信息。其计算过程表示为：
图3 CBAM网络结构

Fig. 3 CBAM network structure

X 1 = f c o n v 1 × 1 [ F ]
X 2 = f d = 5 3 × 3 { f c o n v 1 × 3 [ f c o n v 1 × 1 ( F ) ] }
X 3 = f   d = 5 3 × 3 { f c o n v 3 × 1 [ f c o n v 1 × 1 ( F ) ] }
X 4 = f   d = 3 3 × 3 { f c o n v 3 × 3 [ f c o n v 1 × 1 ( F ) ] }
Y   =   C a t ( X 1 ,   X 2 ,   X 3 ,   X 4 )
式中： f c o n v 1 × 1、 f c o n v 1 × 3、 f c o n v 3 × 1和 f c o n v 3 × 3分别表示卷积核大小为1×1×、1×3、3×1和3×3的常规卷积运算； f   d = 3 3 × 3和 f   d = 5 3 × 3分别表示空洞率为3和5的空洞卷积运算；Cat（Concat）表示特征图拼接操作； X 1、 X 2、 X 3和 X 4分别表示输入特征图经过常规卷积和空洞卷积后得到的4条支路的特征图；Y表示特征增强后的特征图。
为了能够充分发挥特征增强模块的优势，本文算法将其嵌入到多尺度特征融合之前，主干网络提取的特征经过多个特征增强模块的处理后进行融合，仅在增加少量参数的前提下，增强网络对目标的感受野，提升网络对SAR影像目标密集和模糊问题的解决能力。
图4 特征增强模块

Fig. 4 Feature enhancement module

2.3 结合特征增强的多尺度特征融合结构

SSDD和HRSID数据集具有大场景下的小目标的特点，小目标尺寸大多集中10~30像素值左右，少数在10像素以内，由于合成孔径雷达的特殊成像机制，以及目标易受到噪声等因素的干扰，因此SAR影像上的小型船舶不易与其他目标区分。对于SAR的小目标来说，随着卷积神经网络的不断加深，对目标的表征能力也在不断减弱，甚至消失。因此本文构建了一种多尺度特征融合的结构，提升对小目标的检测能力。结构如图1表示，使用经过注意力（CBAM）处理后的特征图F1(160×160)、F2（80×80）以及SPPF模块处理后的特征图F3（40×40）作为特征融合模块的输入，首先对特征图F3进行特征增强处理，上采样至尺度与特征图F2相同，并且与之融合，经过FBFM处理，得到特征图 F 3 ',然后再进行特征增强，增强后与特征图F1融合，FBFM处理后得到特征图 F 2 ',在 F 2 '的基础上特征增强，增强后与特征图 F 3 '融合，FBFM处理后得到特征图 F 1 ',继续重复上述过程，与特征图F3融合，得到特征图F4，最终由 F 2 '、 F 1 '和F4在网络输出端检测目标，其计算过程表示为：
F 3 ' = F B F M C a t F E ( f u p ( F 3 ) ) ,   F 2
F 2 ' = F B F M C a t F E ( f u p ( F 3 ' ) ) ,   F 1
F 1 ' = F B F M C a t F E ( f d o w n ( F 2 ' ) ) ,   F 3 '
F 4 = F B F M C a t F E ( f d o w n ( F 1 ' ) ) ,   F 3 '
式中：FBFM表示经过FasterNet Block Fusion的运算，如图5所示。
图5 FBFM结构

Fig. 5 FasterNet Block Fusion Module structure

FBFM模块通过残差的结构进行部分特征的重组，以达到轻量化和捕捉不同尺度的特征信息的作用， C a t（Concat）表示特征图拼接，FE表示特征增强， f u p表示上采样， f d o w n表示下采样，其中 F 2 '、 F 1 '和F4为输出的特征图。

3 实验结果和分析

3.1 数据集和实验设置

本文分别使用SSDD数据集和HRSID数据集进行训练和测试。数据集SSDD[25]主要来自RadarSat-2、TerraSAR-X和Sentinel-1卫星影像，分别采用HH(水平发射/水平接收)、HV(水平发射/垂直接收)、VV(垂直发射/垂直接收)和VH(垂直发射/水平接收)极化方式获取，一共有1 160个图像和 2 456个舰船，平均每个图像有2.12个舰船，每张图像在500像素×500像素左右，分辨率为1~15 m，在大片海域和近岸地区都有舰船目标。HRSID[26]是高分辨率SAR图像中用于船舶检测、语义分割和实例分割任务的数据集，主要来自Sentinel-1和TerraSAR-X卫星影像，该数据集共包含5 604张高分辨率SAR图像和16 951个舰船，SAR图像的分辨率分别为0.5、1、3 m。
SSDD和HRSID数据集均有不同场景下的船舶目标，其中包括简单场景和复杂场景。简单场景是少量船舶在海面行驶的场景，该场景内的船舶受干扰因素较少，易检测出船舶的位置；复杂场景包括船舶密集的港口、包含斑点噪声干扰的船舶以及船舶在复杂的海岸停靠的场景，该场景内的船舶受干扰因素居多，检测难度大，易造成漏检和误检结果。因此在这2个数据集下进行训练和测试，能够使模型更加适应不同场景下的船舶目标，提高模型检测性能的鲁棒性。
本次实验将SSDD和HRSID数据集按照7:2:1的比例划分为训练集、验证集和测试集，图像输入网络采用Mosaic、Copy paste、翻转和MixUp数据增强，初始学习率设置为0.01，采用SGD对损失函数进行优化训练，动量参数设为0.937，训练批次设为300，采用Early Stopping方法优化训练，避免出现过拟合的情况。
本次实验使用精确率P（Precision）、召回率R(Recall)、平均准确率mAP(Mean Average Precision)作为评价指标。算法对目标检测过程中，TP（True Positive）为正确检测的目标数，FP(False Positive)为虚警的目标数，FN（False Negative）为漏检的目标数。其中查准率P（Precision）的计算公式为：
P = T P T P + F P × 100 %
召回率(Recall)：
R = T P T P + F N × 100 %
平均准确率(Mean Average Precision)：
m A P = ʃ 0 1 P ( R ) d R × 100 %
式中： P(R)为P-R曲线。

3.2 消融实验结果

为了验证本文算法每个改进模块的有效性，本文分别对各模块在SSDD数据集上进行评估。评估结果如表1和表2所示，可以看出，在更换轻量级主干网络后，模型大小明显降低，增加注意力和结合特征增强的融合结构后，模型大小和网络参数量在一定程度上增加，但是在查准率和平均准确率均有所增高。其原因主要是由于主干网络提取特征有限，在提取的3条高低级特征前加注意力能有效的聚焦重要特征；如图6所示，采用Grad-CAM[22]方法分别对有注意力和无注意力输出的3条高低级特征热力图进行可视化分析，明显看出，增加CBAM能够凸显目标的重要性；然后经过结合特征增强的特征融合模块，在增加了部分参数的情况下提高检测精度。
表1 算法各模块检测精度的评估结果

Tab. 1 Evaluation results of detection accuracy of each module of the algorithm

更换主干 CBAM FEM＆MFF 方法 P/% R/% mAP/%
× × × Yolov5s 94.7 94.1 96.7
√ × × 改进1 96.0 93.9 97.1
√ √ × 改进2 96.6 90.4 97.6
√ √ √ 本文方法 96.0 95.1 98.3

注：加粗字体表示结果最优，FEM表示特征增强，MFF表示多特征融合。

表2 算法各模块模型尺寸和参数量的评估结果

Tab. 2 Evaluation results of model sizes and parametric quantities for each module of the algorithm

更换主干 CBAM FEM＆MFF 方法 Model Size/MB Parameters/M
× × × Yolov5s 14.5 7.0
√ × × 改进1 7.4 3.5
√ √ × 改进2 7.5 3.6
√ √ √ 本文方法 8.8 4.2

注：加粗字体表示结果最优，FEM表示特征增强，MFF表示多特征融合。

图6 本文算法分别在特征提取阶段输入的3个特征热力图中验证CBAM的重要性

Fig. 6 The algorithm in this paper verifies the importance of CBAM in three feature heat maps inputted in the feature extraction phase, respectively

如图7所示，展示了yolov5s和加上每个改进的模块在复杂的SAR近海岸船舶停靠场景下的比较。从图7可看出，对原始算法经过更换主干、注意力和特征增强处理后，能够避免因噪声的影响而造成误检以及对船舶的漏检。
图7 本文算法在SSDD数据集上的消融实验结果

注:黄色框表示漏检的船舶,绿色椭圆表示误检的船舶。

Fig. 7 Experimental results of ablation of this paper's algorithm on SSDD dataset

3.3 对比实验结果

为了进一步探究算法的检测性能，分别在SSDD和HRSID数据集，与其他经典目标检测算法Faster r-cnn、SSD、Yolv5s[28]、Yolov7-tiny[29]、YOLOv4-LITE-MR、EfficientYOLO在检测精度和模型大小方面进行对比，结果如表3和表4所示，明显可以看出，该算法在数据集上的检测精度最高，模型尺寸也更小，且网络参数最少，从整体上来看，检测速率仍然有很大的提升。同时为了进一步探究算法的泛化性，本文将SSDD和HRSID数据集合并为一个数据集，与Faster r-cnn、SSD、Yolv5s和Yolov7-tiny目标检测算法比较，评估结果如表5所示，可以看出，本文算法能够在轻量化的条件下，仍保持较好的检测精度和检测速率，满足实时检测的需求。
表3 本文算法与其他算法在SSDD数据集性能对比结果

Tab. 3 The performance of this algorithm is compared with other four algorithms in SSDD

算法 P/% R/% mAP/% Model Size/MB Parameters/M FPS/(frams/s)
Faster r-cnn 84.9 76.5 85.1 108.1 41.1 31.4
SSD 86.0 70.0 86.8 90.6 23.6 59.1
Yolv5s 94.7 94.1 96.7 14.5 7.0 37.3
Yolov7-tiny 95.7 92.1 97.6 12.3 6.2 24.0
YOLOv4-LITE 94.0 92.6 95.0 49.3 — 47.2
EfficientYOLO 96.1 85.7 93.6 31.3 8.2 68.5
本文算法 96.0 95.1 98.3 8.8 4.2 44.2

注：加粗数值表示结果最优。

表4 本文算法与其他算法在HRSID数据集对比结果

Tab. 4 The performance of this algorithm is compared with other four algorithms in HRSID

算法 P/% R/% mAP/% Model Size/MB Parameters/M FPS/(frams/s)
Faster r-cnn 84.1 76.2 84.3 108.1 41.1 33.5
SSD 76.9 70.8 69.5 90.6 23.6 59.1
Yolv5s 92.1 82.3 90.9 14.5 7.0 35.5
Yolov7-tiny 91.4 80.8 89.5 12.3 6.2 22.7
EfficientYOLO 93.4 72.5 87.06 31.3 8.2 49.7
本文算法 92.5 85.1 92.30 8.8 4.2 48.2

注：加粗数值表示结果最优。

表5 本文算法与其他算法在数据集HRSID和SSDD合并后的对比结果

Table 5 Comparison results of this paper's algorithm with other algorithms after merging the datasets HRSID and SSDD

算法 P/% R/% mAP/% Model Size/MB Parameters/M FPS/(frams/s)
Faster r-cnn 85.7 73.8 84.1 108.1 41.1 45.5
SSD 75.6 71.5 71.9 90.6 23.6 77.3
Yolv5s 92.3 85.7 91.3 14.5 7.0 31.8
Yolov7-tiny 91.9 82.1 90.4 12.3 6.2 29.4
本文算法 92.0 86.8 93.0 8.8 4.2 57.5

注：加粗数值表示结果最优。

如图8和图9所示，本文选取在SSDD和HRSID数据集中船舶海岸停靠和海面行驶的6个场景，对Faster r-cnn、SSD、Yolv5s、Yolov7-tiny以及本文改进算法的检测结果与真实标注对比。其中，Faster r-cnn、Yolov7-tiny对于复杂的海岸场景，难以区分船舶与陆地或海边设施，存在大量误检结果。SSD则是对于近海岸和海面上尺寸较小的目标难以进行有效的识别和定位，造成大量漏检现象。Yolv5s均检测出大多数在近海岸和海面上的目标，但是由于特征提取能力受限，对于一些船舶密集的近海岸场景不能够取得良好的检测效果。Faster r-cnn和Yolov5s均能检测出海面上大多数的船舶，但是受到SAR背景噪声的干扰，如图8区域三所示，容易对一些小型船舶出现漏检和误检。相比于其他算法，本文改进的算法能够有效的检测出近海岸和海面上的船舶，尤其在船舶密集分布以及船舶在靠岸与地面物体难以区分的场景下，也能有效地区分目标，降低漏检率，说明更换主干网络，增加注意力，重构结合特征增强的特征融合结构，能够使网络准确地检测出目标。
图8 各算法在SSDD数据集对比实验检测结果

Fig. 8 Comparative experimental detection results of each algorithm on SSDD dataset

图9 各算法在HRSID数据集检测结果

Fig. 9 Detection results of each algorithm on HRSID dataset

4 讨论与结论

4.1 结论

本文针对SAR影像船舶多尺度性、特征不够明显和易受噪声干扰等问题，提出了一种复杂背景下的轻量级SAR影像目标检测算法。该框架采用了FasterNet结合CBAM注意力机制的方法作为主干网络，该方法不仅能够保持轻量化和运行速度快的特点，而且可以突出主干网络提取的多级特征的重要性；以不同大小的空洞卷积和普通卷积组成的多分支结构组建特征增强模块来加强模型的特征提取能力，解决了主干网络特征提取能力有限的问题；结合残差的思想，将FasterNet Block模块和卷积层级联，构建FBFM模块，在减少特征提取复杂计算同时，仍能够提高目标检测的准确率；在特征融合阶段，将主干网络提取的不同尺度特征进行增强以及多个卷积层、FBFM模块的融合处理，能够实现结合特征增强的多尺度特征图融合，提升了网络对多尺度目标的表征能力。最后通过Yolo检测头确定目标类别和位置。在SSDD、HRSID和二者合并的数据集中，本文提出算法检测平均准确率分别为98.3%、92.3%和93.0%，召回率分别为95.10%、85.1%和86.8%，查准率分别为96.00%、92.5%和92.0%，相比于基准方法和其他算法漏检率和误检率明显降低，表明本文算法具备良好的检测性能和泛化性。本文算法的模型大小仅为8.8 MB,参数量仅4.2 M,具备轻量化的优势。同时，根据星载智能解译的实际需求，为构建在检测精度、检测速率和模型体积方面追求平衡的算法提供了参考。

4.2 讨论

当前SAR影像目标检测算法大多集中在提升检测精度和模型压缩中的一方面，很少方法可以同时兼顾二者。一些学者会选择适当加深或加宽网络结构，以达到理想的检测效果，但是结果带来的是计算量的增长，导致网络无法达到实时检测和节省内存的需求。还有一些学者追求减少网络参数而损失检测性能，使得网络难以应用于实际当中。
本文提出了一种轻量级卷积神经网络框架，可用于复杂环境下的SAR影像船舶的识别和定位。本文算法分别在SSDD、HRSID和二者合并的数据集进行训练和测试，选用的数据集包含不同场景、不同尺度和其他因素干扰的船舶目标，有利于提高模型在复杂环境下的适应性。通过对比实验，本文算法较之其他算法具有模型体积小、平均准确率高、召回率高、查准率和检测速率较好的特点，证明本文改进方法是有效的。从表3、表4和表5的结果看出，尽管本文方法的漏检率和误检率较低，但是其漏检和误检仍然存在，因此在未来工作中将继续探索相应的解决方案。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
纪松, 张永生, 董杨, 等. 星载轻量化影像控制点数据制作方法[J]. 测绘学报, 2022, 51(3):413-425.

DOI

[Zhang Y S, Dong Y, et al. Spaceborne lightweight image control points generation method[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(3):413-425.]

DOI

[2]
杨志柳. 面向遥感图像特殊目标检测算法的星载实时处理器实现[D]. 北京: 北京理工大学, 2016.

[Yang Z L. The implementation of spaceborne real-time Processorfor target recognition in remote sensing image[D]. Beijing: Beijing Institute of Technology, 2016.]

[3]
Dong G G, Kuang G Y, Wang N, et al. Classification via sparse representation of steerable wavelet frames on Grassmann manifold: Application to target recognition in SAR image[J]. IEEE Transactions on Image Processing, 2017, 26(6):2892-2904. DOI:10.1109/TIP.2017.2692524

PMID

[4]
Leng X G, Ji K F, Yang K, et al. A bilateral CFAR algorithm for ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(7):1536-1540. DOI:10.1109/LGRS.2015.2412174

[5]
赵婷, 王申涛, 牛林, 等. 合成孔径雷达图像舰船尾迹检测算法[J]. 上海交通大学学报, 2020, 54(12):1259-1268.

DOI

[Wang S T, Niu L, et al. Detection algorithm of ship wake in SAR images[J]. Journal of Shanghai Jiao Tong University, 2020, 54(12):1259-1268.] DOI:10.16183/j.cnki.jsjtu.2019.311

[6]
郭佳兴. 基于卷积神经网络的SAR图像舰船检测[D]. 西安: 西安电子科技大学, 2022.

[Guojia X. Ship detection in SAR images based on convolutional neural network[D]. Xi'an: Xidian University, 2022.]

[7]
Girshick R. Fast R-CNN[C]// 2015 IEEE International Conference on Computer Vision (ICCV). IEEE, 2016:1440-1448. DOI:10.1109/ICCV.2015.169

[8]
Ren S Q, He K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6):1137-1149. DOI:10.1109/TPAMI.2016.2577031

PMID

[9]
He K M, Gkioxari G, Dollár P, et al. Mask R-CNN[C]// 2017 IEEE International Conference on Computer Vision (ICCV). IEEE, 2017:2980-2988. DOI:10.1109/ICCV.2017.322

[10]
Liu W, Anguelov D, Erhan D, et al. SSD: Single shot MultiBox detector[EB/OL]. 2015: arXiv: 1512.02325. https://arxiv.org/abs/1512.02325.pdf

[11]
Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2016:779-788. DOI:10.1109/CVPR.2016.91

[12]
Han L, Ye W, Li J W, et al. Small ship detection in SAR images based on modified SSD[C]// 2019 IEEE International Conference on Signal, Information and Data Processing (ICSIDP). IEEE, 2020:1-5. DOI:10.1109/ICSIDP47821.2019.9173268

[13]
Du Y A, Du L, Li L. An SAR target detector based on gradient harmonized mechanism and attention mechanism[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19:1-5. DOI:10.1109/LGRS.2021.3103378

[14]
周舟, 王海鹏, 徐丰, 等. 基于通道剪枝的SAR图像舰船检测优化算法[J]. 上海航天, 2020, 37(4):48-54.

[Zhou Z, Wang H P, Xu F, et al. Optimization algorithm for ship detection in SAR images based on channel pruning[J]. Aerospace Shanghai (Chinese & English), 2020, 37(4):48-54.] DOI:10.19328/j.cnki.1006-1630.2020.04.007

[15]
张丽丽, 王贤俊, 屈乐乐, 等. SAR图像舰船检测的神经网络关联剪枝方法[J]. 雷达科学与技术, 2024, 22(3):284-290,299.

[Zhang L L, Wang X J, Qu L L, et al. Neural network associative pruning for ship detection in SAR images[J]. Radar Science and Technology, 2024, 22(3):284-290.]

[16]
陈诗琪, 王威, 占荣辉, 等. 特征图知识蒸馏引导的轻量化任意方向SAR舰船目标检测器[J]. 雷达学报, 2023, 12(1):140-153.

[Chen S Q, Wang W, Zhan R H, et al. A lightweight, arbitrary-oriented SAR ship detector via feature map-based knowledge distillation[J]. Journal of Radars, 2023, 12(1):140-153. DOI:10.12000/JR21209

[17]
Wang R, Qin Y X. M-FSDistill: A feature map Knowledge distillation algorithm for SAR ship detection. Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2024, 17:13217-13231. DOI:10.1109/JSTARS.2024.3426288

[18]
Hu S, Yang S, Zhou Y S. VS-LSDet: A multiscale ship detector for spaceborne SAR images based on visual saliency and light weight CNN. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2024, 17:1137-1154, DOI: 10.1109/JSTARS.2023.3336927

[19]
Liu S W, Kong W M, Chen X F, et al. Multi-scale ship detection algorithm based on a lightweight neural network for spaceborne SAR images[J]. Remote Sensing, 2022, 14(5):1149. DOI:10.3390/rs14051149

[20]
Li Y D, Zhang S S, Wang W Q. A lightweight faster R-CNN for ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19:1-5. DOI:10.1109/LGRS.2020.3038901

[21]
Yu J M, Wu T, Zhang X, et al. An efficient lightweight SAR ship target detection network with improved regression loss function and enhanced feature information expression[J]. Sensors, 2022, 22(9):3447. DOI:10.3390/s22093447

[22]
Chen J R, Kao S H, He H, et al. Run, don't walk: Chasing higher FLOPS for faster neural networks[C]// 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2023:12021-12031. DOI:10.1109/CVPR52729.2023.01157

[23]
Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]// European Conference on Computer Vision. Cham: Springer, 2018:3-19.10.1007/978-3-030-01234-2_1

[24]
Liu S T, Huang D, Wang Y H. Receptive field block net for accurate and fast object detection[C]// European Conference on Computer Vision. Cham: Springer, 2018:404-419.10.1007/978-3-030-01252-6_24

[25]
Zhang T W, Zhang X L, Li J W, et al. SAR ship detection dataset (SSDD): Official release and comprehensive data analysis[J]. Remote Sensing, 2021, 13(18):3690. DOI:10.3390/rs13183690

[26]
Wei S J, Zeng X F, Qu Q Z, et al. HRSID: A high-resolution SAR images dataset for ship detection and instance segmentation[J]. IEEE Access, 2020, 8:120234-120254. DOI: 10.1109/ACCESS.2020.3005861.

[27]
Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization[C]// 2017 IEEE International Conference on Computer Vision (ICCV). IEEE, 2017:618-626. DOI:10.1109/ICCV.2017.74

[28]
Glenn J. YOLOv5. https://github.com/ ultralytics/yolov5, 2020.

[29]
Wang C Y, Bochkovskiy A, Liao H Y M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]// 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2023:7464-7475. DOI:10.1109/CVPR52729.2023.00721

Options
文章导航

/

〈 〉