EN中文

Journal of Geo-information Science >

2015 , Vol. 17 >Issue 9: 1080 - 1091

DOI: https://doi.org/10.3724/SP.J.1047.2015.01080

Orginal Article

Review on High Resolution Remote Sensing Image Classification and Recognition

  • LIU Yang , 1, 2, 3 ,
  • FU Zhengye 4 ,
  • ZHENG Fengbin , 2, 3, *
Expand
  • 1. College of Environment and Planning, Henan University, Kaifeng 475004, China
  • 2. Laboratory of Spatial Information Processing, Henan University, Kaifeng 475004, China
  • 3. College of Computer Science and Information Engineering, Henan University, Kaifeng 475004, China
  • 4. College of Software, Henan University, Kaifeng 4750041, China
*Corresponding author: ZHENG Fengbin, E-mail:

Received date: 2014-12-12

  Request revised date: 2015-02-14

  Online published: 2015-09-07

Copyright

《地球信息科学学报》编辑部 所有
Fold

Abstract

Target classification and recognition (TCR) of high resolution remote sensing image is an important approach of image analysis, for the understanding of earth observation system (EOS), and for extracting information from the automatic target recognition (ATR) system, which has important values in military and civil fields. This paper reviews the latest progress and key technologies between domestic and international remote sensing image TCR in optical, infrared, synthetic aperture radar (SAR) and synthetic aperture sonar (SAS). The main research levels and the contents of high resolution remote sensing image TCR are firstly discussed. Then, the key technologies and their existing problems of high resolution remote sensing image TCR are deeply analyzed, from aspects such as filtering and noise reduction, feature extraction, target detection, scene classification, target classification and target recognition. Finally, combined with the related technologies including parallel computing, neural computing and cognitive computing, the new methods of TCR are discussed. Specifically, the main framework includes three aspects, which are detailed in the following. Firstly, the predominant techniques of high resolution remote sensing image processing are discussed based on high performance parallel computing. And the hybrid parallel architecture of high resolution remote sensing image processing based on Apache Hadoop, open multi-processing (OpenMP) and compute unified device architecture (CUDA) are also presented in this paper. Secondly, application prospects of TCR accuracy promotion are analyzed based on a thorough study of neuromorphic computing, and the method of multi-level remote sensing image target recognition based on the deep neural network (DNN) is introduced. Thirdly, the model and algorithm of big data uncertainty analysis for remote sensing images are discussed based on probabilistic graphical model (PGM) of cognitive computing, and the multi-scale remote sensing image scene description is given based on hierarchical topic model (HTM). Moreover, according to the related research of multi-media neural cognitive computing (MNCC), we discuss the development trend and research direction of TCR for remote sensing images big data in the future.

Key words： target classification and recognition; multi-media neural and cognitive computing; parallel computing; deep learning; topic model

Cite this article

LIU Yang , FU Zhengye , ZHENG Fengbin . Review on High Resolution Remote Sensing Image Classification and Recognition[J]. Journal of Geo-information Science, 2015 , 17(9) : 1080 -1091 . DOI: 10.3724/SP.J.1047.2015.01080

1 引言

高分辨率遥感影像的目标分类与识别（Targets Classification and Recognition,TCR）,是高分辨率对地观测系统（Earth Observing System,EOS）和自动目标识别系统（Automatic Target Recognition,ATR）的信息提取和处理的重要组成部分。TCR是精确制导、武器防御、海情监控等军事ATR系统的关键,也是提升减灾应急、交通监管、渔业海事,乃至无人车和机器人等民用系统智能化水平的核心技术。
随着EOS的光谱和频谱分辨率增加,时间分辨率和空间分辨率的不断提升,可见光、红外、高光谱、雷达等不同种类的传感器,产生大量的多尺度遥感影像。目前,先进的高分辨率遥感影像光学影像分辨率可达分米级,星载SAR已达米级,干涉雷达相对位移精度可到毫米级,高光谱影像的光谱分辨率甚至可达纳米级,卫星重访周期已大幅缩短至天。高分辨率遥感影像具备海量、多源、异构的外部特征和高维、多尺度、非平稳内部特性,是名副其实的大数据。传统的中低分辨率遥感影像解译体系,无法有效地分析高分辨率遥感影像的复杂特征。高分辨率遥感影像作为关系着国计民生的应急和减灾应用的空间大数据[1],对TCR算法处理的精度、智能化水平[2-3]、实时性和处理效率[4]提出了较高的要求。然而,由于遥感影像背景的复杂性和对象的多样性,目前国内外TCR相关方法大多针对特定时空条件,具有较大的局限性,距工程化应用尚有很大发展空间。因此,探索高效快速的TCR方法和理论,是提高ATR系统功能的重要需求,也是EOS对遥感技术发展提出的科学难题之一。
在界定遥感影像TCR问题描述基础上,本文探讨和回顾图像预处理、目标检测、场景分类、目标分类和目标识别等相关研究的现状,分析和总结TCR研究存在的主要问题,并从解决遥感分类与识别的角度,结合神经计算、认知计算和并行计算相关技术,对TCR的应用与发展进行了综合分析。

2 遥感影像TCR问题描述

目前,TCR系统研究的地物目标对象主要集中在舰船、飞机、战车、油库、桥梁、机场、港口等典型的重要战略目标。根据探测感知的手段不同,ATR系统的信息源可来自微波、可见光、红外、毫米波、超声波等传感器。其中,红外图像、可见光图像、合成孔径雷达（Synthetic Aperture Radar,SAR）图像,是实现TCR的主要信息源。此外,还有水声图像,如合成孔径声纳（Synthetic Aperture Sonar,SAS）等。
SAR图像具备全天时、全天候、可侧视成像等特点,具备一定的穿透性和形态探测能力,但对目标方位角、姿态角的变化很敏感。由于水声信号的多径传播,以及声波具备的透射特性,混响噪声干扰等原因,容易造成SAS影像的形状模糊。SAR和SAS的相干斑噪声会严重降低图像的可解译度,对其进行TCR处理前,必须抑制相干斑造成的图像质量下降问题。光学图像空间分辨率一般较高,内容丰富,目标结构明显,直观易于理解。但可见光图像易受光照、云雾等因素影响。红外传感器能捕获目标的热辐射特征,且无背景多径干扰问题。但红外图像的信噪比往往较低、对比度差,目标往往缺乏形状和纹理信息。如图1所示,高分辨率遥感影像TCR问题根据系统研究层次,一般可分为滤波降噪、图像分割（segmentation）、特征提取、潜在目标检测（detection）、虚警目标判别（discrimination）、目标类型分类（classification）、目标场景分类、目标识别（recognition）、目标身份鉴别（identification）、目标敌我确认（confirmation）、目标时空跟踪（tracking）和目标显示（indication）等若干步骤和层次。
Fig. 1 The research levels of high resolution remote sensing image of TCR

图1 高分辨率遥感影像TCR问题的研究层次

3 遥感影像TCR研究进展

由于浓厚的军事背景等原因,在遥感影像的ATR研究中,关于SAR、SAS和红外TCR的成果文献总体较少。随着民用潜力的发掘和科技成果转化,相关研究也带来了巨大生机和活力,但相关设备成本、算法精度、复杂度、时效性、软件的重用性等所带来的研发问题也逐步显现。

3.1 图像预处理

遥感影像预处理是实现图像特征提取、目标检测、分类和识别等后处理的基础。广义的遥感影像预处理包括图像的滤波、降噪、增强、定位、校正、配准、融合及特征的提取和降维等过程。狭义的预处理一般指降噪、增强、特征提取和降维等处理过程。
遥感影像滤波降噪一般利用噪声和有用信息之间的特征差异,选择性地保留有用信息,提升图像的信噪比。图像噪声一般分为加性噪声和乘性噪声,降噪是图像处理领域研究的最基础性问题。由于传感器的特性不同,遥感影像的滤波降噪算法有较大的区别,这是由于噪声源和成像机理不同造成的。遥感影像特征提取是TCR研究的重要前提,表1总结了遥感影像的典型噪声与滤波降噪方法。
Tab. 1 Typical noise and reduction method of remote sensing images

表1 遥感影像的典型噪声与降噪方法

影像类型 典型噪声 降噪滤波方法
光学 高斯加性白噪声、椒盐噪声 形态学滤波、中值滤波、加权滤波
高光谱 条带噪声 空域自适应滤波、离散剪切波、块匹配滤波
SAR和SAS 相干斑乘性噪声 PPB、SAR-BM3D、FANS、多视处理、空域滤波、局部统计特性的自适应滤波、变换域滤波
红外 热噪声、散粒噪声、1/f噪声 中值滤波、均值滤波、非线性各向异性滤波、选择性低通滤波
遥感影像特征提取是TCR研究的重要内容。目标特征提取的本质是把信息冗余的高维度原始图像信息投影到有利于分类和识别的低维特征空间中。特征提取的结果会严重影响分类和识别算法的可行性、有效性,以及识别精度。表2总结了遥感场景和典型目标的特征类型。
目前,无论是统计特征、纹理和边缘特征普遍存在计算量大,特征分布稀疏,特征维度偏高等特点。而变换和滤波特征又存在表示能力不强,语义不明确等问题。如何从遥感影像中提取具有描述能力强、易于分类识别的图像特征,是智能图像处理需迫切解决的课题。
Tab. 2 The features of scene and typical targets of remote sensing images

表2 遥感影像场景和典型目标的特征

特征类型 常见的特征 特点
几何特征 边缘、大小、纹理、灰度、BoVW 边缘具备不确定性,特征维数高、计算量大
灰度统计特征 矩特征、不变矩、直方图、灰度共生矩阵、HOG等 具备方向不变性,与空间无关,计算量大
变换特征 FFT、DCT、Hough变换、Radon变换、KL变换、小波变换 表示能力强、特征维度低、语义不直观、计算复杂度高
代数特征 PCA、ICA、CCA、MDS、LDA、流形学习低维子空间特征 能反映图像的内在属性,维度低、稳定,部分特征具备旋转和平移不变性

3.2 目标检测

类似于人脸检测,目标检测要对场景内目标是否存在进行检测,是雷达区分目标和杂波的重要功能,在目标探测和显示中有广泛应用。作为预警雷达和声纳的重要功能,目标检测是静止和运动目标显示（Stationary and Moving Target Indication,SMTI）（如GMTI、AMTI、MMTI,以及水下运动目标显示）等应用的核心技术。根据高分辨率遥感影像中目标的形态特点,表3总结了遥感影像的典型地物目标检测方法。
Tab. 3 Methods of target detection of remote sensing images

表3 遥感影像目标检测方法

目标类型 典型目标示例 目标特征 主要检测算法
线状目标 道路、机场跑道、河流等 边缘、大小、纹理、灰度 边缘提取、结构分析检测
团块目标 飞机、舰船、车辆、坦克等 纹理与形状特征、空间区域特性、视觉显著性 图像分割、结构分析检测,统计分析检测,分布模型（如CFAR）检测,变换域检测、多核学习、流形学习
复合目标 机场、车站、港口、油库、桥梁、建筑物 点、线和纹理结构特征,目标多特征组合 任务驱动和数据驱动综合策略
在基于分布模型（如K分布模型、联合分布模型等）的团块目标检测算法中,CFAR检测方法[5]及其变种（如CA-CFAR、SO-CFAR、GO-CFAR、OS-CFAR、双参数CFAR、K分布CFAR算法等）,是雷达信号检测领域最常用和最有效的检测算法。其中,SAR图像目标检测研究开展较早,SAR舰船目标检测可利用舰船目标与水体的电磁散射差异,针对近岸SAR图像船舶检测,文献[6]用MRF方法来实现海陆分割,利用CFAR检测器实现近岸船舶检测任务。光学遥感影像的舰船目标检测起步稍晚,技术相对滞后。近期,主题模型[7]、分层自适应部分模型[8]、上下文分析[9]和多核学习算法[10]取得较好目标检测效果。视觉显著性[11]和流形学习[12]中目标检测中也有较好的应用。
目前,遥感影像目标检测研究存在的主要问题是目标检测针对性较强,缺乏通用和鲁棒性目标检测模型和算法。在复杂环境中,基于恒虚警率的目标检测方法虚警率过高不利于实时的应用。利用图像分割剔除干扰,是目标检测急需解决的问题,如舰船检测的海陆分割精度低会严重引起漏检。此外,目标的运动特性（如舰船的尾迹、潜艇的航迹）、SAR和SAS目标的阴影的利用、可见光的云层遮挡,以及红外的背景干扰需要有针对性的改进检测模型。建立适用性强的检测模型和多源融合的并行快速处理算法,才能实现目标检测和识别的实用化。

3.3 场景分类和目标分类

遥感影像的目标分类和图像分类内涵不同。一般而言,遥感的图像分类是像元级的地物属性分类,在图像处理领域里实质是图像分割。目标分类任务类似语音识别和字符识别任务,按照目标的种类、等级或类型,对其自动分类或判断某个目标所属类别,是对象级的地物属性分类。场景分类隶属于整体的图像理解的研究范畴,场景分类要对图像场景进行分析、判断、解译和标注。表4总结了常用遥感影像场景分类和目标分类算法和特点。
Tab. 4 Algorithms of scene classification and target classification

表4 场景分类和目标分类算法

分类特征 分类算法 特点
场景分类 颜色、对象特征、方向梯度、密度、特征点、变换域纹理、局部特征 SVM、BP、MRF、PLSA、KNN、LDA、随机森林、决策树、集成学习 常用场景的局部特征进行分类
目标分类 SIFT、目标峰值特征、稀疏表示BoVW、极化散射特性、几何特征、矩特征和纹理特征 KFCM、RVM、SVM、Fisher、FNN、MRF、DCNN、EM 多用目标的全局特征进行分类

3.3.1 场景分类

场景分类是学习和发现图像与场景语义内容标签的一个映射过程[13]。场景通常包含多个目标,场景分类也是图像理解的关键课题。常见场景分类算法有局部语义的场景分类、中层语义的场景分类、语义主题模型的场景分类等。根据场景分类的层次又可分为低层特征描述和中层特征描述2大主流方法。由于低层特征描述往往泛化性能差,难用于处理训练集以外的图像分类,目前场景分类算法大部分集中在基于中层语义建模的场景分类。
中层特征是对低层特征的一种聚集和整合,其本质是利用统计分布建立特征与类别的联系。全局的低层特征往往无法反映局部对象,考虑局部低层特征描述、多局部特征融合及集成学习可提高场景分类的识别率。视觉词袋（Bag of Visual Words,BoVW）模型的场景分类,是目前广泛采用的中层语义算法。BoVW模型无需分析场景具体目标组成,根据场景低层特征统计特性建立视觉单词,然后利用图像的视觉单词分布来表达图像场景信息[14]。考虑视词的空间共生关系和上下文关系,将有助于提升场景结构语义的解释。但目前BoVW模型的视词数量设置多少为宜尚无定论,且生成对象也往往与训练样本有较大相关度,而这是影响算法鲁棒性的重要因素。
统计学习理论是比较成熟的研究算法,在多传感器的融合遥感影像场景分类中,结构风险最小化原则的SVM[15]和利用bootsrap重抽样的随机森林有相关报道。为实现机载雷达和多光谱图像的场景分类,随机森林往往结合经典的先验模型无监督图像分割工具MRF进行分类[16]。近期源于文本分类研究的pLSA、LDA等语义主题模型,在星载滑坡[17]和机载航空摄影[18]的场景分类中得到较好的实验效果。
中层语义场景分类在一定程度上缓解语义鸿沟的问题,但对场景尺度变化、传感器拍摄角度和时间的差异、语义对象组合变化往往缺乏有效措施。稀疏编码和深度学习[19]较高的算法复杂度是制约其在遥感影像场景分类进一步应用的重要因素,尤其是对高分辨率遥感影像的场景分类这类数据量大、场景对象构造复杂的特殊问题,其算法的鲁棒性、复杂度问题仍有较大的提升空间。
3.3.2 目标分类
一般而言,一个场景是由多个目标组成,在语义特征上,场景语义要比目标语义复杂。但如果从场景的粗分类角度,其算法往往比目标分类简单,故可利用粗粒度的场景分类初步确定目标环境,然后进一步实现目标分类和识别。目标分类算法基本上与场景分类差别不大,但目标一般是在图像分割后的切片上进行。
针对SAS图像的水下目标分类问题,文献[20]提出一种上下文相关的水下目标分类框架。考虑不同的水下环境的相关参数设置,采用RVM实现水声图像的目标分类。对于SAR图像还可利用其极化[21]特性进行目标分类研究。高分辨率光学遥感影像的目标分类一般都需利用其丰富的纹理和边缘信息。对光学图像土地覆盖目标分类问题,文献[22]采用EM算法和考虑空间相关性的MRF的迭代分类策略实现目标分类。文献[23]利用小波核函数构建小波模糊SVM,实现遥感影像的的目标分类和识别。针对传统BoVW模型缺乏空间语义描述、字典学习和特征编码的不足,基于稀疏编码[24]的BoVW模型可减轻特征编码的自适应性,并减少字典长度对分类性能的敏感度。此外,面向对象[25-28]的思想在目标分类研究非常值得关注,诸如ENVI、eCogition等商业遥感分析软件都采用面向对象的思想进行图像分析,其算法流程和遥感影像的目标分类在本质上类似。
目前,遥感影像场目标分类存在的主要问题是,目标分类算法所利用的全局特征往往鲁棒性不强,局部特征缺乏空间描述,二者都存在较大的局限性,急需研究新颖的、描述能力强,计算复杂度低的特征来描述和表示目标的语义。需要进一步利用目标对象的视觉认知层次性,综合考虑对象的稀疏表示、语义主题特性,以及目标之间的空间语义,设计目标的认知分类模型,提升算法识别率和鲁棒性。

3.4 目标识别

类似于声纹识别和人脸识别任务,目标识别是在已知目标种类的情况,标识出目标的具体型号。目标分类将目标归为一种已知的物体类型,而目标识别则要进一步根据目标特征进行区分。
模板匹配法是目标识别早期使用的相对简单方法,在此基础上发展起来的基于模型的方法则从目标中抽取特征,将目标抽象为目标模型、背景模型或环境模型进行识别,如MRF和CRF等模型。较为成熟并获得广泛应用的目标识别分类器是统计模式识别技术,主要利用贝叶斯决策规则解决最优分类问题。常见的方法有判别函数法、近邻分类法、非线性映射法、特征分析法、主因子分析法、SVM、STM[29]、半监督学习算法等。由于目标在不同传感器所生成的图像差异性较大,目标识别方法也有所不同,表5总结了常用的不同类型遥感影像的目标识别算法。
Tab. 5 Target recognition algorithm of remote sensing images

表5 遥感影像的目标识别算法

影像类型 特征提取 主要识别算法
光学 几何大小、灰度统计特征、边缘形状特征、纹理特征、视觉感知特征 分形模型、模糊理论、粗糙集、SVM、KNN、HDR、概率生成模型、PCNN、分类判决树、RBF
红外 灰度梯度特征、分形特征、LBP纹理 Adaboost、流形学习、Fisher最佳鉴别
SAR 形状特征、纹理特征、电磁散射特征、变换特征、局部不变特征 模板库匹配、散射图匹配、峰值与阴影相似度、Adaboost、3D模型
SAS 阴影形状、活动轮廓、几何特征 DS证据理论、流形学习、MCMC、BBA
目标在光学图像中易受气候、日照、云雾等多种因素影响。光学遥感影像目标识别中常用的特征,主要采用目标的灰度统计特征、几何形状与边缘纹理特征[30]、视觉感知特征[31]、分形模型、模糊理论及粗糙集理论[32]等。视觉感知机理的方法多以视觉系统注意机制,提取显著区和视觉特征进行目标识别[30]。文献[33]利用PCA和决策融合,实现超光谱图像的目标识别任务。作为海量数据挖掘的理论工具粗糙集理论[32]能有效运用于多属性的目标识别。
红外图像属于目标的热辐射,受红外系统固有特性的影像,红外图像一般存在对比度低、目标边缘模糊和图像信噪比低等特点。常用灰度特征、分形特征和LBP纹理特征进行目标识别[34]。红外图像在特征提取前,一般需进行图像增强处理。文献[35]提出对比度拉伸变换、Otsu算子和形态学算子处理红外图像,并利用先验知识实现目标识别任务。
光学图像具备目标清晰、目标纹理和形状边缘,而SAR图像往往包含大量的相干斑噪声,且方向性强,对于ROI存在稀疏性的强散射中心。SAR图像目标特征采用形状特征（如周长、面积、长度、细长度等）、纹理特征（如标准差、分形维数、加权填充比等）、电磁散射特征（如峰值特征、散射中心特征等）、变换特征（如小波变换、Radon变换、PCA、ICA等）和局部不变特征（如SIFT特征、Hu矩、广义不变矩、微分不变量等）进行目标识别。利用多极化SAR图像提取纹理描述子构造鲁棒的舰船分类识别表示方法,文献[36]提出了一种层次化的船舶识别方案。
和SAR类似,SAS图像目标识别常用几何特征进行处理。针对SAR和SAS图像的对比度低、分辨率低、噪声和杂波的存在问题,文献[37]考虑到图像边界先验知识,利用阴影形状的仿射变换构造目标的活动轮廓的形状特征。文献[38]针对各向异性扩散滤波消除斑点噪声,采用模糊形态学把图像分割为高反射区和阴影区并提取几何特征,最后利用MCMC方法进行目标识别。
流形学习可用低维流形结构描述目标的高维数据分布的内在规律实现维数约简,能有效解决目标图像的特征抽取和识别问题。基于图理论和微分几何,文献[39]通过寻找SAS图像的低维流形嵌入一个高维特征空间构成扩散映射的非线性降维的目标描述,提升了SAS目标识别能力。此外,DS证据理论也有助于SAS图像目标识别性能提升[40]。
目标识别的本质是一个由原始数据模式空间或特征空间到高层对象或类别语义的映射过程。目标识别目前存在的主要问题,是遥感影像目标背景复杂、图像分辨率不同,特征表现出的差异较大。对于可见光和红外影像要有效消除复杂背景信息对识别的干扰;对SAR和SAS图像则需进一步寻求准确、稳健的特征描述,综合考虑目标轮廓和遮挡阴影,对目标进行分割和姿态估计。

4 TCR研究的主要问题和研究方向

4.1 当前研究存在的主要问题

从目前公开文献来看,TCR相关研究主要存在如下问题：
（1）在复杂背景容易造成目标检测虚警率过高问题,视觉显著性的利用是目标检测重要手段。降噪、特征提取和目标检测一般计算量大,并行计算架构对于提升检测性能具有重要意义。
（2）遥感影像场景分类和目标分类关键问题是分类器设计,视觉神经信息处理的层次性非常值得关注的,目前的图像分类器多以浅层结构进行,其变化范围和适应对象往往有限,深度学习在语音和图像的神经计算中取得的进展,是场景和目标分类器的重要探索方向。
（3）遥感影像目标识别的核心是建立图像低层特征和高层语义对应关系。几乎所有目标识别算法都是以自低向上的视觉数据驱动算法,而自顶向下的任务驱动在目标识别所起的重要性不容忽视。结合概率理论的认知模型构造新型目标识别架构,是实现高度自适应的目标识别算法重要途径。

4.2 进一步研究方向

TCR的本质是现实世界的地物对象的时空认知,通过对图像感知和解译,再现和提取地物的现实信息过程。为适应未来发展需要,作者认为TCR进一步研究将主要集中系统的性能、精度和速度3个方面（图2）。
Fig. 2 The research direction of high resolution remote sensing image of TCR

图2 高分辨率遥感影像TCR问题的研究方向

（1）建立多尺度的高分辨率遥感影像场景认知模型,以满足TCR系统的性能需求。
（2）实现面向对象的多层次高分辨率影像目标识别处理,以提升遥感影像的“像元-对象-特征-目标-场景”复杂语义映射的精度问题。
（3）利用并行计算机制,建立快速高效的分类识别算法,以适应遥感影像大数据提供快速检测、分类和识别任务。
针对TCR上述3方面研究内容,下面结合神经计算、认知计算和并行计算相关技术,从遥感分类与识别的角度分析具体研究方向。
4.2.1 基于异构混合并行的高性能遥感影像快速目标检测处理
高性能并行计算技术,是提升遥感影像信息提取速度的重要途径。对于遥感影像的滤波、检测等处理,可采用图像分块等数据并行处理技术提升算法运行速度。对于复杂遥感影像处理算法,则可进一步考虑算法的任务并行性,合理设置任务并行粒度进行算法设计。
遥感影像并行处理可采用的面向多机并行处理系统[41]的MPI、面向多核并行处理系统[42]的多线程模式的OpenMP和面向GPU并行处理系统[43]的CUDA异构编程模式实现。MPI+OpenMP+CUDA三级混合编程模型[44],是一种全新的多机、多核、多线程、多GPU混合异构的并行计算体系结构,具备计算能力强、性价比高和能耗低等优点,已逐渐成为新型高性能计算平台主流技术。目前,遥感影像并行研究大多集中在预处理算法方面,部分学者将GPU技术应用到目标识别和分类中[45-46],将高性能并行计算运用到遥感影像处理是其发展趋势。
遥感影像处理系统性能提升的关键是并行体系结构的设计。文献[47]从系统结构、并行模型、数据分布策略和软件集成角度,阐述遥感应用并行计算的关键技术。针对大规模图像识别的监督和非监督子空间学习问题,文献[48]提出一种任务并行的子空间学习框架。遥感影像大数据并行计算研究的核心是大数据存储、并行处理和系统管理,具体存储方案可采用并行数据库[49]和流式数据访问模式的HDFS等技术。由于图像矩阵的数据结构的可分块处理,非常易于运用Hadoop相关MapReduce技术进行图像的多机并行处理[50-53]。针对遥感大数据分块分布式存储方案,具备数据并行的特性,图3显示了一种基于Hadoop+OpenMP+CUDA的高分遥感影像混合并行架构。
Fig. 3 Hybrid parallel architecture of high resolution remote sensing image processing based on Hadoop+OpenMP+CUDA

图3 基于Hadoop+OpenMP+CUDA的高分辨率遥感影像混合并行处理架构

由于不同的并行处理算法在并行结构上差异性较大,造成并行程序通用性差,使TCR并行算法设计存在一定困难。尽管采取“存储即计算”等策略,但频繁的进行多机之间、多核之间、GPU之间,以及CPU和GPU之间的数据交互和通信开销,将严重影响系统的加速比和效率提升,目前尚无合理的通用解决方案。
4.2.2 基于神经计算的多层次面向对象的高精度目标识别
自1943年McCulloch和Pitts提出神经元模型,从感知机到BP网络,ANN发展几经波折。被称为第三代人工神经网络的大规模的脉冲神经网络（Spiking Neural Networks,SNN）[54]系统架构,具备低能耗、实时的多目标检测和分类能力。由于SNN的信息处理不仅依据给定时间窗口内脉冲发放的数目（频率）,而且考虑脉冲发放的时刻,使其可有效处理视听系统的时空变化信息。结合忆阻器的记忆特性和LIF脉冲神经元,SNN具备图像边缘提取[55]、视觉注意模拟[56]等能力。但SNN训练目前主流是在BP算法基础上改进的SpikeProp算法,尚缺有效的算法进行网络训练[57]。
作为模拟人脑的分层结构的神经计算模型,深度学习构建多层神经网络来抽取目标特征[58],是TCR重要研究方向。传统BP算法对网络参数采用随机初始化,容易陷入局部极值和梯度弥散的训练失败问题。深度学习则能从原数据自动进行特征学习,通过多层非线性网络逼近复杂分类问题,从海量的大数据里寻找和发现图像目标的内部结构和关系。目前,深度学习算法在图像识别[59]和语音识别[60]等应用取得前所未有的成果。深度学习在TCR的应用引起广泛重视,并在字符识别[61]、自然图像分类[62]、高光谱图像分类[63]等取得显著性成效。深度学习一般需海量的训练样本,才容易提取其特征,这与遥感图像大数据的特性不谋而合。图4显示了采用深度神经网络,进行遥感影像目标识别的深度学习算法设计方案。系统在做监督学习前,要先逐层做非监督学习,然后将非监督学习学到的权值当作监督学习的初值进行BP算法训练。
Fig. 4 Multi-level remote sensing image target recognition based on the deep neural network

图4 基于深度神经网络的多层次遥感影像目标识别

神经计算在低级视觉研究取得一定成果,但在高级视觉和神经推理研究,以及高级视觉对中、低级视觉的反馈影响方面尚缺完善的模型。遥感影像内含大量语义信息,缺乏复杂图像结构的分析和表示,以及综合整体认知和局部分析的神经推理框架。仅靠现有神经计算技术无法整体实现图像理解的表示、存储、认知、学习、推理和理解等过程,必须和高层次的认知计算结合才能有效解决TCR问题。
4.2.3 基于认知计算提升多尺度的遥感影像大数据TCR处理性能
认知计算作为借鉴人类的认知机理和模型的计算方法早已存在,但最近不断取得了突破。IBM基于Deep QA和迁移学习的Watson系统[64]可模仿人脑的学习、思考和决策等认知过程,并可构成大数据分析处理的云计算服务系统。利用认知计算探索遥感影像大数据的特征表示,特性降维、信息提取,实现智能遥感影像智能解译,是当前遥感大数据研究的热点问题。认知理论和模型在医学影像解译、分析和推理取得满意的成果[65]。文献[66]认为地学认知问题是遥感地学理解和分析的核心,并给出遥感地学智能图解的层次化的认知模型。文献[67]采用K-Means和K-SVD算法的字典学习算法,解决了稀疏时空大数据的遥感分析问题。
基于图论和概率统计理论的PGM,是复杂认知系统建模的有力工具。影像解译往往需要结合认知理论进行,统计学习认知模型的视觉认知计算系统,将有助于影像自动解译的理论研究和算法设计。近年来,在影像自动解译有较大影响的PGM类型有：主题模型、Gaussian和Dirichlet过程的层次Bayesian模型。相关学者将主题模型中的LDA模型[18]、pLSA[17]、ATM[68]等概率生成模型引入影像智能解译工作中。主题模型的一般方法是通过BoVW模型来提取的遥感影像局部语义特征,统计分析遥感影像中的主题,利用贝叶斯推理达到影像解译分析的目的。图5给出了多尺度遥感影像基于层次主题模型（Hierarchical Topic Model,HTM）的场景描述方案,对不同尺度的遥感场景目标采用层次化的主题综合进行描述。其中,T是场景层次结构的主题树,L是场景层次标签树的高度,N是在一个场景中的视词的个数,M是在场景集合中场景的总个数,ci是在层次结构中的第i层,η、α和µci是Dirichlet先验参数,γ是在层次结构中的所有路径上的一个多项式分布,β是在词集上的多项式分布,θ是某个场景上的主题分布,w是一个观察到的视词,z是赋予给w的主题。
Fig. 5 Multi-scale remote sensing image scene description based on hierarchical topic model

图5 基于层次主题模型的多尺度遥感影像场景描述

遥感影像的地学属性具备复杂的不确定性的层次语义,遥感影像所反映地学的对象信息不完备。现有的认知架构存在片面性和不完整性,尚缺乏针对遥感影像TCR的认知模型。因此,考虑地学信息深层次规律、不完备的遥感影像信息和人类认知特性,建立合理的遥感影像认知计算模型,是实现遥感影像智能信息处理的一个挑战。

5 结论

综上所述,国内外学者对遥感影像的TCR开展了卓有成效的研究,同时也在实际环境中构建了一些实用系统。由于遥感影像智能解译涉及的认知模型的复杂性、图像理解存在的困难和计算的复杂度,针对高分辨率遥感影像TCR研究,需构造适应多层次的场景认知模型,以适应系统功能需求;设计面向对象的多尺度的识别处理算法,以提升算法精度;需大幅度提升处理速度,以适应遥感影像大数据的任务实时性。进一步利用低层的神经计算机制和高层的认知计算架构,研究适应高分辨率遥感影像TCR问题的媒体神经认知计算（Multi-media Neural and Cognitive Computing,MNCC）模型,构建并行的MNCC模型的遥感影像的TCR算法,具有重要理论意义和应用价值。

The authors have declared that no competing interests exist.

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
郭华东,王力哲,陈方,等.科学大数据与数字地球[J].科学通报,2014,59(12):1047-1054.

[2]
李德仁,姚远,邵振峰.智慧城市中的大数据[J].武汉大学学报(信息科学版),2014,39(6):631-640.

[3]
李德毅,郑思仪.大数据时代的创新思维[J].北京联合大学学报,2014,28(4):1-6.

[4]
李小文. 汶川震灾中遥感的应急与反思[J].遥感学报,2008,12(6):838.

[5]
Di Bisceglie M, Galdi C.CFAR detection of extended objects in high-resolution SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005,43(4):833-843.

[6]
Zhao H Y, Wang Q, Huang J J, et al.Method for inshore ship detection based on feature recognition and adaptive background window[J]. Journal of Applied Remote Sensing, 2014,8(1):1-14.

[7]
冯卫东,孙显,王宏琦.基于空间语义模型的高分辨率遥感图像目标检测方法[J].电子与信息学报,2013,35(10):2518-2523.

[8]
何楚,张宇,廖紫纤,等.基于分层自适应部分模型的遥感图像飞机目标检测[J].武汉大学学报(信息科学版),2013,38(6):656-660.

[9]
蒋李兵,王壮,郁文贤.基于属性滤波和上下文分析的高分辨遥感图像建筑物提取方法[J].电子与信息学报,2012,34(12):2985-2991.

[10]
李湘眷,孙显,王宏琦.基于多核学习的高分辨率遥感图像目标检测方法[J].测绘科学,2013,38(5):84-87.

[11]
Han J W, Zhou P C, Zhang D W, et al.Efficient, simultaneous detection of multi-class geospatial targets based on visual saliency modeling and discriminative learning of sparse coding[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014,89(1):37-48.

[12]
Zhang L F, Zhang L P, Tao D C, et al.Sparse Transfer Manifold Embedding for Hyperspectral Target Detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014,52(2):1030-1043.

[13]
Bosch A, Zisserman A, Munoz X.Scene classification using a hybrid generative/discriminative approach[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008,30(4):712-727.

[14]
Zhao L J, Tang P, Huo L Z.A 2-D wavelet decomposition-based bag-of-visual-words model for land-use scene classification[J]. International Journal of Remote Sensing, 2014,35(6):2296-2310.

[15]
Li J, Liu Z.The Study of Scene Classification in the Multisensor Remote Sensing Image Fusion[J]. Mathematical Problems in Engineering, 2013,2013(2013):1-10.

[16]
Guo L, Chehata N, Mallet C, et al.Relevance of airborne lidar and multispectral image data for urban scene classification using Random Forests[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011,66(1):56-66.

[17]
Cheng G, Guo L, Zhao T Y, et al.Automatic landslide detection from remote-sensing imagery using a scene classification method based on BoVW and pLSA[J]. International Journal of Remote Sensing, 2013,34(1):45-59.

[18]
Zhao B, Zhong Y F, Zhang L P.Scene classification via latent Dirichlet allocation using a hybrid generative/discriminative strategy for high spatial resolution remote sensing imagery[J]. Remote Sensing Letters, 2013,4(12):1204-1213.

[19]
Gong Y, Wang L, Guo R, et al.Multi-scale orderless pooling of deep convolutional activation features[C]. 13th European Conference on Computer Vision (ECCV), SEP 06-12, 2014:392-407.

[20]
Williams D P, Fakiris E.Exploiting environmental information for improved underwater target classification in Sonar imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014,52(10):6284-6297.

[21]
殷君君,安文韬,杨健.基于极化散射参数与Fisher-OPCE的监督目标分类[J].清华大学学报(自然科学版),2011,1(12):1782-1786.

[22]
Marconcini M, Fernandez-Prieto D.A novel approach to targeted land-cover classification of remote-sensing images[C]. 2012 IEEE International Geoscience and Remote Sensing Symposium, 2012:7345-7348.

[23]
He W, Zhou W, Su P.Research on Classification and Target Recognition of Remote Sensing Image Based on Improved Support Vector Machine[J]. Remote Sensing Information, 2010(6):6-8,13.

[24]
Dai D X, Yang W.Satellite Image Classification via two-layer sparse coding with biased image representation[J]. IEEE Geoscience and Remote Sensing Letters, 2011,8(1):173-176.

[25]
Luo L, Hu Y.Explorations on object-oriented classification for ground targets from high-resolution image[C]. International Forum on Information Technology and Applications (IFITA 2009), 2009:139-143.

[26]
李雪轲,王晋年,张立福,等.面向对象的航空高光谱图像混合分类方法[J].地球信息科学学报, 2014,16(6):941-948.

[27]
Blaschke T, Hay G J, Kelly M, et al.Geographic object-based image analysis -towards a new paradigm[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014,87(1):180-191.

[28]
李德仁,童庆禧,李荣兴,等.高分辨率对地观测的若干前沿科学问题[J].中国科学:地球科学,2012,42(6):805-813.

[29]
Zhang L F, Zhang L P, Tao D C, et al.A multifeature tensor for remote-sensing target recognition[J]. IEEE Geoscience and Remote Sensing Letters, 2011,8(2):374-378.

[30]
Guo W Y, Xia X Z, Wang X F.A remote sensing ship recognition method based on dynamic probability generative model[J]. Expert Systems with Applications, 2014,41(14):6446-6458.

[31]
丁正虎,余映,王斌,等.选择性视觉注意机制下的多光谱图像舰船检测[J].计算机辅助设计与图形学学报,2011, 23(3):419-425.

[32]
Lu C Y, Zou H X, Sun H, et al.Combing rough set and RBF neural network for large-scale ship recognition in optical satellite images[J]. 35th International Symposium on Remote Sensing of Environment (ISESE35),2014,17(1):1-6.

[33]
Prasad S, Bruce L M.Decision fusion with confidence-based weight assignment for hyperspectral target recognition[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008,46(5):1448-1456.

[34]
Sun J D, Fan G L, Yu L J, et al.Concave-convex local binary features for automatic target recognition in infrared imagery[J]. Eurasip Journal on Image and Video Processing, 2014, 2014(23):1-13.

[35]
Wang M G, Tian Y G.Target recognition of infrared bridge image based on morphological operator[C]. International Conference on Advances in Engineering (ICAE), 2011:490-494.

[36]
Lang H T, Zhang J, Zhang T, et al.Hierarchical ship detection and recognition with high-resolution polarimetric synthetic aperture radar imagery[J]. Journal of Applied Remote Sensing, 2014,8(1):1-17.

[37]
Bryner D, Srivastava A.Shadow segmentation in SAS and SAR using bayesian elastic contours[C]. 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2013:375-380.

[38]
Lopera O, Dupont Y.Automated target recognition with SAS: Shadow and highlight-based classification[C]. 2012 Oceans, 2012:1-5.

[39]
Isaacs J C, Tucker J D.Signal diffusion features for automatic target recognition in synthetic aperture sonar[C]. Digital Signal Processing Workshop and IEEE Signal Processing Education Workshop (DSP/SPE), 2011 IEEE, 2011:461-465.

[40]
Fei T, Kraus D, Zoubir A M.Contributions to automatic target recognition systems for underwater mine classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015,53(1):505-518.

[41]
Wang X Y, Li Z H, Gao S.Parallel remote sensing image processing: Taking image classification as an example[C]. 6th International Symposium, ISICA 2012, October 27-28, 2012:159-169.

[42]
Yang J H, Zhang J X, Huang G M.A parallel computing paradigm for pan-sharpening algorithms of remotely sensed images on a multi-core computer[J]. Remote Sensing, 2014,6(7):6039-6063.

[43]
Qu H C, Zhang J P, Chen Y S, et al.Parallel implementation for SAM algorithm based on GPU and distributed computing[C]. 2012 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 2012:4074-4077.

[44]
Yang C T, Huang C L, Lin C F. Hybrid CUDA, OpenMP, and MPI parallel programming on multicore GPU clusters[J]. Computer Physics Communications, 2011,182(1):266-269.

[45]
Timchenko L, Yarovyy A, Kokriatskaia N, et al.Application of parallel-hierarchical transformations for rapid recognition of dynamic images based on GPU technology[C]. Proceedings of the 2nd International Conference on Advances in Computer Science and Engineering (CSE 2013), 2013:224-228.

[46]
Chen H, Liu X Y, Shao S, et al.A GPU-paralleled implementation of an enhanced face recognition algorithm[C]. Proc. SPIE 8783, Fifth International Conference on Machine Vision (ICMV 2012): Computer Vision, Image Analysis and Processing, 2013:1-10.

[47]
Li G Q, Liu D S.Key technologies research on building a cluster-based parallel computing system for remote sensing[C]. Computational Science - ICCS 2005, Pt 3, 2005:484-491.

[48]
Jing X Y, Li S, Zhang D, et al.Supervised and unsupervised parallel subspace learning for large-scale image recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012,22(10):1497-1511.

[49]
王珊,王会举,覃雄派,等.架构大数据:挑战、现状与展望[J].计算机学报,2011,34(10):1741-1752.

[50]
Taylor R C.An overview of the Hadoop/MapReduce/HBase framework and its current applications in bioinformatics[C]. Proceedings of the 11th Annual Bioinformatics Open Source Conference (BOSC) 2010, July 2010:1-6.

[51]
Dean J, Ghemawat S.MapReduce: A flexible data processing tool[J]. Communications of the ACM, 2010,53(1):72-77.

[52]
Lv Z H, Hu Y J, Zhong H D, et al.Parallel K-means clustering of remote sensing images based on MapReduce[C]. Web Information Systems and Mining 2010, October 23-24, 2010:162-170.

[53]
李帆,何洪林,任小丽,等.基于MapReduce的空间敏感性分析并行算法设计[J].地球信息科学学报, 2014,16(6):874-881.

[54]
Ghosh-Dastidar S, Adeli H.Spiking neural networks[J]. International Journal of Neural Systems, 2009,9(4):295-308.

[55]
Liu Y D, Wang L M.Application of memristor-based spiking neural network in image edge extraction[J]. Acta Physica Sinica, 2014,63(8):1-7.

[56]
Wu Q X, McGinnity T M, Maguire L, et al. A visual attention model based on hierarchical spiking neural networks[J]. Neurocomputing, 2013,116(1):3-12.

[57]
蔺想红,张田文,张贵仓.进化大规模脉冲神经网络的发育方法[J].计算机学报,2012,35(12):2633-2644.

[58]
Lee H, Grosse R, Ranganath R, et al.Unsupervised learning of hierarchical representations with convolutional deep belief networks[J]. Communications of the ACM, 2011,54(10): 95-103.

[59]
Le Q V, Ranzato M A, Monga R, et al.Building high-level features using large scale unsupervised learning[C]. 2013 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 2013:8595-8598.

[60]
Dahl G E, Yu D, Deng L, et al.Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2012,20(1):30-42.

[61]
Masci J, Meier U, Ciresan D, et al.Stacked convolutional auto-encoders for hierarchical feature extraction[C]. Artificial Neural Networks and Machine Learning - ICANN 2011, Pt I, 2011:52-59.

[62]
Smirnov E A, Timoshenko D M, Andrianov S N.Comparison of regularization methods for ImageNet classification with deep convolutional neural networks[C]. 2nd AASRI Conference on Computational Intelligence and Bioinformatics (CIB), 2014:89-94.

[63]
Chen Y S, Lin Z H, Zhao X, et al.Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014,7(6):2094-2107.

[64]
Gondek D C, Lally A, Kalyanpur A, et al.A framework for merging and ranking of answers in DeepQA[J]. IBM Journal of Research and Development, 2012,56(3-4):1-12.

[65]
Ogiela L, Ogiela M R, Tadeusiewicz R.Ubiquitous computing in creation of cognitive systems for medical images interpretation[C]. International Conference on Ubiquitous Computing and Multimedia Applications, JUN 23-25, 2010:44-50.

[66]
骆剑承. 遥感影像智能图解及其地学认知问题探索[J].地理科学进展,2000,19(4):289-296.

[67]
Wang L Z, Lu K, Liu P, et al.IK-SVD: Dictionary learning for spatial big data via incremental atom update[J]. Computing in Science & Engineering, 2014,16(4):41-52.

[68]
Luo W, Li H L, Liu G H.Automatic annotation of multispectral satellite images using author-topic Model[J]. IEEE Geoscience and Remote Sensing Letters, 2012,9(4):634-638.

Options
Outlines

/

〈 〉