EN中文

Journal of Geo-information Science >

2017 , Vol. 19 >Issue 7: 962 - 971

DOI: https://doi.org/10.3724/SP.J.1047.2017.00962

Orginal Article

The Research on Automatic Blur Detection in UAV Image

  • WEI Lai ,
  • HU Shunqiang ,
  • CHEN Cheng ,
  • HU Zhuowei , * ,
  • ZHAO Wenji
Expand
  • 1. College of Resources Environment and Tourism, Capital Normal University, Beijing 100048, China;2. Laboratory of 3D Information Acquisition and Application, MOE, Beijing 100048, China;3. State Key Laboratory Cultivation Base of Urban Environmental Process and Digital Simulation, Beijing 100048, China
*Corresponding author: HU Zhuowei, E-mail:

Received date: 2016-07-06

  Request revised date: 2017-01-05

  Online published: 2017-07-10

Copyright

《地球信息科学学报》编辑部 所有
Fold

Abstract

With the development of technology, the Unmanned Aerial Vehicle (UAV) is widely used for scientific activities. Image acquisition is its main function. The bad image quality can affect processing results. Image blur is a key indicator of image evaluation. It determines quality and accuracy of the image. If the blurred UAV images are used in the subsequent calculation and processing, the results will be unreliable and unrobustness. This is even a serious error. As a result, the detection of blurred image is of great significance to use. The reason of image blurring has 4 kinds of factors. They are weather conditions, UAV platforms, camera systems and environments. The weather conditions mainly include rain and wind. The UAV platforms mainly are GPS signal intensity. They can make unstable position for UAV. The camera systems mainly include parameters setting of camera, such as focal length, ISO, shutter speed and aperture value. Environments mainly include terrain and illumination. Undulating terrain and different illumination intensity maybe lead to focus inaccuracy. These factors also make image blurring. According to the cause of blurring, there are motion blur and defocus blur. The traditional methods of detecting image blur are mainly based on manual inspection and qualified reference images in the process of evaluation. However, this method is considerably time-consuming and laborious. It is not suitable for a great number of UAV images processing. This paper used the four directions of Sobel edge detection algorithm for building basic evaluation principle, finding blur neighborhood width of each Sobel edge detection point in whole image. Finally, constructing the calculation guidelines of blur neighborhood width. The average value of the blur neighborhood width is calculated by sum and average operation for each sobel edge detection point, and used this value as a direct basis of detecting image blur. The average blur neighborhood width is a dimensionless value. It is affected by richness of image information. So it cannot be used to direct comparison as an absolute reference value. It can also be used for relatively comparison between the similar images, which has approximate richness of image information. Meanwhile, taking into account the characteristics of the UAV images, they have a certain overlap and series. We put time-adjacent images as mutual referenced images because the time-adjacent images have the similar richness of image information. By relatively comparing the changes of blur neighborhood width, when the change is more than a certain threshold, the blurred images have been determined. According to this method, the whole image has been detected. Through a number of experiments, the whole 4 thresholds have been determined. There are m=5, T=5, T1=0.2 and T2=0.167. These thresholds can also be used to UAV image blur detection. Finally, we processed 2322 images of different feature types. There are hill, urban, mountain and plain. They were divided into 7 groups with automatic detection. 151 images was blurred while 158 images was blurred by manual inspection as the correct detection results. The average rate of detection was 95.57%. The detection method has a strong applicability.

Key words： UAV; automatic blur detection; blur neighborhood width; edge detection; Sobel

Cite this article

WEI Lai , HU Shunqiang , CHEN Cheng , HU Zhuowei , ZHAO Wenji . The Research on Automatic Blur Detection in UAV Image[J]. Journal of Geo-information Science, 2017 , 19(7) : 962 -971 . DOI: 10.3724/SP.J.1047.2017.00962

1 引言

随着科技的进步,无人机使用的范围越来越广。从大型专业的无人机到小型娱乐的无人机,其主要用途是空中拍摄图像[1]。由于无人机质量较轻,容易受环境影响,并且对操作者的要求较高,因此无人机在空中拍摄的姿态稳定性较差,拍摄的图像难免会模糊。对于一般娱乐而言,如果拍摄的图像模糊,欣赏者可选择删除或过滤掉,并不会直接造成较大的影响。但利用无人机航拍图像进行专业处理时,模糊的图像会导致处理效果差甚至失败。因此在飞行拍摄任务结束后,需要将模糊的图像筛选出并删除,只保留清晰的图像参与后期的数据处理。
传统的图像筛选主要依靠工作者的先验知识水平进行人工筛选。这种方法在视觉疲劳等其它因素的干扰下,会造成模糊图像的漏选和多选问题。因此一般会采用多人多次观察并相互检查的方法以保证图像筛选的准确性[2]。这种方法耗时较长、工程量较大,对于拍摄图像数量较少时可采用。而专业的无人机航拍图像数量可能几百甚至上千张,因此这种人工筛选图像的方式就显得力不从心。所以需要一种自动检测模糊图像的方法,并且该方法具有一定的准确性。目前模糊图像的自动检测主要是基于有参考图像的情形,通过建立评价指标对比参考图像与待评价图像之间的评价结果进行检测。而无人机根据地点的不同,拍摄的图像也不相同,因此一般没有参考图像,自动检测模糊图像的难度较大。鉴此,本文考虑了无人机拍摄图像的时序性,将相邻时序的图像互为参考,并根据Sobel边缘检测原理对图像进行了相关的计算与分析,提出并建立图像边缘点的模糊邻域宽度值指标,从而对无人机拍摄图像进行模糊检测。该方法将无参考的图像转换成相对有参考的图像进行模糊检测,间接解决了无人机图像无参考下的模糊检测问题。作者将该方法应用于几次不同时间、不同地点所拍摄的无人机图像中进行验证,结果表明该方法检测的准确度较好。故本文提出的方法可 以作为为无人机航拍数据后期处理的预先遴选手段。

2 无人机图像模糊的来源与类型分析

2.1 无人机图像模糊的来源

造成无人机图像模糊的因素主要有4类：天气原因、无人机平台原因、相机自身原因以及地物环境原因[3]。天气原因主要是指风和降雨会使无人机飞行姿态不稳定,导致拍摄的图像模糊;无人机平台原因主要是指无人机受GPS信号差的影响,定位信息浮动较大,造成无人机在短时间内大范围的移动修正定位,并在修正的过程中产生的图像模糊;相机自身原因主要是指相机拍摄时镜头的焦距等参数设定不正确造成的图像模糊;地物环境原因主要是指拍摄的区域因光线原因或地势起伏变化较大,使得无人机上搭载的相机无法精确对焦或地形起伏的范围超出了相机的景深范围,从而造成图像中部分地物处在焦点外的模糊情况。

2.2 无人机图像模糊的类型

上述4类图像模糊的原因根据模糊形成的方式可以分为运动模糊和离焦模糊2种。
运动模糊是指在相机拍摄时,由于相机与被摄景物之间的相对运动速度过快,使得相机在快门开启的瞬间,移动幅度过大所引发的图像模糊。假设图像 f ( x , y ) 在一个平面运动, x 0 ( t ) , y 0 ( t ) 分别是 x 和 y 方向上运动的变化分量, T i 表示曝光时间,那么模糊后的图像可以看作是在快门开启时间内,原始图像在 x , y 方向上的积分,可以用式（1）表示[4-5]。
g ( x , y ) = ∫ 0 T i f [ x - x 0 ( t ) , y - y 0 ( t ) ] dt （1）
离焦模糊主要是指相机拍摄时,因为相机设定问题无法正常对焦使得所拍摄的地物超出了相机的景深范围所引起的图像模糊。通常可以用式（2）的点扩散函数进行表示,相当于将半径为 R 的圆内的灰度值进行均值化[6-7]。
d ( x , y ) = 1 π R 2 , x 2 + y 2 ≤ R 2 0 , 其他 （2）
因此天气原因和无人机平台原因所导致的图像模糊均属于运动模糊。相机自身原因和地物环境原因所导致的图像模糊均属于离焦模糊[8]。离焦模糊与运动模糊从宏观上看,都属于位移模糊。只不过运动模糊的位移一般是单向性,即图像中每个像素的位移方向基本一致;离焦模糊则一般是多向性,即图像中每个像素的位移方向根据其与焦点的位置呈圆形收缩或放射的方向。本文主要针对这2种类型的模糊图像进行计算与分析,从而确定一种可以进行无人机图像模糊检测的方法。

3 基于边缘检测的图像模糊自动评价方法

3.1 图像模糊评价方法分类

一般的图像模糊评价方法根据评价方式主要分为全参考的模糊图像评价法、部分参考的模糊图像评价法和无参考的模糊图像评价法3类[9]。全参考的模糊图像评价法主要是指在给定参考图像或参考资料的前提下,通过建立数学模型来对比参考图像与待评价图像之间的差异[10]。常用的方法有均方误差法和峰值信噪比法[11]。部分参考的模糊图像评价法主要是参考图像的部分信息来评价图像的视觉感知质量,而无需参考图像像素级别信 息[12]。常用的方法有基于降质特性提取法和基于图像嵌入信息失真法[13]。无参考的模糊图像评价法主要是在没有参考图像等任何先验知识的情况下,直接对图像进行模糊评价的方法,是对图像引入失真的一种盲估计[14-15]。目前人们对大脑认知过程的理解还很局限,因此无参考的评价方法相对于全参考或部分参考的评价方法而言更加困难[16]。

3.2 模糊图像的像素灰度值分析

本文针对无人机图像中常见的2种模糊图像进行实验与分析。具体实验图像如图1所示。
图1中的3幅图像的大小为40×40像元。其中B1为原始的清晰图像,它由白色背景和黑色竖线共同组成。B2、B3是清晰图像B1经过不同类型模糊处理后的图像。其中B2为运动模糊处理后的图像,B3为离焦模糊处理后的图像。这3幅图像水平方向上的像元变化趋势如图2,具体像元值见表1。
Fig. 1 Blur and original images of different types

图1 不同类型的模糊图像与原始清晰图像

Tab. 1 The distribution of pixel data of horizontal direction in 3 images

表1 3幅图像水平方向上的像元灰度值分布

类型\像元列 … 14 15 16 17 18 19 20 21 22 23 24 25 26 27 …
清晰图像B1 … 254 254 254 255 240 17 0 11 0 0 255 254 254 254 …
运动模糊B2 … 255 247 221 166 130 81 45 45 81 130 166 221 247 255 …
离焦模糊B3 … 255 250 241 191 158 106 59 41 64 112 149 195 233 255 …
从图2中可以看出, 3幅图像水平方向上像元灰度值的变化趋势由左向右依次是先平缓,再下降,然后上升,最后平的趋势。其中下降和上升的部分就是图1中黑色竖线与白色背景区的交界。同时由于2幅图像的模糊类型不同,因此相应曲线开始下降和结束上升的位置,以及上升和下降的速率也不相同。可以看出在清晰图像上,黑色竖线分布在第19-23列像元之间,宽度为5个像元左右,而经过不同类型模糊处理后的图像,黑色竖线分布在第15-27列像元之间,宽度为10-13个像元左右。
Fig. 2 The trend of pixel data of horizontal direction in 3 images

图2 3幅图像水平剖线上像元的灰度值分布趋势

通过图1可以发现,2幅模糊的图像中,黑色竖线的宽度明显变宽,且其边界也变得模糊。虽然2幅图像的模糊类型不同,但是其水平方向上像素灰度值的变化趋势基本一致。由于本文分析的方法主要是针对图像边缘的信息,因此任选其中1种模糊图像作为代表进行后续分析即可,下文统称模糊图像。

3.3 图像的边缘检测

边缘通常是图像最基本的特征。图像的轮廓、细节等信息都存在于其边缘特征之中,在图像分析中借助它能大大地减少所要处理的信息,同时还能保留图像中的主要信息。因此边缘检测在图像处理、模式识别和计算机视觉等领域中起到很重要的作用。
边缘检测的方法有很多,常用的方法有Sobel算子。它是一种离散的一阶差分算子,用来计算图像灰度函数的一阶梯度值的近似值。这种算子是使用周围邻近像元灰度值的差值平均值,因此在一定程度上减轻了图像中噪声的影响。Sobel算子可以从不同的方向进行边缘检测,并利用像元点上下左右的邻近点进行加权计算后,在边缘点处的像元达到极值进行边缘检测。Sobel算子一般采用一个3×3的模板,主要可以分为用于垂直方向检测的和用于水平方向检测的2个模板[17-18]。模板如下：
- 1 0 1 - 2 0 2 - 1 0 1 和 - 1 - 2 - 1 0 0 0 1 2 1
假设图像为 f ( x , y ) ,图像中的每个像元都需要用这2个模板分别进行卷积运算,并求取其均方值,故Sobel算子的表达式可以用式（3）的进行表达：
G ( x , y ) = ( f ′ x ) 2 + ( f ′ y ) 2 （3）
有时为了提高计算效率,则使用不开平方的近似值来代替,可以用式（4）的形式表达：
G ( x , y ) = f ′ x + f ′ y （4）
其中, G ( x , y ) 为边缘检测后每个像元的值：
f ' x = f ( x - 1 , y + 1 ) + 2 f ( x , y + 1 ) + f ( x + 1 , y + 1 ) - f ( x - 1 , y - 1 - 2 f ( x , y - 1 - f ( x + 1 , y - 1 （5）
f ' y = f ( x + 1 , y - 1 ) + 2 f ( x + 1 , y ) + f ( x + 1 , y + 1 ) - f ( x - 1 , y - 1 - 2 f ( x - 1 , y ) - f ( x - 1 , y + 1 ) （6）
无人机拍摄的图像往往清晰度高,纹理丰富,故仅用这2个方向的模板进行边缘检测是远远不够的。所以在这2个方向模板的基础上,增加2个对角线方向的模板进行检测,以便这4个方向的模板能够尽可能完整地检测出图像中的所有边缘信息。因此,可以对上述水平和垂直方向的2个模板进行一定的旋转得到2条对角线方向的模板,旋转后的模板如下：
- 2 - 1 0 - 1 0 1 0 1 2 和 0 - 1 - 2 1 0 - 1 2 1 0
由于实验图像中的边缘信息是垂直的,因此本实验中只采用垂直方向的Sobel算子对图像进行分析。而实际处理无人机拍摄图像时,这4个方向的模板需要同时使用。

3.4 基于Sobel边缘检测的图像模糊评价指标构建

对图像进行Sobel边缘检测后,图像中边缘点的结果值较大,而其它部分的结果值较小。为了突显提取的边缘点,需要对计算结果通过阈值分割进行二值化处理。二值化后的结果如图3所示。图像中的2条白线即检测出的边缘线。它在水平方向上的位置如图4中的虚线位置。
Fig. 3 Binarization images

图3 二值化边缘检测后的图像

Fig. 4 The trend of pixel data of horizontal profile and sobel edge line

图4 图像水平剖线上像元灰度值变化趋势与边缘线位置关系

从图4中可以看到,模糊图像的Sobel边缘点（以下简称：边缘点）位置（图4中蓝色虚线）位于清晰图像的边缘点(图4种灰色虚线)的外侧。模糊图像中2个边缘点之间的距离为7个像元,而清晰图像2个边缘点之间的距离仅有5个像元。由于实验图像中的边缘点具有对称性,因此可以通过对比不同图像中对称边缘点之间的像元距离进行模糊判断。但并不是所有图像中都存在这样对称的边缘点,因此还需要对逐个边缘点进行分析。
从图4中还可以发现在边缘点的一定邻域内,像元灰度值变化单调性一致。因此把这单调性一致的区间定义为边缘点的模糊邻域,区间内的像元个数定义为模糊邻域的宽度值（以下简称：模糊宽度值）。同时将模糊邻域根据边缘点位置划分为左模糊邻域和右模糊邻域。对于清晰图像而言,边缘点的模糊宽度值较小,大约3个像素左右;而模糊图像中,边缘点的模糊宽度值较大,大约7个像元。故可以通过计算图像中所有边缘点的模糊宽度值的平均值来检测图像是否模糊。如果平均模糊宽度值越大,则图像越模糊,平均模糊宽度值越小,则图像越清晰。

3.5 图像模糊评价指标的计算

针对每一个边缘点的模糊宽度值需分别计算相应的左右模糊宽度值。因此需要确定模糊邻域的边界点。而边缘点的模糊邻域区间主要是根据像元灰度值变化曲线的单调一致性判定的。因此从边缘点分别向左右邻域内搜索,直到分别搜索到极值点停止。2个极值点之间的区间即该边缘点的模糊邻域,但边缘点的邻域内不一定都存在极值点,因此需要分2种情况考虑。
3.5.1 边缘点邻域内存在极值点的情形
如图5所示为一行像元的排列,其中点0为该行像元的第一个点,点s为该行像元的最后一个点,点 t 为检测出的边缘点,点 t - 1 方向为边缘点的左模糊邻域方向,点 t + 1 方向为边缘点的右模糊邻域方向。一般情况下,边缘点的左右邻域内像元灰度值的变化有升有降,因此在边缘点的左右邻域内都存在着极值点,可以用式（7）表达。
∃ ∀ x ∈ Z ⋃ 0 , t ΔP = ( P x - P x + 1 ) × ( P x - 1 - P x ) < 0 ∃ ∀ y ∈ Z ⋃ t , s ΔP = ( P y - P y - 1 ) × ( P y + 1 - P y ) < 0 （7）
Fig. 5 The pixel distribution

图5 像元分布示意图

式中： P x , P y 代表点 x , y 的灰度值; ΔP 代表极值点的判别式; x 为左模糊邻域边界点; y 为右模糊邻域边界点。
从点t向左右模糊邻域搜索,当 ΔP 第一次小于0时,对应的点 x 为左模糊邻域边界点,对应的点 y 为右模糊邻域边界点。2个边界点之间的距离就是模糊宽度值 V ,它是左模糊宽度值 V l 和右模糊宽度值 V r 之和。然后通过式（8）计算得到相应的模糊宽度值 V ,最后根据式（9）求出整幅影像的平均模糊宽度值 V mean ,其中 n 为整幅图像中的边缘点个数。
V = V l + V r = x - t + y - t （8）
V mean = ∑ 1 n V n （9）
3.5.2 边缘点邻域内不存在极值点的情形
极端情况下,边缘点的左右邻域内可能不存在极值点。这主要由2种原因构成：①边缘点位于图像较边缘处,邻域内的像元个数较少;②边缘点邻域内的像元灰度值无限趋近于某一值,这2种情形可以用式（10）表达。
∀ t ΔP > 0 （10）
对于邻域内像元个数较少的情形,则将邻域的边界点定为图像的边缘点,如式（11）、（12）所示。
x = 0 或 y = t （11）
V l = t - 0 或 V r = s - t （12）
对于邻域内像元灰度值趋近于某一值的情形,则认定当连续 m 个像元的灰度值之差小于某一个阈值 T 时,该模糊邻域内的像元灰度值无限趋近于某一值,而这 m 个像元中的最后一个像元点就认定为该模糊邻域的边界点,可以用式（13）、（14）进行表示。然后,根据式（15）和（9）求解得出整幅图像的平均模糊宽度值。
∃ ∀ x ∈ Z ⋃ 0 , t P x - 1 - P x < T P x - 2 - P x - 1 < T ⋮ P x - m - P x - m + 1 < T ⇒ 注：点 P x - m 为左模糊邻域边界点 （13）
∃ ∀ y ∈ Z ⋃ t , s P y + 1 - P y < T P y + 2 - P y + 1 < T ⋮ P y + m - P y + m - 1 < T ⇒ 注：点 P y + m 为右模糊邻域边界点 （14）
V = V l + V r = x - m - t + y + m - t （15）

3.6 基于时序性的无人机图像模糊自动检测

上述计算出的平均模糊宽度值是一个无量纲的值,这个值的大小并不能绝对地说明图像是否模糊,它很大程度上依赖于图像信息量的丰富程度。因此2幅完全不同的图像,并不能根据这个值的绝对大小进行模糊检测。它需要一个图像信息量丰富程度相似的清晰图像作为参考进行对比评价,从而对拍摄的图像进行模糊检测。
无人机拍摄的图像大多属于无参考图像,因此很难找到相应的清晰图像作为参考。而无人机拍摄图像一般是按照航带进行拍摄的,因此拍摄的图像具有一定的时序性而非乱序图像。同时无人机拍摄时,为了方便后期的数据处理,一般都具有较高的重叠率,重叠率一般都大于60%。因此相邻拍摄的图像所包含信息量的丰富程度也近似。因此根据拍摄时间把相邻的图像互为参考进行模糊检测。这种模糊检测方法要求在检测的过程中,图像必须按照拍摄的时序依次进行评价。在此条件下,相邻图像的平均模糊宽度值可以近似认为是在同一个量纲下的参考值,具有相对可比较的意义。通过对比时序图像的平均模糊宽度值,当平均模糊宽度值发生较大改变时,则认为图像模糊程度有较大改变。这种较大改变主要通过相邻图像平均模糊宽度值的变化率体现。这种变化率可以间接通过差分的形式求出,如式（16）所示。
D ( n ) = V ( n ) - V ( n - 1 V ( n - 1 ( n ∈ N * 且 n ≠ 1 ) （16）
式中： V ( n ) 代表第 n 张图像平均模糊宽度值; D ( n ) 则是第 n 张图像变化率。如果变化率为正值,且大于给定的阈值 T 1 ,则认为图像是模糊的。由于 n ≥ 1 ,因此第1张图像的变化率是无法计算的。故第1张图像是否模糊不确定。需要对第1张图像进行单独识别。通过计算 D 2 的值,如果 D ( 2 ) > T 1 > 0 ,则说明第2张图像明显比第1张图像模糊,就认定第1张图像为清晰的,其中 T 1 为设定的阈值;如果 D ( 2 ) < T 2 < 0 ,则说明第2张图像明显比第1张图像清晰,就认定第1张图像是模糊的,其中 T 2 为设定的阈值。如果 T 2 < D ( 2 ) < T 1 ,则说明第2张图像与第1张图像的清晰度相似,无法判断,故需要通过计算 D 3 判断第3张图像与第2张图像之间的关系,以此类推。直到第 n 张图像符合 D ( n ) < T 2 < 0 或 D ( n ) > T 1 > 0 ,就认定前 n 张图像均为模糊的或清晰的。综合起来可以用式（17）表示。
D ( n ) > T 1 > 0 前 n - 1 张图像是清晰的 T 2 < D ( n ) < T 1 与第 n - 1 张图像模糊程度一致， 进行第 n + 1 张图像判断 D ( n ) < T 2 < 0 前 n - 1 张图像是模糊的 n ∈ N * ⋂ 1 , N （17）
式中： N 代表图像的总数。极端情况下,对 N 张图像全部计算后,每张图像的 D ( n ) 均在2个阈值 T 1 与 T 2 之间,说明所有图像的模糊程度一致。由于一般拍摄的图像全部模糊的概率较小,因此对于这种情况的出现,可以认定为全部图像均为清晰的,具体清晰可以用式（18）表示。
∀ n ∈ N * ⋃ 1 , N T 2 < D ( n ) < T 1 ⇒ 所有图像均是清晰的 （18）
除上述极端情况外,其余情况可根据式（17）可以计算得出前 n 张图像的清晰程度。然后根据第 n 张图像的清晰程度,计算第 n + 1 张图像到第 N 张图像的清晰程度。根据式（16）计算出相应的 D ( n + 1 ) ,然后依据式（19）进行判断。
第 n 张图像清晰 D ( n + 1 ) ≥ T 1 第 n + 1 张图像模糊 D ( n + 1 ) < T 1 第 n + 1 张图像清晰 第 n 张图像模糊 D ( n + 1 ) < T 2 第 n + 1 张图像清晰 D ( n + 1 ) ≥ T 2 第 n + 1 张图像模糊 （19）
由于 T 1 是通过变化率判断模糊标准的阈值,它是基于清晰图像的平均模糊宽度值的变化阈值; T 2 是通过变化率判断清晰标准的阈值,它是基于模糊图像的平均模糊宽度值的变化阈值。由于这2个阈值是一个百分数,为了使2个阈值所对应的平均模糊宽度值变化的值相一致,故这2个阈值之间具有式（20）所表示的关系。
T 2 = - T 1 1 + T 1 （20）
联合式（16）-（19）就可以对所有 N 张图像进行模糊识别。该识别过程中只需要人工设定合适的阈值 m , T , T 1 , T 2 ,就可全自动地按照图像时序性进行自动模糊检测。经过大量的实验,确定了这4个参数的设置如式（21）所示。该参数的设置适用于大部分情况。
m = 5 T = 5 T 1 = 0.2 T 2 = 0.167 （21）
综上所述,本文所叙述的自动检测无人机模糊图像的方法可以总结为图6所示的流程。
Fig. 6 The diagram of automatic blur detection

图6 自动模糊检测算法流程

4 精度验证

4.1 验证数据概况

实验数据采用不同型号的无人机,在不同时间对不同地点进行飞行拍摄获取的7组图像。飞行的方式均是按照航带的方式飞行,其中1组图像的飞行路线如图7所示。具体验证数据如表2所示。
Fig. 7 The flight route map of UAV

图7 无人机飞行航线图

Tab. 2 Accuracy verification data

表2 精度验证数据

图像分组号 无人机型号 相机型号 飞行时间 飞行地区 图像数量/张
1 Unknown Nikon D800 2013-10-24 丘陵 148
2 Md4-1000 Sony ILCE-7R 2014-07-22 城市 173
3 Md4-1000 Sony NEX-7 2014-12-17 山区 462
4 Unknown Canon 500D 2014-12-23 平原 40
5 Md4-1000 Sony ILCE-6000 2015-08-24 山区 711
6 Dji Phantom4 FC330 2016-06-02 山区 368
7 Dji Phantom4 FC330 2016-05-22 平原 420

4.2 实验结果

这7组图像均是按照航带飞行的,且相邻图像具有一定的重叠度,因此其拍摄的图像满足本文研究方法的适用条件。结合式（21）所设定的阈值,对这7组图像分别自动检测。检测出的部分模糊宽度值如图8所示。
Fig. 8 The comparison of clear and blur images

图8 图像对比

通过计算得出编号为369和376图像的平均模糊宽度值分别为12.586106和12.858032,对应的变化率分别为0.862136和0.977413,均大于设定的阈值 T 1 ,因此编号为369和376的2幅图像被自动检测出为模糊图像。据此调取这2张图像和其相邻的图像,其图像的局部如图9所示。
Fig. 9 Calculation results

图9 计算结果

通过人工观察,可以发现编号为369和376的图像确实比其它图像模糊很多。根据上述方法对7组图像进行自动检测,并通过人工检查的方式对7组图像进行人工筛选。自动检测和人工筛选的结果如表3所示。
Tab. 3 The results of blur detection

表3 模糊检测结果

图像
分组号		 图像
总数/张		 自动检测
模糊图片数/张		 人工检查
模糊图片数/张		 检测率/%
1 148 11 11 100
2 173 14 15 93.33
3 462 25 27 92.60
4 40 2 2 100
5 711 23 23 100
6 368 35 38 92.10
7 420 41 42 97.62
通过表3可以知道,本文所述方法的检测率为95.57%。故本文研究的方法在自动检测模糊方面,精度良好,可以适用于无人机拍摄图像的模糊自动评价中,检测方法具有较强的实用性。

5 结语

图像的模糊检测对于无人机拍摄的图像处理具有非常重要的作用。它是无人机图像预处理中比较关键的一步。如果模糊的图像不能被筛选出,而参与了后期的计算,它会使得计算的结果有很大的误差甚至会产生颠覆性的结果。一些成熟的图像评价方法大都基于存在参考图像条件下的评价。无人机由于其拍摄的独特性,导致其拍摄的图像大都没有参考图像。因此对其图像进行模糊检测就显得更加困难。本文的主要结论如下：
（1） 对无人机图像模糊的成因及类型进行了分析,并针对这几类模糊图像的像素灰度值进行了讨论与分析。
（2） 基于Sobel边缘检测的核心思想,采用4方向的Sobel算子对图像进行边缘点的检测,通过相应的算法计算出每个Sobel边缘点的模糊邻域宽度值,从而得出整幅图像的平均模糊邻域宽度值,为后续的无人机图像模糊自动检测奠定了理论基础。
（3） 根据无人机拍摄图像的特点,分析得出了相邻图像具有一定的重叠度,且图像中包含的信息量基本一致,故将相邻的图像互为参考进行图像模糊的检测。
（4） 实现了对无人机拍摄图像的处理,并自动检测出了其中模糊的图像,具有较强的可行性,为无人机图像后续的处理奠定了良好的基础。
本方法还有许多不足,如利用该方法对无人机拍摄图像进行模糊检测的前提是,检测的顺序必须按照其拍摄时的顺序依次计算与分析,并不能将图像乱序进行计算与分析,故在图像读取的过程中需要有一定的考虑和限制。同时针对模糊检测中的阈值设定问题以及图像的平均模糊宽度值仅仅是在大量实验过程中得出的一个经验值,并不适合于所有的无人机航拍图像。但是对于山地、城市等不同地区拍摄的图像,其阈值的设定和模糊宽度值的计算结果可以进行更详细的细化,以此来确定出不同地形所对应的设定参数,从而可以更有效地根据图像的需求等对图像进行有目的性、有针对性的图像模糊检测,希望在以后的研究中可以进一步改进,从而提高该方法的鲁棒性和适用性。

The authors have declared that no competing interests exist.

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
官瑞芬. 探讨无人机低空遥感对于影像数据的获取与处理[J].中小企业管理与科技,2011(27):295-296.无人机低空遥感作为一种新兴的遥感手段，在各行各业中有着广泛的应用。本文简要的介绍了无人机低空遥感的特点，并对其影像数据获取与处理的方法进行了分析。

DOI

[ Guan R F.The discussion of image acquisition and processing from UAV remote sensing[J]. Small and Medium Enterprise Management and Science, 2011,27:295-296. ]

[2]
孔庆红. 基于暗原色先验的无人机航拍图像去雾算法研究与实现[D].青岛:中国海洋大学,2014.

[ Kong Q H.The defog algorithm on research and implementation of UAV aerial images based on the dark channel prior[D]. Qingdao: Chinese Marine University, 2014. ]

[3]
Eskicioglu A M, Fisher P S.Image quality measures and their performance[J]. IEEE Transactions on Communications, 1995,43(12):2959-2965.A number of quality measures are evaluated for gray scale image compression. They are all bivariate, exploiting the differences between corresponding pixels in the original and degraded images. It is shown that although some numerical measures correl...

DOI

[4]
孙即祥. 图像处理[M].北京:科学出版社,2004.

[ Kong J X.Image Processing[M]. Beijing: Science Press, 2004. ]

[5]
Lagendijk R L, Biemond J.Basic methods for image restoration and identification[R]. Handbook of Image and Video Processing, 2000:125-139.

[6]
Kundur D, Hatzinakos D.Blind image deconvolutions[J]. IEEE Signal Process, 1996,13(3):43-63.

[7]
Banham M B, A K Katsaggelos. Digital image restoration[J]. IEEE Signal Process, 1997,14(2):24-41.

[8]
吴忠标,方贤勇,阚未然,等.一种运动模糊图像的鲁棒运动估计策略[J].计算机应用与软件,2013(7):66-70.

[ Wu Z B, Fang X Y, Kan W R, et al.A robust motion estimation strategy for motion blurred image[J]. Computer Applications and Software, 2013,7:66-70. ]

[9]
王永攀. 单幅运动模糊图像恢复[D].杭州:浙江大学,2010.

[ Wang Y P.Motion deblurring from a single image[D]. Hangzhou: Zhejiang University, 2010. ]

[10]
王辉登. 基于振铃抑制的运动模糊图像复原方法研究[D].南京:南京理工大学, 2011.

[ Wang D H.Restoration of motion blurred image based on ringing suppression [D]. Nanjing: Nanjing University of Science and Technology, 2011. ]

[11]
侯建华,田金文,柳健.一种小波域与空域相结合的图像滤波方法[J].红外与激光工程,2006(1):122-126.

[ Hou J H, Tian J W, Liu J.Wavelet and spatial domain method for image filtering[J]. Infrared and Laser Engineering, 2006,1:122-126. ]

[12]
庞胜利. 图像模糊度评价研究[D].西安:西安电子科技大学,2010.

[ Pang S L.The research on image blur assessment[D]. Xi'an: Xidian University, 2010. ]

[13]
田若良,刘柏森.基于频域能量分割的图像模糊度评价方法[J].计算机技术与发展,2015(6):101-105.如今许多领域都会涉及到图像处理。在图像的获取途径中可能会由于摄像头质量问题，或者拍摄方式，又或者拍摄时的天气等原因令获取到的图像变得很模糊。图像如果模糊，对后续的许多工作都会造成很大的影响，所以对图像进行模糊度的调整就显得很重要，而在调整前需知道图像的具体模糊程度，于是对图像模糊度的评价就极为重要。基于此，文中提出了一种通过分析图像频域中的特点，并利用图像分割的方法来对图像进行模糊度的评价。通过观测仿真结果，表明该方法规律性较强且易于实现。

DOI

[ Tian R L, Liu B S.Image ambiguity evaluation based on frequency domain energy segmentation[J]. Computer Technology and Development, 2015,6:101-105. ]

[14]
Hamid R, Sheikh, Alan C, Bovik, Cormack L.No-reference quality assessment using natural scene statistics: JPEG 2000[J]. IEEE Transactions on Image Processing, 2005,14(11):1918-1927.Measurement of image or video quality is crucial for many image-processing algorithms, such as acquisition, compression, restoration, enhancement, and reproduction. Traditionally, image quality assessment (QA) algorithms interpret image quality as similarity with a "reference" or "perfect" image. The obvious limitation of this approach is that the reference image or video may not be available to the QA algorithm. The field of blind, or no-reference, QA, in which image quality is predicted without the reference image or video, has been largely unexplored, with algorithms focusing mostly on measuring the blocking artifacts. Emerging image and video compression technologies can avoid the dreaded blocking artifact by using various mechanisms, but they introduce other types of distortions, specifically blurring and ringing. In this paper, we propose to use natural scene statistics (NSS) to blindly measure the quality of images compressed by JPEG2000 (or any other wavelet based) image coder. We claim that natural scenes contain nonlinear dependencies that are disturbed by the compression process, and that this disturbance can be quantified and related to human perceptions of quality. We train and test our algorithm with data from human subjects, and show that reasonably comprehensive NSS models can help us in making blind, but accurate, predictions of quality. Our algorithm performs close to the limit imposed on useful prediction by the variability between human subjects.

DOI PMID

[15]
曾凯. 无参考型自然图像质量评价算法研究[D].西安:西安电子科技大学,2009.

[ Zeng K.No-reference natural image quality assessment[D]. Xi'an: Xidian University, 2009. ]

[16]
卢中华. 图像质量的潜在语义分析及评价[D].大连:大连海事大学,2013.

[ Lu Z H.Analysis and assessment of image quality with latent semantic[D]. Dalian: Dalian Martime University, 2013. ]

[17]
Rafeal C. Gonzalez, Richard E.Woods. 数字图像处理[M].北京:电子工业出版社, 2011.

[ Rafeal C.Gonzalez, Richard E.Woods. Digtial Image Processing[M]. Beijing: Electronic Industry Press, 2011. ]

[18]
Irwin Sobel. History and Definition of the Sobel Operator[EB/OL]., 1998-02-06.

Options
Outlines

/

〈 〉