EN中文

地球信息科学学报 >

2016 , Vol. 18 >Issue 8: 1030 - 1036

DOI: https://doi.org/10.3724/SP.J.1047.2016.01030

地球信息科学理论与方法

基于可视范围的图像检索方法

  • 吴勇 , 1, 2, * ,
  • 姚凌 3 ,
  • 童为民 1
展开
  • 1. 福建师范大学地理科学学院,福州 350007
  • 2. 福建省陆地灾害监测评估工程技术研究中心,福州 350007
  • 3. 中国科学院地理科学与资源研究所 资源与环境信息系统国家重点实验室,北京 100101

作者简介:吴 勇(1981-),男,福建福州人,博士,主要从事视频GIS、移动GIS研究。E-mail:

收稿日期: 2016-05-12

  要求修回日期: 2016-07-01

  网络出版日期: 2016-08-10

基金资助

国家自然科学基金项目(41201417)

资源与环境信息系统国家重点实验室青年人才培养基金项目(O8R8B6E0YA)

福建省自然科学基金项目(2016J01186)

福建省测绘地理信息局局校合作科技项目(2016JX02)

收起

A New Image Retrieval Method Based on Image Viewshed

  • WU Yong , 1, 2, * ,
  • YAO Ling 3 ,
  • TONG Weimin 1
Expand
  • 1. College of Geographical Science, Fujian Normal University, Fuzhou 350007, China
  • 2. Fujian Provincial Engineering Research Center for Monitoring and Assessing Terrestrial Disasters, Fuzhou 350007, China
  • 3. State Key Laboratory of Resources and Environmental Information System, Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences, Beijing 100101, China
*Corresponding author: WU Yong, E-mail:

Received date: 2016-05-12

  Request revised date: 2016-07-01

  Online published: 2016-08-10

Copyright

《地球信息科学学报》编辑部 所有
Fold

摘要

图像是视觉所及环境的自然再现,具有表达直观、内容丰富的特性,其已成为GIS空间数据采集与应用中一种重要的可视数据源。随着硬件终端的高速发展,集成的传感器愈加丰富,多源传感器信息融合已成为移动GIS数据釆集的发展趋势。针对移动终端获取方位角偏差问题,本文重点阐述了基于移动终端的重力传感器与磁力传感器获取镜头拍摄朝向的算法,并基于EXIF图像格式实现了图像元数据、定位信息、方位信息一体化采集生成可定位图像。针对现有可定位图像以点代面建模方式的不足,本文以镜头视野范围AOV（Angle of View）模型为基础,提出了以图像元数据、位置信息以及方位信息构建图像可视域的方法,并采用多级网格方式对图像可视域面状特征建立空间索引,实现基于可视域的图像检索。在此基础上,针对福建省野外遥感核查采集的8022幅可定位图像,采用点建模及可视域建模2种方式建立检索图像集。从检索速度、检索结果2个方面进行对比分析,表明基于可视域图像检索方法不仅能检索出拍摄位置在检索区域内的图像,还可检索出拍摄位置在检索区域外但实际拍摄场景在检索范围内的图像。同时,通过多级空间网格索引可提升6.22-8.64倍检索速度。

关键词： 可定位图像; EXIF格式; 图像可视域; 多级网格空间索引; 图像检索

本文引用格式

吴勇 , 姚凌 , 童为民 . 基于可视范围的图像检索方法[J]. 地球信息科学学报, 2016 , 18(8) : 1030 -1036 . DOI: 10.3724/SP.J.1047.2016.01030

Abstract

Image is a natural representation of the real world, which has the characteristics of intuitionistic expression and rich content. It has become an important visual data source in GIS data acquisition and application. With the rapid development of hardware terminal, the sensors integrated in mobile terminal become more abundant, and multi-sensor data fusion has become a trend in mobile GIS data collection. Aiming at the problem of obtaining azimuth deviation of mobile terminal, this paper emphasized on the acquisition algorithm of camera shooting directions, which was based on a gravity sensor and a magnetic sensor embedded in mobile terminals. Based on the EXIF format, locatable images were generated by the integrated collection of image metadata, location and direction. To overcome the disadvantages of existing modeling method of taking a surface as a point for locatable image, this paper proposed a method to build image viewshed by using image metadata, location and direction based on the model of lens’ angle of view. Multi-level grid was used to build the spatial index for the polygon feature of the image viewshed. Based on this method, a case study was conducted in Fujian province. In the experiment, 8022 locatable images were collected by field verification of remote sensing. Point based modeling and polygon based modeling were utilized to build the retrieved image set. Retrieval speed and results were compared and analyzed. It showed that the image retrieval results could be more accurate based on image viewshed modeling. It could retrieve images of which the actual shooting position located inside and outside of the retrieval area. Meanwhile, the image retrieval speed could increase 6.22 to 8.64 times by using the multi-level grid spatial index.

Key words： locatable image; exchangeable image file (EXIF) format; image viewshed; multi-level grid spatial index; image retrieval

1 引言

图像是视觉所及环境的自然再现,具有表达直观、内容丰富的特性,其已逐渐成为GIS空间数据采集应用中一种重要的可视数据源。近年来,随着硬件终端的高速发展,其集成的传感器愈加丰富,多源传感器信息融合已成为移动GIS数据釆集发展趋势[1-2]。许多研究人员在图像与GPS信息融合方面进行了深入的研究,同时索尼、尼康、佳能等各大相机厂商都推出了GPS相机,可定位图像（具有定位信息的图像）已广泛应于土地调查、灾害调查[3]以及图像三维重建[4-5]等领域。与传统图像检索方法关注图像颜色[6]、纹理[7]、形状[8]等内容特征不同,可定位图像数据组织主要以点位置特征描述为主体,采用四叉树[9]、网格[10-11]以及三角网[12]等方式构建图像位置特征空间索引,通过指定检索区域实现图像快速检索。然而,图像实质上反映的是面状场景信息,上述检索方式仅简单将图像抽象为点模型,采用以点代面的建模方式会造成只能检索到拍摄位置在检索范围内的图像,对一些拍摄位置在检索区域外,但实际拍摄场景在检索范围内的图像,会出现漏检,使得图像检索精度不高。
鉴此,本文重点探讨了移动终端镜头拍摄方位的获取方法,并基于EXIF（Exchangeable Image File）图像格式实现了图像及其元数据、GPS定位信息及镜头方位信息一体化存储形成可定位图像,同时提出了一种基于图像元数据、GPS定位信息以及方位信息构建图像可视域的方法,并采用多级网格构建图像可视域面状要素的空间索引,实现基于可视域的图像检索。

2 可定位图像信息采集

现有的可定位图像采集研究主要集中在图像与GPS位置融合方面,随着移动终端集成的传感器愈加丰富,除可实时获取图像、GPS定位信息外,还可获得方位朝向、终端姿态等信息,这为可定位图像的获取提供了更为丰富的数据来源。目前,基于图像多源信息融合主要采用Shapefile文件关联[13]、KML/MEPG-7文件描述[14-15]以及EXIF一体化集 成[16-17]3种组织方式。Shapefile文件关联、KML/MEPG-7文件描述实质上图像与图像属性、空间信息等参数是分离存储的,只是通过中间文件实现二者的同步关联,信息的分离存储导致其管理繁琐,通用性、安全性、扩展性都较差。EXIF格式是由日本电子工业发展协会制订,并专门为数码相机使用的图像文件格式而制定的标准规格,可记录数码图像的属性信息和拍摄数据[18]。可定位图像主要将参数信息记录在EXIF图像格式的EXIF IFD和GPS IFD应用标记段中,其参数值存储遵循标签图像文件结构(Tagged Image File Format,TIFF)标准,EXIF IFD标记段用于存储图像的基本参数,其中图像宽度、图像高度、拍摄时间以及焦距存储在已定义的相应标签中。由于在EXIF IFD标签段中未对水平可视角度、垂直可视角度标签进行定义,因此可定位图像格式将其以<参数名>参数值</参数名>自定义XML文本形式存储在UserComment标签中,GPS IFD标记段则用于存储GPS位置坐标与拍摄方位,其存储结构及主要参数描述如表1所示。本文通过扩展现有EXIF格式的存储格式以实现图像及其元数据、GPS定位以及拍摄方位等参数一体化存储。
Fig. 1 Technology flowchart of the locatable image acquisition

图1 可定位图像采集方法流程图

Tab. 1 The Parameters of the Locatable Image Model

表1 可定位图像存储模型参数列表

EXIF 存储参数 参数描述及存储位置
EXIF IFD 图像高度 图像纵向像素数,存储于ImageLength标签
图像宽度 图像横向像素数,存储于ImageWidth标签
拍摄时间 图像拍摄时间,存储于DateTime标签
焦距 拍摄图像时镜头焦距长度,存储于FocalLength 标签
水平视角 当前焦距下镜头水平视角,其值小于180°,以<水平视角>参数值</水平视角>存储于UserComment标签
垂直视角 当前焦距下镜头垂直视角,其值小于180°,以<垂直视角>参数值</垂直视角>存储于UserComment标签
放大倍数 图像拍摄时镜头数码变焦倍数,定焦时默认为0,变焦时为大于1的浮点数,储存于DigitalZoom标签
GPS IFD 经度值 拍摄位置经度,存储于GPSLongitude标签
经度参考 经度参考,东经为“E”,西经为“W”,存储于GPSLongitudeRef标签
纬度值 拍摄位置纬度,存储于GPSLatitude标签
纬度参考 纬度参考,北纬为“N”,南纬为“S”,存储于GPSLatitudeRef标签
拍摄方位 拍摄时镜头朝向,其值范围为0~360°,存储于GPSImgDirection标签
本文可定位图像采集方法由图像采集、方位采集、GPS采集以及EXIF融合4个功能模块组成。以Android移动终端平台为例,采集过程中各模块的调用次序如下：
（1）启动图像采集模块,通过创建Intent类请求启动摄像设备,同时将其采集参数设置为MediaStore.ACTION_IMAGE_CAPTURE图像模式,然后利用startActivityForResult( )方法启动摄像头采集图像,最后通过onActivityResult( )方法接收图像数据;
（2）调用GPS采集模块,创建LocationManager实例,并通过getSystemService( )方法调用Context.LOCATION_SERVICE位置服务,然后采用getLastKnownLocation( )方法获取GPS语句并解析出经纬度、时间等参数;
（3）调用方位采集模块,由getSystemService()方法获取系统设备管理服务,使用registerListener( )方法注册重力感应器与磁力感应器到设备管理服务SensorManager中,然后由OnSensorChanged( )事件获得传感器回传值并进行数值变换得到镜头方位信息;
（4）调用EXIF融合模块,基于ExifInterface接口中的setAttribute( )方法将上述获取的位置、方位、图像元数据等参数值按照表1格式存储到图像中,实现可定位图像的采集。
另外,可定位图像所要采集的方位信息是指移动终端拍摄物体时摄像头的朝向,而通常电子罗盘得到的方位信息是指移动终端平放时设备机头的朝向,因此电子罗盘获取的方位信息不能满足采集需要。本文采用移动终端的重力传感器与磁力传感器获取的数值进行方位解算,其通过重力传感器三轴数值解算出设备拍摄时的姿态信息,根据解算后的姿态对终端坐标系与世界坐标系进行变换,再结合磁力传感器的数值求解出镜头当前的朝向。
（1）移动终端姿态求解
移动终端设备的空间姿态主要包括拍摄图像时设备的俯仰角、翻滚角、方位角,其数值可通过重力感应器数值进行解算。图2（a）为终端设备静止于某一姿态时重力分布示意图,其中重力感应器值主要基于设备坐标系,通常X轴方向为设备短轴方向水平指向右,Y轴方向为设备长轴方向垂直向上,Z轴为设备屏幕正面指向外;g为重力值,方向总是竖直指向地心;gx、gy、gz分别为重力在设备坐标系下三轴的重力分量值。
Fig. 2 Schematic diagram of relationship betweengravity and terminal posture

图2 重力与终端姿态关系示意图

本文将俯仰角定义为设备沿Z方向轴绕着Y轴旋转角度与水平面的夹角,翻滚角为设备沿Y轴方向绕着Z轴旋转角度与水平面的夹角,其重力分量、重力以及水平面之间存在三角约束关系（图2（b））：当gi为gz时,α代表俯仰角;当gi为gx时,α代表翻滚角。其数值可分别通过式（1）、（2）进行解求。
pitch = 90 - arccos ( g z / g （1）
roll = 90 - arccos ( g x / g （2）
式中：pitch为俯仰角;roll为翻滚角;g为重力值,其数值为9.8m/s2,gx、gz分别为重力在X、Z轴方向上分量大小。
（2）镜头方位信息求解
镜头方位角指磁场向量到镜头指向在水平方向的夹角,其数值计算涉及倾角补偿与角度换算。
倾角补偿：根据设备俯仰角、翻滚角姿态信息对当前设备坐标系扶正到平放设备坐标系变换,以消除空间姿态对方位角计算偏差影响。如图3（a）所示,其中O-XYZ为当前设备坐标系,m为磁场强度且指向磁北方向,mx、my、mz为三轴磁力分量,向量m到镜头指向（-Z轴方向）在水平方向的夹角即为所求镜头方位角,根据中俯仰角（pitch）和翻滚角（roll）可以将向量m和-Z旋转至水平坐标系O-X′Y′Z′中,其旋转公式如式（3）所示。
Fig. 3 Sketch map of inclination compensation and angle conversion

图3 倾角补偿与角度换算示意图

X ′ Y ′ Z ′ = X Y Z 1 0 0 0 cosα - sinα 0 sinα cosα cosβ 0 sinβ 0 1 0 - sinβ 0 cosβ cosr - sinr 0 sinr cosr 0 0 0 1 （3）
式中：X′、Y′、Z′为坐标轴旋转后的坐标;X、Y、Z为坐标轴旋转前的坐标;α、β、r为分别为绕X、Y、Z轴旋转的角度,其中α为俯仰角,β为翻滚角,r取零值。
角度换算：将旋转后的向量m′和-Z′投影到O-X′Y′Z′坐标系的O-X′Y′平面（即水平面）,如图3（b）所示,镜头方位角即从向量m′至向量-Z′顺时针夹角α。而向量m′和-Z′的坐标已知,容易计算出各自与Y′轴的顺时针夹角β和θ,镜头方位角α的大小可由式（4）-（5）计算得到。当β>θ时,使用式（4）计算;当β<θ时,使用式（5）计算。
α = β - θ （4）
α = 360 + β - θ （5）

3 可定位图像信息处理

3.1 图像可视域构建

图像是镜头视野范围内的场景在相机成像传感器平面上投影所得,其可视范围由镜头视野范围决定。对于针孔成像模型来说,镜头视野范围可采用AOV（Angle of view）模型进行表达[19]。AOV模型成像范围呈三角形,其视野范围由视点、镜头朝向、可视角度、拍摄距离决定。因此,构建图像可视范围是确定以上4个参数的过程,其构建过程如下：
（1）视点：代表图像拍摄位置,可用图像中GPS经纬度值代替。
（2）镜头朝向：代表图像拍摄方向,可用图像中拍摄方位值代替。
（3）可视角度：代表镜头所能拍摄的角度大小。如图4所示,对于针孔模型而言,可视角度大小主要由焦距、感光元件宽度决定,三者之间的关系可采用式（6）表示。在数码变焦的情况下,镜头是通过截取感光元件成像区域进行放大来达到图像变焦的效果,图像在感光元件上实际成像宽度与放大倍率成反比,其大小可根据式（7）计算得出。因此可视角度可通过下列方法获取：①定焦情况下,即当放大倍数为0时,可视角度可直接用图像中水平视角值代替;②变焦情况下,即放大倍数大于1时,可视角度计算步骤如下：首先利用图像焦距、水平视角值通过式（7）获取镜头感光元件宽度;然后将计算得到的感光元件宽度、放大倍数值代入式（7）得到该图像在感光元件上的实际成像宽度;最后采用实际成像宽度、焦距值代入式（6）计算得到该变焦图像的可视角度值。
Fig. 4 Sketch map of the lens parametersunder the pinhole imaging

图4 针孔成像下镜头参数关系示意图

SensorWidth = tg ( View Angle / 2 ) × FocalLen × 2 （6）
SensorWidthZoom = SensorWidth / ScaleFactor （7）
式中：ViewAngle为可视角度;FocalLen为镜头焦距;SensorWidth为感光元件宽度;SensorWidthZoom为变焦后感光元件成像宽度;ScaleFactor为放大 倍数。
（4）可视距离：图像的可视距离理论上是无限远的,然而图像中物体的成像清晰度随着可视距离增加而逐渐降低,距离较远的物体在图像上几乎无法分辨,因此可视距离取无限远是无意义的。本方法以图像上清晰成像为前提,通过设置某单位尺寸的物体宽度所占图幅宽度的比例,利用感光元件成像宽度、镜头焦距与可视距离之间的比例关系,基于式（8）计算图像的极限可视距离作为该图像的可视距离。
Distance = FocalLen × ObjectWidth SensorWidth × Ratio （8）
式中：FocalLen为图像焦距;ObjectWidth为单位尺寸物体宽度,本文设置为1 m;SensorWidth为感光元件成像宽度;Ratio为单位尺寸物体占图幅宽度,文中设置为0.02。
通过上述步骤即可构建出图像可视范围,如图5（a）中扇形区域所示,其中扇形圆心表示图像拍摄的位置,扇形半径表示图像清晰成像下的最佳拍摄距离,扇形角度表示镜头的视场角,扇形区域表示图像可视区域。若在图像可视范围区域具有二维矢量/三维场景数据,则可通过面状图形求交操作进一步得到图像可视域,如图5（b）阴影部分所示;若无数据,则直接将图像可视范围作为图像可视域。
Fig. 5 Calculation results of image visual field

图5 图像可视域计算结果图

3.2 图像可视域空间索引

图像可视域为图像视野所及范围,在空间上呈面状分布,对于面状数据通常可采用网格、四叉树以及R树等方式构建空间索引,以提高图形检索效率。其中,多级网格索引由于构建方法简单且检索效率较高,因此在SQL Server、Oracle、ArcSDE等主流空间数据库中广泛应用。多级网格索引基本思路是将空间区域划分为多级层次结构,每一级划分的空间均采用单元网格索引,在进行空间检索时,通过该索引方式可直接访问检索区域和空间区域相交的子空间索引表,然后对空间索引表进行进一步求精判断,以检索出符合要求的空间实体[20]。通过多级网格构建图像可视域空间索引步骤如下：
（1）索引范围空间划分：遍历计算所有图像可视域对象在空间区域内的最小包络范围作为网格索引划分边界,根据设定的网格数目及网格层数对区域进行嵌套网格划分;
（2）对象分割与定位：假设步骤(1)中网格数目为4×4、网格层数为4,空间区域划分结果如图6所示。在空间网格划分的基础上,对每一图像可视域对象以“广度优先”方式从第一级网格开始逐一判断网格与对象是否接触。若对象1覆盖了整个接触格网,则该对象不必进行分割,结束索引并返回该对象在网格中的坐标位置3。若对象2包含在接触网格中,继续分割对象直到达到限制或不再有要计数单元的单元为止,则该对象一直被分割到第四级网格。由于达到了网格最低级别,则结束对象分割,返回该对象的索引坐标11.11.11.1、11.11.11.2、11.11.11.3、11.11.11.4。重复此步骤,直到所有图像可视域面状数据索引完毕。
Fig. 6 Sketch map of space division and object location

图6 空间划分与对象定位示意图

（3）坐标索引：采用B树方式对空间索引表中存储的图像可视域索引坐标进行组织,实现图像可视域面状数据空间索引的创建。

4 实验分析

本文以福建省野外遥感核查采集的8022幅可定位图像为测试数据,通过传统点模型以及基于可视域面模型2种方式构建图像位置特征要素,并采用SQL Server 2008 数据库分别对其特征要素进行存储及索引,其中多级网格索引采用4×4网格划分方式,网格层数为4层。针对上述方式构建的2套数据集,基于台式电脑（CPU：Intel Core i3-2120 M处理器,CPU主频：3.3 GHz,内存：4 G）进行可定位图像空间检索实验,并从检索效率、检索结果进行对比分析,检索实验总共分为5组,测试结果如表2所示。
Tab. 2 Testing results of the locatable image retrieval

表2 可定位图像检索测试结果

组
别		 数据集构建方式 检索面积/km2 检索耗时/ms 耗时比
（无索引/索引）		 检索结果/幅
无索引 多级网格索引
1 点模型 100.1 136.7 15.8 8.65 1
面模型 148.2 22.5 6.58 1
2 点模型 119.1 137.6 16.0 8.60 3
面模型 152.8 22.2 6.88 4
3 点模型 121.6 133.5 18.0 7.41 5
面模型 155.4 25.0 6.22 5
4 点模型 133.3 135.9 16.4 8.29 4
面模型 154.7 22.2 6.97 6
5 点模型 165.4 134.5 18.8 7.15 13
面模型 162 23.4 6.92 15
（1）从检索效率上看,无论面数据集还是点数据集,在采用多级网格索引情况下,由于其在检索过程中可过滤大量与检索区域无关的图像以缩小其检索图幅数量,从而能较大幅度提升图像检索效率,其检索速度约为未采用索引情况下6.22-8.64倍之间;其次,点数据集检索效率总是优于面数据集,主要原因在于点数据集检索采用的是点包含算法,而面数据集则是采用面求交算法,其算法复杂度相对较高,因此造成检索效率上的差异,但是该差异相差甚小。上述实验表明,基于可视域图像检索方法是可行的,采用多级网格索引可大幅度提升图像检索效率。
（2）从检索结果上看,面数据集检索到的目标图像数均不小于点数据集。如图7所示,方框代表检索区域,其中基于面数据集可检索到图像1-6,而基于点数据集仅能检索到图像2、4。究其原因主要在于构建图像位置特征方式的差异,点数据集仅简单采用图像拍摄位置构建图像位置特征,其仅能检索出拍摄位置在检索区域内的图像,而面数据集则采用图像可视域方式构建面状对象作为图像特征,其在检索时不管其拍摄位置是否在检索区域内,只要是图像可视域与检索范围存在交集则认为图像符合检索要求,其更符合人们检索实际需求。因此,基于可视域图像检索方式更为合理,检索结果更为精确。
Fig. 7 Retrieval results of the locatable image

图7 可定位图像检索结果

5 结论

随着人们日益增长的数据采集需求及硬件设备的飞速发展,可定位图像信息被广泛应用于GIS野外数据采集。本文针对现有可定位图像信息采集与处理方法存在的缺陷,首先,重点探讨了基于移动终端重力、磁力传感器获取镜头朝向的方法,并基于扩展的EXIF图像格式实现了图像及其元数据、GPS位置、方位等多源信息一体化融合形成可定位图像。然后,提出了一种基于图像元数据、GPS位置及方位信息构建图像可视域面特征的方法,并采用多级网格构建空间索引,实现了基于可视域的图像检索。最后,采用福建省野外遥感数据核查采集的8022多张可定位图像,基于点建模与基于可视域面建模2种方式构建图像数据集,并对图像检索算法的检索效率、检索结果进行比较分析。实验结果表明,本文提出的基于可视域图像检索方法具有可行性,且采用多级网格空间索引能大幅度提升图像检索效率,使检索得到的数据集更精确。今后,在可定位图像信息采集与处理过程中还可进一步结合俯仰角、翻滚角参数信息构建图像三维视域模型,实现三维空间下的图像检索;同时,该方法还可向视频领域拓展延伸,为图像、视频等多媒体数据源在GIS领域深化应用提供技术支撑。

The authors have declared that no competing interests exist.

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
Sakire A A, Zhang L Y, Seon H K, et al.GRVS: A georeferenced video search engine[C]. International Conference on Multimedia, 2009:977-978.

[2]
李德仁,郭晟,胡庆武.基于3S集成技术的LD2000系列移动道路测量系统及其应用[J].测绘学报,2008,37(3):272-276.介绍基于3S集成技术的LD 2000系列移动道路测量系统技术原理、主要科技内容,总结了技术创新点,对移动道路测量获取的可量测实景影像与4D产品集成及应用进行了总结和展望。

DOI

[ Li D R, Guo S, Hu Q W.3S(RS,GPS,GIS) integration technology based LD2000 series mobile mapping system and its applications[J]. Acta Geodaetica et Cartographica Sinica, 2008,37(3):272-276. ]

[3]
罗腾元,吴勇,陈友飞.有声可定位图像采集方法[J].计算机工程与设计,2015,36(5):2872-2876.目前,移动终端数据采集通常采用灾害要素分离存储、数据库关联管理的方式,其采集、数据管理过程繁琐且不便于数据同步传输。针对上述不足,提出一种有声可定位图像数据模型。实现集地理位置、属性信息、图像、语音等多源异构采集要素一体化综合表达;采用EXIF图像格式中的APP1-APP2标记段,以键-值方式对相关参数进行组织存储;介绍Android环境下语音的采样、IMA-ADPCM编码及EXIF格式的存储方法,在此基础上实现有声可定位图像移动采集系统。实测验证了该采集方法是便捷可行的,可准确、详尽、多方位记录灾害对象状态信息,能为灾害应急管理、分析应用提供较为全面完整的数据基础。

DOI

[ Luo T Y, Wu Y, Chen Y F.Acquisition method of phonic-locatable image[J]. Computer Engineering and Design, 2015,36(5):2872-2876. ]

[4]
Xu X B, Mei T, Zeng W J, et al.AMIGO: Accurate mobile image geotagging[C]. ACM International Conference on Internet Multimedia Computing and Services, 2012:11-14.

[5]
Luo Z, Li H, Tang J, et al.Estimating poses of world's photos with geographic metadata[C]. Advances in Multimedia Modelling, 2010:695-700.

[6]
Yue J, Li Z B, Liu L, et al.Content-based image retrieval using color and texture fused features[J]. Mathematical and Computer Modelling, 2011,54:1121-1127.This paper presents a method to extract color and texture features of an image quickly for content-based image retrieval (CBIR). First, HSV color space is quantified rationally. Color histogram and texture features based on a co-occurrence matrix are extracted to form feature vectors. Then the characteristics of the global color histogram, local color histogram and texture features are compared and analyzed for CBIR. Based on these works, a CBIR system is designed using color and texture fused features by constructing weights of feature vectors. The relevant retrieval experiments show that the fused features retrieval brings better visual feeling than the single feature retrieval, which means better retrieval results.

DOI

[7]
Zhu Z L, Zhao C X, Hou Y K.Research on similarity measurement for texture image retrieval[J]. PLoS ONE, 2012,7(9):1-14.Abstract A complete texture image retrieval system includes two techniques: texture feature extraction and similarity measurement. Specifically, similarity measurement is a key problem for texture image retrieval study. In this paper, we present an effective similarity measurement formula. The MIT vision texture database, the Brodatz texture database, and the Outex texture database were used to verify the retrieval performance of the proposed similarity measurement method. Dual-tree complex wavelet transform and nonsubsampled contourlet transform were used to extract texture features. Experimental results show that the proposed similarity measurement method achieves better retrieval performance than some existing similarity measurement methods.

DOI PMID

[8]
Qi H, Li K Q, Shen Y M, et al.Statistics based features combining method for figurative image retrieval[J]. ICIC Express Letters, 2011,5(6):1941-1946.

[9]
Sergieh H M, Watzinger D, Huber B, et al.World-wide scale geotagged image dataset for automatic image annotation and reverse geotagging[C]. ACM Multimedia Systems Conference, 2014:47-52.

[10]
Toyama K, Logan R, Roseway A.Geographic location tags on digital images[C]. Proceedings of the Eleventh ACM International Conference on Multimedia, 2003:156-166.

[11]
吴勇,王美珍,罗腾元.可定位图像采集与检索方法研究[J].计算机工程,2015(7):207-211,220.图像作为多媒体数据的一种,是对现实世界的直观表现,其描绘的地理空间具有较强的真实感,符合人们“侧眼看世界”的生活习贯。但是,图像本身无法提取空间定位信息,无法作为一种空间数据被利用。自从可定位图像的概念被提出后,以上思维定式被打破,将图像数据与空间数据融合,让图像具有空间信息,使可定位图像逐渐成为GIS研究的热点。本文结合可定位图像的概念,以EXIF格式作为空间信息和属性数据的载体,提出一种包含地理位置、方位、文本、语音及图像的一体化可定位图像表达模型；详细分析了该模型的优势和数据组织,并对模型数据中图像、地理位置、方位、自定义表单、语音的采集与融合过程进行了阐述和实例验证了该模型的有效性；引入可视分析的概念,利用可定位图像所包含的的地理位置、方位、焦距等参数构建图像的视域模型；利用SQLServer的多级网格索引对图像的拍摄位置和可视域组织索引,通过实验验证了空间索引的高效性,并得出基于8×8网格索引的综合效率高和基于可视域的检索结果更加符合人们检索目的的结论；最后以野外数据采集为例,分别Android和ArcObjects平台上实现了可定制野外数据采集与检索原型系统。

[ Wu Y, Wang M Z, Luo T Y.Research on acquisition and retrieval method of locatable image[J]. Computer Engineering, 2015,7:207-211,220.

[12]
Blank D, Allali S E, Muller W.Henrich: sample-based creation of peer summaries for efficient similarity search in scalable peer-to-peer networks[C]. ACM SIGMM Workshop on Multimedia Information Retrieval, 2007:143-152.

[13]
Liu Q, Yoo J J, Jang B T, et al.A scalable videogis system for GPS-guided vehicles[J]. Signal Processing: Image Communication, 2005,20:205-218.ABSTRACT A VideoGIS system aims at combining georeferenced video information with traditional geographic information in order to provide a more comprehensive understanding over a spatial location. Video data have been used with geographic information in some projects to facilitate a better understanding of the spatial objects of interest. We present an on-going VideoGIS project, in which scalable georeferenced video and geographic information (GI) are transmitted to GPS-guided vehicles. The hypermedia, which contains cross-referenced video and GI, are organized in scalable (layered) fashion. The remote user can request, through 3G mobile devices, the abundant information related to the objects of interest, while adapting to heterogeneous network condition and other factors such as display area size, CPU processing power, etc.

DOI

[14]
宋宏权,刘学军,闾国年,等.基于视频的地理场景增强表达研究[J].地理与地理信息科学,2012,28(5):6-9.视频具有表达直观、信息丰富、 动态实时等特点,将其与GIS有机集成形成地理视频(GeoVideo),可更加形象的表达地理空间。该文利用视频分割技术将视频分割为具有不同摄像机运 动状态的视频片段,针对摄像机运动的视频片段,采用摄像机跟踪(Camera Tracking)技术求算视频帧对应的摄像机内外参数,并基于地理视频数据模型,采用KML/XML描述视频帧、摄像机位置、摄像机姿态等之间的时空映 射关系。最后,设计了原型系统,在网络环境中聚合地理信息服务、视频流媒体服务与KML文档服务等,实现了视频与三维地理场景的交互与融合。实验表明,基 于该地理视频数据模型,利用视频数据可实现对地理场景的增强表达,使用户能更形象的认知地理空间。

[ Song H Q, Liu X J, Lv G N, et al.Research on augmenting aerial earth maps using videos[J]. Geography and Geo-Information Science, 2012,28(5):6-9. ]

[15]
Pau L, Stewart F, Adam W.Spatial video and GIS[J]. International Journal of Geographical Information Science, 2011,25(5):697-716.

[16]
武文波,刘向锋.GIS中数字图像与地理位置的整合方法与应用[J].微计算机信息,2011,27(4):235-237.随着GIS数据采集的多样化,数字图像成为GIS主要属性信息, 而且数字图像比单纯的文字信息更加客观形象、生动直观.为使数字图像与地理位置有机地结合在一起,提出在图像EXIF信息的GPS数据段中通过写入读取 GPS信息使数字图像与地理位置信息整合的方法.详细描述了图像EXIF信息中数据格式并用GDI+获取EXIF信息中图像的元数据,同时探讨了利用这些 元数据可进行的相关地理信息服务.

DOI

[ Wu W B, Liu X F.Integration methods and applications of digital image and location in GIS[J]. Microcomputer Information, 2011,27(4):235-237. ]

[17]
李文闯,章永平,潘瑜春.移动地理信息系统中多源异构数据融合模型[J].计算机应用,2012,32(9):2672-2674,2678.为了提高移动地理信息系统在野外数据采集过程中对多源异构数据的组织管理效率,在分析现有方法局限性和数据自身结构的基础上,提出一种基于可交换图像文件(EXIF)原理以数字图像为载体融合空间位置信息和一般形式属性的数据模型。该模型将关联的空间位置和一般属性嵌入到数字图像的物理结构中,从而实现关联数据的高度整合。基于该模型设计开发了野外数据采集系统,系统应用于农业资源管理与决策分析领域,验证了模型的有效性和实际效果。

DOI

[ Li W C, Zhang Y P, Pan Y C.Multi-source heterogeneous data fusion model in mobile geographic information system[J]. Journal of Computer Applications, 2012,32(9):2672-2674,2678.

[18]
Jeita CP-3451. Exchangeable image file format for digital still cameras: Exif version 2.2[S]. Japan Electronics and Information Technology Industries Association, Tokyo: Jap, 2002:1-72.

[19]
Tim D.Matchmoving: the invisible art of camera tracking, 2nd Edition[M]. John Wiley & Sons, 2012:115-118.

[20]
周勇,何建农,涂平.自动调配的层次网格空间索引技术[J].计算机应用,2005,25(6):1401-1404.海量空间数据的处理需要通过空间索引来提高效率。在深入研究网格类空间索引技术的基础上,针对层次网格空间索引进行若干的改进,提出了有创造性的基于正态分布的第一层网格长宽自动调配算法和完全包含的重新定义算法,并分析了它们的性能。结果表明,改进的层次网格空间索引大大提高了索引的效率和自适应的能力。

DOI

[ Zhou Y, He J N, Tu P.Technique of auto-selection multi-Layers grid spatial index[J]. Journal of Computer Applications, 2005,25(6):1401-1404. ]

Options
文章导航

/

〈 〉