Orginal Article

Model Design of Integrated Vector and Raster Data Organization Under the Distributed Environment

  • XU Daozhu , 1, 2, 3 ,
  • LUO Bin , 4, * ,
  • ZHOU Yan 2, 3 ,
  • JIN Cheng 1, 2, 3
Expand
  • 1. Institute of Surveying and Mapping, Information Engineering University, Zhengzhou 450052, China
  • 2. State Key Laboratory of Geo-information Engineering , Xi′an 710054, China;
  • 3. Xi′an Institute of Surveying and Mapping, Xi′an 710054, China;
  • 4. Institute of Geographic Sciences and Natural Resources Research, Beijing 100101, China
*Corresponding author: LUO Bin, E-mail:

Received date: 2016-04-28

  Request revised date: 2016-10-18

  Online published: 2016-12-20

Copyright

《地球信息科学学报》编辑部 所有

Abstract

With the combination and development of geographic information technology and computer network technology, geographic information services based on global framework demand for more efficient massive data management, the traditional single center relational database management mode is unable to meet the requirements. Since the distributed file systems, semi-structured databases and relational database technology have complementary advantages to each other, a new technical method for efficient management of massive data is developed. In order to achieve high effective geospatial data management, this paper presented an integrated architecture oriented to the storage and management of geospatial data in distributed environment, designed user - oriented massive geospatial data integration model and distributed storage organization model . In this model, a technical route combining the NoSQL database and relational database is adopted, and a layered + partitioned data model and multi-level index mechanism for the rapid access of massive data is designed, so it can realizes the integrated management of vector and raster data in distributed environment. Because the model has taken advantages of relational database and semi-structured database, structured geographic information, spatial index and entity data can be managed separately and the efficiency of data processing and access is improved effectively. Vector data and raster data is the largest and most widely used geospatial data, In this paper, an experiment system is set up in the experiment environment, which realizes vector data and raster data management model. TB-level data are used to conduct experiments of data loading, index (pyramid) creation and concurrent data access efficiency, compared with the traditional data model, the model in the data management capacity, processing speed and access efficiency have greatly improved. The results show that the model can support the parallel operation in distributed environment, with a higher data management capability will offer an effective solution to massive data management in distributed environment.

Cite this article

XU Daozhu , LUO Bin , ZHOU Yan , JIN Cheng . Model Design of Integrated Vector and Raster Data Organization Under the Distributed Environment[J]. Journal of Geo-information Science, 2016 , 18(12) : 1588 -1596 . DOI: 10.3724/SP.J.1047.2016.01588

1 引言

随着计算机网络技术与地理信息技术的迅速发展,在线地理信息服务为人们认知地理环境提供了极为方便的手段和方式,而海量空间数据的高效组织与管理是提供各种数据和功能服务的基础。总体来讲,海量空间数据组织管理包含数据存储方式和数据管理方式2个层面的内容,数据存储方式包括集中存储和分布式存储2种方式,数据管理方式则包括文件系统、关系数据库、分布文件系统和半结构化数据库等方式。在文件系统和关系数据库管理模式下,关于数据模型的相关研究成果较 多[1-7],形成了成熟的一体化数据模型,但面对飞速增长的海量空间数据,这种管理方式在数据管理能力、多用户并发支持和数据访问效率等方面显得力不从心。
基于分布文件系统、半结构化数据库管理海量空间数据已经成为研究的热点,以往研究集中于海量遥感影像和大规模地形数据等栅格数据的存储管理和快速处理方面[8-13]。文献[14]以可视化服务为目的设计了云环境下的海图数据模型,文献[15]、[16]从空间分析和快速查询角度实现海量矢、栅数据管理,文献[17]设计了虚拟地理环境相关的矢量、栅格和仿真模型数据元数据模型。而分布式环境下多元海量空间数据一体化管理模型方面的研究较少。因此,本文结合分布式文件系统、半结构化数据库和关系数据库的优点,分析了分布式环境下空间数据一体化存储管理架构,设计了该架构下矢栅一体化的数据组织模型,分析了该模型的优势,并进一步开展了海量空间数据高效存储、管理和处理实验。

2 分布式环境下空间数据一体化存储管理架构

传统的空间数据存储管理架构大多采用基于SAN或NAS的集中存储和基于关系型数据库的空间数据管理方式,这种存储管理方式无法支撑海量地理数据存储组织、大规模并发访问用户以及测绘信息高效在线服务等需求。目前,随着空间数据的数据量快速增长以及在线服务的需求,空间数据存储管理架构呈现2个方面的转变:①数据存储的体系结构从集中式逐渐向分布式转变,从小规模集群逐渐向大规模集群转变;②数据管理技术从依托传统的关系型DBMS逐渐向针对空间数据的特点实现的专用型空间数据管理系统转变。
在此需求与技术背景下,本文设计了面向分布式应用环境的空间数据一体化存储管理架构,如 图1所示。该架构的逻辑层次自下而上包含了数据存储池、数据存储访问层、地理数据存储引擎、地理数据访问引擎、地理信息元数据和地理图层对象管理层6个部分,涉及了面向用户的地理空间数据一体化应用与管理和海量地理空间数据分布式存储组织2个方面。
Fig.1 The integrated geographic data storage architecture based on distributed environment

图1 分布式环境下空间数据一体化存储架构

(1)面向用户的地理空间数据一体化管理与应用
其包括地理图层对象管理层、地理数据访问引擎和地理信息元数据3部分。
① 地理图层对象管理层包含地理图层对象和地理图层对象目录。地理图层对象是在各种类型地理信息图层基础上抽象的统一地理图层模型,其体现了各类地理数据的共有特征,如元数据、类型、子类型、地理范围、空间参考、摘要描述、资源标识等特征,是各类地理空间数据模型设计的基础。基于地理图层对象之上,设计了地理图层对象目录,面向用户提供基于目录树结构的各类型地理空间数据一体化管理。
② 地理数据访问引擎包含了各类型地理空间数据访问引擎,如矢量数据访问引擎、栅格数据访问引擎等,这些访问引擎首先需继承地理图层对象,为用户提供各类型地理空间数据的统一访问入口,其次面向用户应用提供各种类型数据的详细访问接口,最后需要基于地理数据存储引擎进行实现。
③ 地理信息元数据是对各类型地理空间数据元数据的抽象与统一管理,具体包括基础元数据和扩展元数据。
(2)面向海量地理空间数据分布式存储组织
其包括数据存储池、数据存储访问层、地理数据存储引擎3部分。
① 数据存储是对一个地理空间数据库所涉及的关系型数据库、NoSQL数据库/分布式文件系统和搜索数据库的统一抽象,其能实现各类型地理空间数据的存储。由于数据量过大或业务分库存储等原因一个数据存储往往不能满足应用需要,需要建立多个数据存储来满足实际应用需求。数据存储池便是设计用于对多个数据存储进行管理,实现对多个数据存储的一体化使用。
② 数据存储访问层是为屏蔽各类型具体的数据库或数据存储而提出的数据存储访问接口,具备包括了关系型数据库访问API、NoSQL数据库访问API和搜索库访问API。
③ 地理数据存储引擎是在数据存储引擎之上,设计的面向各类型地理空间数据的物理存储数据(如矢量属性数据物理存储为关系型数据库中的表记录、矢量目标数据的物理存储为二进制块、栅格像素块的物理存储为二进制数据块等)的地理数据存储模型,具体包括关系型数据存储引擎、地理数据块数据存储引擎、搜索数据存储引擎。各类型地理数据的物理存储数据最终基于地理数据存储引擎进行统一存储。
在这个一体化存储管理架构中,完成数据存储池、数据存储访问层、地理数据存储引擎、地理信息数据元数据和地理图层对象管理层5个部分的统一设计与实现后,各类型地理空间数据的存储与应用仅需要进行各自地理数据访问引擎的设计与实现,即可实现各类型地理空间数据的分布式存储与应用。矢量数据和栅格数据是地理空间数据中最复杂、数据量最大、应用最多的2种数据,下文着重针对矢量数据和栅格数据的逻辑组织模型和物理存储模型进行详细阐述。

3 矢栅数据逻辑模型

3.1 矢量数据逻辑组织模型

在传统的矢量数据逻辑组织模型中,一种类型的矢量数据(如居民的、陆地交通等)被设计为一个矢量图层,该矢量图层包含图层描述信息和地理目标,而地理目标又包含了目标属性信息、几何信息、拓扑信息、符号信息和注记信息。这些信息在应用端都是被逐条的从数据库中存取,并被逐条缓存到内存中进行管理与应用。这样的数据模型在系统管理的地理数据增多时,会带来数据访问慢、空间索引维护困难、建立空间索引耗费时间长等一系列问题,很难支持多尺度数据的快速获取、网络环境下的“渐进式”传输以及地理信息客户端的“自适应”动态可视化等应用。
为了解决海量矢量数据的快速存取问题,本文采用NoSQL数据库/分布式文件系统和关系数据库相结合的技术路线,提出了一种适应于海量矢量数据快速存取的分层+分块的数据模型。首先将矢量数据进行分层管理,分层的规则相对灵活,可以依据数据来源、数据版本、要素种类等进行分层,例如将不同类别的矢量数据(包括点、线、面)分别存储为不同的矢量层(如陆地交通层、水域陆地层、地貌层等);各图层的元数据信息统一存储在关系型数据库中的一个表中用于实现图层管理与查找;各图层的目标属性信息分层逐条存储于关系型数据库的若干表中,用于实现目标的属性条件查询。分块的思想体现在:对于一个矢量数据图层,首先按全球范围划分为具有统一划分规则和编号的矢量数据桶,桶的编号为第一级索引,然后在桶的范围内按照两级四叉树规则及HHCode编码规则将地理数据划分为数据块进行管理。HHCode编码形成二级索引作为数据块内容的一部分存储在数据块的头部,矢量目标被序列化为二进制块后压缩存储在索引块的后面。数据块存储在NoSQL数据库中进行管理,数据的部署、访问和更新都先以数据块为单位。分块存储的目的是支撑空间数据可视化、空间查询、空间分析与空间数据服务等各类应用实现,具体结构如图2所示。
Fig.2 The vector data model

图2 矢量数据模型

该数据模型从结构上由数据持久化模型和数据应用模型组成。
(1)数据持久化模型
图2可知,矢量数据模型从逻辑上由若干个矢量数据桶组成,每个矢量数据桶包括桶参数信息块、桶数据块、索引块、若干数据块。①桶参数信息块是描述桶信息的数据块,记录了矢量数据桶所属的图幅、图幅版本、范围等信息;②桶数据块描述了桶包含的索引块个数、索引块对应的级别、编号以及每个索引块包含的地理目标数据标识等信息;③索引块是描述空间索引本身的信息,包括空间索引块的级别、编号等信息;④数据块存储一定范围里的地理目标的几何、拓扑、属性等数据,是利用纵向分层和横向分块的规则将矢量图层包含的地理目标数据进一步细分的结果,是数据存储、数据更新以及数据访问的最小单位,如图3所示。
Fig.3 The layered and partitioned structure of vector data

图3 矢量数据分层和分块结构

在每个数据块中,对包含的地理目标建立目标级索引,构建矢量数据的多级索引机制。数据持久化模型描述了矢量数据模型调度方式。当调度矢量数据时,根据调度条件(如空间范围)首先确定当前调度的矢量数据所在的所有矢量数据桶,进而获取相应的桶数据块和索引块,根据桶数据块和索引块快速获取该桶里符合条件的矢量数据标识;然后根据矢量数据标识,结合桶数据块,直接定位到矢量数据块,实现高并发下矢量数据的高效访问。
(2)数据应用模型
数据应用模型提供面向用户的矢量数据的存储访问方式。当数据持久化模型完成矢量数据的调度后,会将符合调度条件的数据以目标集的形式分批加载应用。该模型具有以下特点:①桶参数信息块数据量较小,在矢量数据调度过程中,始终位于内存中,用于快速定位符合调度条件的矢量数据桶;②将数据块和索引块分开管理,解决了索引块与地理目标数据紧耦合的问题,解决了地理目标众多时引起的索引块臃肿、建立耗费时间长、维护困难等问题;③以数据块为最小调度单位,解决了分布式存储、高性能部署、数据更新和快速可视化所要求的数据快速定位和灵活调度问题;④以数据块为加载对象,有效地降低了从持久层加载数据次数,减轻I/O的压力;⑤通过目标集批量调度,分批分类加载的手段,实现了超前服务能力,可以极大地提高矢量数据的访问效率。

3.2 栅格数据逻辑组织模型

与矢量数据一致,栅格数据的存储组织也采用分层+分块的方式,将不同来源、不同版本、不同类型的栅格数据以不同图层进行管理,结构化的属性信息和非结构化的数据块及分布位图等信息分开管理,并建立索引,支持快速访问和更新,具体结构如图4所示。
Fig.4 The logical organization of raster data

图4 栅格数据逻辑组织

图4所示,结构化的属性信息包括图层参数、波段参数和金字塔层级信息等属性数据。非结构化的数据块则包括栅格图层的基础层数据(第0层数据)数据块和金字塔图层(第1层至第j层)数据块;空间上相邻的数据块在逻辑上同属于一个数据桶,对于每一个数据桶分别有一个桶块分布位图用于描述该桶内数据块的分布。数据桶与数据块之间建立索引确定其对应关系,数据块的索引信息包括所属图层ID、波段ID、图幅版本ID、块行列号、金字塔层级等信息。
该模型具有以下特点:①相比矢量数据模型,栅格数据的组织结构更加扁平化;②基础层数据和金字塔图层采用一致的分块规则和组织结构,可以实现数据的统一管理;③每个逻辑桶以桶为单元存储管理分布位图,方便进行图层数据的追加、更新操作,避免全图层共用一个分布位图造成的资源加锁等待问题。

4 矢栅数据物理模型

4.1 矢栅数据物理存储方式

矢量数据和栅格数据采用NoSQL数据库/分布式文件系统和关系数据库相结合的存储方式,其物理存储方式如图5所示。
Fig.5 The physical storage form of vector and raster data

图5 矢栅数据物理存储方式

矢量数据的存储方式体现在:①矢量图层的描述信息、地理目标描述信息、属性数据和数据块局部更新形成的版本信息具有结构化的特征,格式相对固定,且需要进行属性组合查询等操作,因此这些数据存储于关系数据库中;②矢量数据桶和矢量数据块是地理目标的组织形式,具有数量大、写入次数少、读取频繁等特点,如果将这些数据存储在关系数据库中,只能将其以BLOB类型的方式存储,在关系数据库中存储大量的BLOB类型数据,不利于地理目标的调度且维护困难。因此,将这些数据存储于分布式文件系统和分布式数据库中,能充分利用分布式存储、多机并行处理、高速并行I/O、存储负载平衡等能力,解决空间数据快速入库、局部更新、数据高性能访问和大量并发用户支持等问题。
栅格数据的存储方式体现在:①栅格图层的描述信息、波段参数、金字塔层级等信息具有结构化的特征,格式相对固定,检索查询等应用场景较多,将这些数据存储在关系数据库中以便快速检索;②栅格图层的基础层数据块、金字塔数据块在概念上是一致的,因此作为统一的存储对象管理,其数据量巨大,需占据绝大部分的存储资源,所以将其存储在分布式文件系统和分布式数据库中。

4.2 矢栅数据物理存储模型

矢栅数据物理存储模型如图6所示。
Fig.6 The physical storage model of vector and raster data

图6 矢栅物理存储模型

矢量图层的描述信息、矢量图层扩展信息、图幅、图幅版本、目标属性信息存储在关系型数据库中,分别对应的表为:TGIS_VEC_LAYER_DESC、TGIS_VEC_AUXPROP、TGIS_LAYER_TILE、TIGS_ LAYER_TILEVERSION、TGIS_VEC_FEATURE表。
栅格图层的描述信息、图幅、图幅版本、金字塔、波段信息存储在关系型数据库中,分别对应的表为:TGIS_RAS_LAYER_DESC、TGIS_LAYER_ TILE、TIGS_LAYER_TILEVERSION、TGIS_RAS_ PYRAMID和TGIS_RAS_BAND表。
矢量图层和栅格图层的桶信息和数据块信息存储在NoSQL数据库HBase中,分别对应的表为TGIS_BUCKETS和TGIS_DATA_BOLCK表。TGIS_BUCKETS由一个列簇组成,存储图层包含的所有桶信息,包括桶的基本信息(目标范围、空间范围)、桶内空间索引、桶内分块信息、桶内数据位图信息。TGIS_DATA_BOLCK表也由一个列簇组成,主要以字节流的形式存储压缩后的矢量与栅格数据块,列簇的rowkey设计矢量与栅格的略有不同,矢量数据块的rowkey由随机数_图层ID_桶ID_矢量数据块图幅内索引组成,栅格数据块的rowkey由随机数_图层ID_金字塔级别_桶ID_数据块编号构成,其中图层ID分别关联关系型数据库表TGIS_VEC_LAYER_DESC和TGIS_RAS_LAYER_DESC中的主键(LAYERID),形成关系型数据库与NoSQL数据库之间的关联。

5 实验与分析

5.1 实验环境和实验数据

实验软件环境包括改进后的分布式文件系统HDFS、分布式数据库HBase、达梦关系数据库(DM7 MPP版本)和自主开发的并行入库、并发访问实验软件。
实验硬件环境包括43台存储服务器用于部署分布式文件系统和分布式数据库,存放以本文所设计的数据模型进行组织的非结构化矢、栅数据;6台存储服务器用于部署关系数据库,存放数据模型中结构化地理信息数据;25台客户端机器用于部署待入库数据和并行入库、并发访问程序。
实验数据包括矢量、影像和DEM数据,其中矢量数据包括1:5万、1:10万、1:25万、1:50万、1:100万等比例尺,共约200 GB;影像数据包括航片和快鸟、SPOT-5、资源三号等多源、多分辨率数据,共约1.35 TB;DEM数据包括全球SRTM数据、ASTER DEM数据和国内1:5万、1:25万DEM数据共约60 GB。为了增加实验数据量,采用坐标平移的办法利用现有数据构建实验数据,共形成多比例尺、多源矢量数据1.6 TB,各类型影像数据6.5 TB,DEM数据88 GB。

5.2 实验案例和结果分析

5.2.1 数据入库和索引(金字塔)建立
将试验数据分摊部署在并行客户端机器上,启动并行入库程序,表1为矢量数据入库和空间索引建立效率实验结果,表2为影像数据入库和金字塔建立效率实验结果,表3为DEM数据入库和金字塔建立效率实验结果,表4为基于原有数据模型实现的管理系统的实验结果。
Tab.1 The vector data storage andspatial indexing efficiency

表1 矢量数据入库和空间索引建立效率

入库数据量/GB 并行客户端数/台 入库时间/h 入库速度/(GB/(小时×单台))
1648 25 29.76 2.22
120 25 2.13 2.25
Tab.2 The image data storage and pyramid building efficiency

表2 影像数据入库和金字塔建立效率

入库数据量/GB 并行客户端数/台 入库时间/h 入库速度/(GB/(小时×单台))
6656 10 30.05 22.15
878 10 3.92 22.40
Tab.3 The DEM data storage and pyramid building efficiency

表3 DEM数据入库和金字塔建立效率

入库数据量/GB 并行客户端数/台 入库时间/h 入库速度/(GB/(小时×单台))
88 10 1.97 4.47
37 10 1.60 2.31
Tab.4 The storage efficiency of traditional data management system

表4 传统数据管理系统入库效率

试验内容 入库数据/GB 客户端数/台 入库时间/h 入库速度/(GB/(小时×单台))
矢量数据入库、索引建立 300 1 85 3.45
影像数据入库、金字塔创建 500 1 50 10
从实验结果可看出:①随着数据量的增长,在客户端数量不变的情况下,入库时间呈线性增长趋势,单台客户端入库速度保持稳定;②由于金字塔建立效率比矢量数据空间索引建立过程简单、计算量小,因此影像数据入库效率明显优于矢量数据;③由于DEM数据采用文本明码格式,格式解译较影像数据相对复杂,因此数据入库效率下降明显,可进一步优化DEM数据文件格式,提高数据管理效率;④与传统数据模型相比,矢量数据平均入库效率没有提升,反而有所下降,但总体部署时间大大缩短,且可管理数据量大大提升;影像数据入库效率从单机到总体时间都得到大大提升。
5.2.2 数据并发访问效率
在25台客户端部署自主开发的并发访问程序,对数据模型在不同并发条件下的访问成功率和访问效率进行实验,每台客户端上分别启动20、24、28、32、36、40、45个进程模拟并发访问用户,并为每个测试执行者分配参数文件序号,执行并发访问5分钟,记录每个并发访问用户5 min内向系统发送请求的个数、系统成功处理请求的个数、系统处理请求成功率,以及成功处理请求的最小、最大、平均响应速度。表5为矢量数据并发访问测试记录表,表6影像数据并发访问测试记录表。
Tab.5 The test record of vector data concurrent access

表5 矢量数据并发访问测试记录表

并发访问
用户个数
访问时间
/min
发送请求
个数
系统成功处理
请求个数
系统处理请求
成功率/(%)
成功处理的请求的响应速度/(要素/秒)
最小速度 最大速度 平均速度
25×20 5 624 621 99.51 1231.85 578000 44152.99
25×24 5 608 607 99.83 1189.83 578000 46118.62
25×28 5 700 697 99.58 4244.28 578000 31001.02
25×32 5 805 805 100 785.82 578000 43859.84
25×36 5 900 893 99.22 766.60 578000 39124.65
25×40 5 1000 990 99 2918.80 578000 26832.16
25×45 5 1125 1116 99.2 568.63 578000 9292.78
Tab.6 The test record of image data concurrent access

表6 影像数据并发访问测试记录表

并发访问
用户个数
访问时间
/min
发送请求
个数
系统成功处理
请求个数
系统处理
请求成功率/(%)
成功处理的请求的响应速度/(MB/s)
最小速度 最大速度 平均速度
25×20 5 601 601 100 12 300 57
25×24 5 622 622 100 18 520 34
25×28 5 700 688 98.3 23.7 430 33
25×32 5 805 805 100 40 446 52.9
25×36 5 900 872 96.9 36 270 59
25×40 5 1000 987 98.7 10.1 280 90.5
25×44 5 1100 1096 99.6 6.77 275 116.59
从实验结果可看出:①随着并发访问量的增加,系统处理请求成功率没有发生明显变化,矢量数据并发访问成功率都达到99%以上,影像数据并发访问成功率也都保持在99%左右;②随着并发访问量的增加,矢量数据并发访问单位时间获取的要素个数呈逐步下降的趋势,而影像数据却没有明显下降趋势,这与矢量数据存在大量的属性和索引信息需要使用关系数据库进行管理有关,当访问量增加时,关系数据库的响应效率将有所下降。

6 结束语

针对海量空间数据的高效组织与管理问题,本文在分析分布式文件系统、半结构化数据库和关系数据库的技术特点的基础上,提出了一种分布式环境下矢栅一体化数据组织模型,从数据逻辑组织和物理存储2个角度阐述了矢量和栅格数据的组织形式,通过统一的分层+分块的数据划分规则,实现矢栅数据的一体化管理。实验表明,相对于传统的数据管理模型,该模型具有更高的数据管理效率,可为分布式环境下数据服务中心构建提供一个有效的解决方案。

The authors have declared that no competing interests exist.

[1]
付青松. GIS矢栅数据结构及数据组织管理研究[J]. 绘与空间地理信息,2010,33(6):64-72.基于多年从事地理信息系统的相关工作经验,以地理信息系统数据结构及数据组织管理为研究对象,探讨了GIS数据模型、数据结构、数据组织与管理方法,全文是长期对GIS数据结构研究基础上对理论的升华,相信对从事相关研究的同行有着一定的参考价值和借鉴意义.

DOI

[ Fu Q S.The Research of GIS Raster Data Structure and Data Organization and Management[J].GEOMATICS & SPATIAL INFORMATION TECHNOLOGY, 2010,33(6):64-72. ]

[2]
李冬梅. 三维GIS中的矢栅一体化技术的研究与设计[D].沈阳:沈阳工业大学,2007:18-21.

[ Li D M.RESEARCH AND DESIGN ON INTEGRATION OF VECTOR DATA AND RASTER DATA IN THREE-DIMENSION GIS[D] . Shenyang:Shenyang University of Technology, 2007:18-21. ]

[3]
王珂,张周威.矢栅一体化拓扑关系的度量描述研究[J].武汉大学学报信息科学版,2015,40(5):638-643.首先,借助传统的9交模型确定了矢栅一体化数据模型拓扑关系的定 性表达;其次,利用重叠部分的栅格数目占各个目标的比率来确定交叠分量,同时根据栅格的统计量来描述两目标接近程度的邻近分量;最终,将定性的拓扑关系、 用以度量化描述的交叠分量及邻近分量以三元组的形式来描述目标间的拓扑关系,从而更加有效地实现了多类型地理目标拓扑关系的度量化描述.

DOI

[ Wang K,Zhang Z W.Quantitative Representation of Topology Relations Based on Integrative Data Model of Vector and Raster[J]. Geomatics and Information Science of Wuhan University, 2015,40(5):638-643. ]

[4]
Kjenstad K.On the Integration of Object-Based Models and Field-based Models in GIS[J].International Journal of Geographical Information Science, 2006,20(5):491-509.This paper proposes a common base-model for the classical object-based and field-based conceptual models in GIS. The model, which is called the PGOModel or 'Parameterized Geographic Object Model', is given a formal definition by using the UML modelling language. Within the scope of the paper, it has been shown that the PGOModel encompasses the classical object-based and field-based models. Two extensive examples demonstrate the application of the PGO model. The PGOModel seems ontologically well founded, except for the so-called PGOAtom concept.

DOI

[5]
Cova T, Goodchild M.Extending Geographical Representation to Include Fields of Spatial Objects[J].International Journal of Geographical Information Science, 2002,16(6):509-532.This paper describes a means for linking field and object representations of geographical space. The approach is based on a series of mappings, where locations in a continuous field are mapped to discrete objects. An object in this context is a modeler's conceptualization, as in a viewshed, highway corridor or biological reserve. An object can be represented as a point, line, polygon, network, or other complex spatial type. The relationship between locations in a field and spatial objects may take the form of one-to-one, one-to-many, many-to-one, or many-to-many. We present a typology of object fields and discuss issues in their construction, storage, and analysis. Example applications are presented and directions for further research are offered.

DOI

[6]
Goodchild M, Yuan M, Cova T.Towards a General Theory of Geographical Representation in GIS[J]. International Journal of Geographical Information Science, 2007,21(3):239-260.Geographic representation has become more complex through time as researchers have added new concepts, leading to apparently endless proliferation and creating a need for simplification. We show that many of these concepts can be derived from a single foundation that we term the atomic form of geographic information. The familiar concepts of continuous fields and discrete objects can be derived under suitable rules applied to the properties and values of the atomic form. Fields and objects are further integrated through the concept of phase space, and in the form of field objects. A second atomic concept is introduced, termed the geo-dipole, and shown to provide a foundation for object fields, metamaps, and the association classes of object-oriented data modelling. Geographic dynamics are synthesized in a three-dimensional space defined by static or dynamic object shape, the possibility of movement, and the possibility of dynamic internal structure. The atomic form also provides a tentative argument that discrete objects and continuous fields are the only possible bases for geographic representation.

DOI

[7]
汪娜,岳丽华,金培权,等.基于矢栅一体化的多源地理空间信息关联模型[J].计算机研究与发展,2012,49(suppl.):134-139.地理空间对象通常包含地理空间数据和属性数据,其中地理空间数据一般包括栅格影像和矢量数据.从地理空间应用的视角,地理空间对象是一个整体,地理空间数据和属性数据是不可割裂的.然而现有的地理空间信息管理技术要么将地理空间数据及其属性数据分开表达和存储,要么只能支持矢量数据或单源栅格影像,无法满足多源地理空间信息的一体化管理需求,针对多源地理空间信息的集成问题,设计提出一种基于矢栅一体化的多源地理空间信息关联模型UnifiedGeospatialModel.该模型将地理空间对象的栅格影像表示为分块的影像金字塔,并采用地理位置关联方法将对象的矢量数据和属性数据与金字塔中的影像块相关联,从而实现了多源地理空间信息的一体化组织.与已有工作相比,UnifiedGeospatialModel可以有效地实现多源栅格影像、矢量数据以及属性数据的关联,并能够支持地理空间信息查询及综合展现等多种地理空间应用.实验结果表明UnifiedGeospatialModel可以有效关联多源地理空间信息并快速响应地理空间信息查询.

[ Wang N, Yue L H, Jin P Q, et al. Multi-Source Geospatial Information Association Model Based on the Integration of Vector and Raster Data[J]. Journal of Computer Research and Development, 2012,49(suppl.):134-139. ]

[8]
Chang F, Dean J, Ghemawat S, et al. Bigtable: A distributed storage system for structured data[J]. ACM Transactions on Computer Systems(TOCS), 2008,26(2):1-26.Bigtable is a distributed storage system for managing structured data that is designed to scale to a very large size: petabytes of data across thousands of commodity servers. Many projects at Google store data in Bigtable, including web indexing, Google Earth, and Google Finance. These applications place very different demands on Bigtable, both in terms of data size (from URLs to web pages to satellite imagery) and latency requirements (from backend bulk processing to real-time data serving). Despite these varied demands, Bigtable has successfully provided a flexible, high-performance solution for all of these Google products. In this article, we describe the simple data model provided by Bigtable, which gives clients dynamic control over data layout and format, and we describe the design and implementation of Bigtable.

DOI

[9]
康俊锋. 云计算环境下高分辨率遥感影像存储与高效管理技术研究[D].杭州:浙江大学,2011:25-47.

[ Kang J F.Technologies of Storage and Efficient Management on Cloud Computing for High Resolution Remote Sensing Image[D].Hangzhou: Zhejian University, 2011:25-47. ]

[10]
王旭东. 面向海量遥感影像数据的分布式文件系统管理技术研究[D].兰州:兰州交通大学,2012:19-26.

[ Wang X D.Distributed File System Management Technology Research Based on The Massive Remote Sensing Image Data[D]. Lanzhou: Lanzhou Jiaotong University, 2012:19-26. ]

[11]
程付超. 面向海量遥感数据的分布式混合计算技术研究[D].成都:成都理工大学,2014:35-41.

[ Chen F C.Research on Distributed Hybrid Computing Technologies for Massive Remote Sensing Data[D]. Chengdu: Chengdu University of Technology, 2014:35-41. ]

[12]
霍旭光. 基于云计算的大规模地形数据处理方法的研究[D].北京:中国地质大学(北京),2013:23-39.

[ Huo X G.The Research to Massive Terrain Data Processing Method based on Cloud Computing[D].Beijing: China University of Geosciences, 2013:23-39. ]

[13]
杨文奇. 基于MapRedcue的大规模栅格数据空间分析算法并行化研究[D].赣州:江西理工大学,2013:26-35.

[ Yang W Q.Research on Parallel Spatial Analysis Algorithm of Massive Raster Data Based on MapReduce[D]. Ganzhou: Jiangxi University of Technology, 2013:26-35. ]

[14]
刘灿由. 电子海图云服务关键技术研究与实践[D].郑州:信息工程大学,2013:69-87.

[ Liu C Y.Research and Practice on Key Technologies of Electronic Chart Cloud Service[D].Zhengzhou: Information Engineering University,2013:69-87. ]

[15]
陈军. 基于G_S模式的空间分析云服务关键技术研究[D].成都:成都理工大学,2012:41-49.

[ Chen J.The Study of Key Technologies of Spatial Analysis Services Based On G/S Model[D]. Chengdu: Chengdu University of Technology, 2012:41-49. ]

[16]
张广弟. 分布式环境下海量空间数据的存储和并行查询技术研究[D]. 赣州:江西理工大学,2012:18-24.

[ Zhang G D.Research on Storage and Parallel Query of Massive Spatial Data in The Distributive Environment[D]. Ganzhou: Jiangxi University of Technology, 2012:18-24. ]

[17]
岳利群. 基于分布式存储的虚拟地理环境关键技术研究[D].郑州:信息工程大学,2011:106-116.

[ Yue L Q.Research on Key Technologies for Virtual Geographic Environment Based on Distributed Storage[D]. Zhengzhou: Information Engineering University, 2011:106-116. ]

Outlines

/