地球信息科学学报 ›› 2016, Vol. 18 ›› Issue (12): 1588-1596.doi: 10.3724/SP.J.1047.2016.01588
徐道柱1,2,3(), 罗斌4,*(
), 周岩2,3, 金澄1,2,3
收稿日期:
2016-04-28
修回日期:
2016-10-18
出版日期:
2016-12-27
发布日期:
2016-12-20
作者简介:
作者简介:徐道柱(1982-),男,江苏洪泽人,博士,助理研究员,研究方向为地理信息智能获取与应用。E-mail:
基金资助:
XU Daozhu1,2,3(), LUO Bin4,*(
), ZHOU Yan2,3, JIN Cheng1,2,3
Received:
2016-04-28
Revised:
2016-10-18
Online:
2016-12-27
Published:
2016-12-20
Contact:
LUO Bin
摘要:
随着地理信息技术与计算机网络技术的结合和发展,基于全球框架的地理信息服务对海量数据管理的要求越来越高,传统的单中心的关系数据库的管理模式已经不能满足要求。分布式文件系统、半结构化数据库和关系数据库技术优势互补,为海量数据高效管理提供了新的技术思路。本文提出了分布式环境下空间数据一体化存储管理架构,设计了矢量和栅格数据的数据逻辑组织和物理存储模型,通过统一的分层+分块的数据划分规则,实现了矢、栅数据分布式环境下的一体化管理。在该模型中,利用关系数据库和半结构化数据库的特点,对空间索引和实体数据分开管理,有效地提高了数据处理和访问效率。实验表明,该模型具有更高的数据管理能力,可为分布式环境下数据服务中心构建提供一个有效的解决方案。
徐道柱, 罗斌, 周岩, 金澄. 分布式环境下矢栅一体化数据组织模型设计[J]. 地球信息科学学报, 2016, 18(12): 1588-1596.DOI:10.3724/SP.J.1047.2016.01588
XU Daozhu,LUO Bin,ZHOU Yan,JIN Cheng. Model Design of Integrated Vector and Raster Data Organization Under the Distributed Environment[J]. Journal of Geo-information Science, 2016, 18(12): 1588-1596.DOI:10.3724/SP.J.1047.2016.01588
表5
矢量数据并发访问测试记录表
并发访问 用户个数 | 访问时间 /min | 发送请求 个数 | 系统成功处理 请求个数 | 系统处理请求 成功率/(%) | 成功处理的请求的响应速度/(要素/秒) | ||
---|---|---|---|---|---|---|---|
最小速度 | 最大速度 | 平均速度 | |||||
25×20 | 5 | 624 | 621 | 99.51 | 1231.85 | 578000 | 44152.99 |
25×24 | 5 | 608 | 607 | 99.83 | 1189.83 | 578000 | 46118.62 |
25×28 | 5 | 700 | 697 | 99.58 | 4244.28 | 578000 | 31001.02 |
25×32 | 5 | 805 | 805 | 100 | 785.82 | 578000 | 43859.84 |
25×36 | 5 | 900 | 893 | 99.22 | 766.60 | 578000 | 39124.65 |
25×40 | 5 | 1000 | 990 | 99 | 2918.80 | 578000 | 26832.16 |
25×45 | 5 | 1125 | 1116 | 99.2 | 568.63 | 578000 | 9292.78 |
表6
影像数据并发访问测试记录表
并发访问 用户个数 | 访问时间 /min | 发送请求 个数 | 系统成功处理 请求个数 | 系统处理 请求成功率/(%) | 成功处理的请求的响应速度/(MB/s) | ||
---|---|---|---|---|---|---|---|
最小速度 | 最大速度 | 平均速度 | |||||
25×20 | 5 | 601 | 601 | 100 | 12 | 300 | 57 |
25×24 | 5 | 622 | 622 | 100 | 18 | 520 | 34 |
25×28 | 5 | 700 | 688 | 98.3 | 23.7 | 430 | 33 |
25×32 | 5 | 805 | 805 | 100 | 40 | 446 | 52.9 |
25×36 | 5 | 900 | 872 | 96.9 | 36 | 270 | 59 |
25×40 | 5 | 1000 | 987 | 98.7 | 10.1 | 280 | 90.5 |
25×44 | 5 | 1100 | 1096 | 99.6 | 6.77 | 275 | 116.59 |
[1] |
付青松. GIS矢栅数据结构及数据组织管理研究[J]. 绘与空间地理信息,2010,33(6):64-72.
doi: 10.3969/j.issn.1672-5867.2010.06.019 |
[ Fu Q S.The Research of GIS Raster Data Structure and Data Organization and Management[J].GEOMATICS & SPATIAL INFORMATION TECHNOLOGY, 2010,33(6):64-72. ]
doi: 10.3969/j.issn.1672-5867.2010.06.019 |
|
[2] | 李冬梅. 三维GIS中的矢栅一体化技术的研究与设计[D].沈阳:沈阳工业大学,2007:18-21. |
[ Li D M.RESEARCH AND DESIGN ON INTEGRATION OF VECTOR DATA AND RASTER DATA IN THREE-DIMENSION GIS[D] . Shenyang:Shenyang University of Technology, 2007:18-21. ] | |
[3] |
王珂,张周威.矢栅一体化拓扑关系的度量描述研究[J].武汉大学学报信息科学版,2015,40(5):638-643.
doi: 10.13203/j.whugis20130357 |
[ Wang K,Zhang Z W.Quantitative Representation of Topology Relations Based on Integrative Data Model of Vector and Raster[J]. Geomatics and Information Science of Wuhan University, 2015,40(5):638-643. ]
doi: 10.13203/j.whugis20130357 |
|
[4] |
Kjenstad K.On the Integration of Object-Based Models and Field-based Models in GIS[J].International Journal of Geographical Information Science, 2006,20(5):491-509.
doi: 10.1080/13658810600607329 |
[5] |
Cova T, Goodchild M.Extending Geographical Representation to Include Fields of Spatial Objects[J].International Journal of Geographical Information Science, 2002,16(6):509-532.
doi: 10.1080/13658810210137040 |
[6] |
Goodchild M, Yuan M, Cova T.Towards a General Theory of Geographical Representation in GIS[J]. International Journal of Geographical Information Science, 2007,21(3):239-260.
doi: 10.1080/13658810600965271 |
[7] | 汪娜,岳丽华,金培权,等.基于矢栅一体化的多源地理空间信息关联模型[J].计算机研究与发展,2012,49(suppl.):134-139. |
[ Wang N, Yue L H, Jin P Q, et al. Multi-Source Geospatial Information Association Model Based on the Integration of Vector and Raster Data[J]. Journal of Computer Research and Development, 2012,49(suppl.):134-139. ] | |
[8] |
Chang F, Dean J, Ghemawat S, et al. Bigtable: A distributed storage system for structured data[J]. ACM Transactions on Computer Systems(TOCS), 2008,26(2):1-26.
doi: 10.1145/1365815.1365816 |
[9] | 康俊锋. 云计算环境下高分辨率遥感影像存储与高效管理技术研究[D].杭州:浙江大学,2011:25-47. |
[ Kang J F.Technologies of Storage and Efficient Management on Cloud Computing for High Resolution Remote Sensing Image[D].Hangzhou: Zhejian University, 2011:25-47. ] | |
[10] | 王旭东. 面向海量遥感影像数据的分布式文件系统管理技术研究[D].兰州:兰州交通大学,2012:19-26. |
[ Wang X D.Distributed File System Management Technology Research Based on The Massive Remote Sensing Image Data[D]. Lanzhou: Lanzhou Jiaotong University, 2012:19-26. ] | |
[11] | 程付超. 面向海量遥感数据的分布式混合计算技术研究[D].成都:成都理工大学,2014:35-41. |
[ Chen F C.Research on Distributed Hybrid Computing Technologies for Massive Remote Sensing Data[D]. Chengdu: Chengdu University of Technology, 2014:35-41. ] | |
[12] | 霍旭光. 基于云计算的大规模地形数据处理方法的研究[D].北京:中国地质大学(北京),2013:23-39. |
[ Huo X G.The Research to Massive Terrain Data Processing Method based on Cloud Computing[D].Beijing: China University of Geosciences, 2013:23-39. ] | |
[13] | 杨文奇. 基于MapRedcue的大规模栅格数据空间分析算法并行化研究[D].赣州:江西理工大学,2013:26-35. |
[ Yang W Q.Research on Parallel Spatial Analysis Algorithm of Massive Raster Data Based on MapReduce[D]. Ganzhou: Jiangxi University of Technology, 2013:26-35. ] | |
[14] | 刘灿由. 电子海图云服务关键技术研究与实践[D].郑州:信息工程大学,2013:69-87. |
[ Liu C Y.Research and Practice on Key Technologies of Electronic Chart Cloud Service[D].Zhengzhou: Information Engineering University,2013:69-87. ] | |
[15] | 陈军. 基于G_S模式的空间分析云服务关键技术研究[D].成都:成都理工大学,2012:41-49. |
[ Chen J.The Study of Key Technologies of Spatial Analysis Services Based On G/S Model[D]. Chengdu: Chengdu University of Technology, 2012:41-49. ] | |
[16] | 张广弟. 分布式环境下海量空间数据的存储和并行查询技术研究[D]. 赣州:江西理工大学,2012:18-24. |
[ Zhang G D.Research on Storage and Parallel Query of Massive Spatial Data in The Distributive Environment[D]. Ganzhou: Jiangxi University of Technology, 2012:18-24. ] | |
[17] | 岳利群. 基于分布式存储的虚拟地理环境关键技术研究[D].郑州:信息工程大学,2011:106-116. |
[ Yue L Q.Research on Key Technologies for Virtual Geographic Environment Based on Distributed Storage[D]. Zhengzhou: Information Engineering University, 2011:106-116. ] |
[1] | 王浩成, 向隆刚, 关雪峰, 张叶廷. 基于出租车上下客数据流与分布式多阶段网格聚类的城市热点区域实时探测方法[J]. 地球信息科学学报, 2023, 25(7): 1514-1530. |
[2] | 吕爱锋, 亓珊珊. 遥感及再分析降水产品在缺资料干旱内陆盆地的适用性评估[J]. 地球信息科学学报, 2022, 24(9): 1817-1834. |
[3] | 曾梦熊, 华一新, 张政, 张江水, 杨振凯, 韦原原. 面向大规模空间Agent建模的分布式地理模拟框架[J]. 地球信息科学学报, 2022, 24(5): 815-826. |
[4] | 亢扬箫, 桂志鹏, 丁劲宸, 吴京航, 吴华意. 基于Hilbert空间分区和Geohash索引的并行Ripley's K函数[J]. 地球信息科学学报, 2022, 24(1): 74-86. |
[5] | 胡毅荣, 王超, 杜震洪, 张丰, 刘仁义. 一种与地图服务结合的栅格瓦片计算模型[J]. 地球信息科学学报, 2021, 23(10): 1756-1766. |
[6] | 宋关福, 陈勇, 罗强, 武梦瑶. GIS基础软件技术体系发展及展望[J]. 地球信息科学学报, 2021, 23(1): 2-15. |
[7] | 聂沛, 陈广胜, 景维鹏. 矢量瓦片并行构建与分布式存储模型研究[J]. 地球信息科学学报, 2020, 22(7): 1487-1496. |
[8] | 喻忠磊, 庄立, 孙丕苓, 梁进社, 张文新. 基于可持续性视角的建设用地适宜性评价及其应用[J]. 地球信息科学学报, 2016, 18(10): 1360-1373. |
[9] | 杨典华. 分布式空间拓扑连接查询优化处理算法[J]. 地球信息科学学报, 2013, 15(5): 643-648,679. |
[10] | 何亚文, 杨晓梅, 杜云艳, 孙晓宇. 极地海冰-海洋参数遥感反演模型分布式共享研究[J]. 地球信息科学学报, 2013, 15(2): 209-216. |
[11] | 杨海平, 沈占锋, 骆剑承, 吴炜. 海量遥感数据的高性能地学计算应用与发展分析[J]. 地球信息科学学报, 2013, 15(1): 128-136. |
[12] | 姚明经, 林甲祥, 陈崇成, 马亨冰. 网格环境下分布式空间离群挖掘体系的设计与应用[J]. 地球信息科学学报, 2011, 13(3): 383-390. |
[13] | 高昂, 陈荣国, 赵彦庆, 颜勋. 空间数据访问集成与分布式空间数据源对象查询[J]. 地球信息科学学报, 2010, 12(4): 532-540. |
[14] | 胡斌, 冯佳丽, 王俊淑, 王永君, 吴家皋, 邹志强. 面向P2P环境的分布式矢量地理数据组织模式研究[J]. 地球信息科学学报, 2010, 12(1): 62-68. |
[15] | 诸云强, 冯敏, 宋佳, 刘润达. 基于SOA的地球系统科学数据共享平台架构设计与实现[J]. 地球信息科学学报, 2009, 11(1): 1-9. |
|