面向大数据的地理格网分析操作模型比较
收稿日期: 2013-11-02
修回日期: 2013-12-07
网络出版日期: 2013-12-25
基金资助
国家“863”计划重大项目课题（2012AA12A208）；国家科技支撑计划项目（2007BAH16B00）；欧盟FP7项目（283610）。
Research Progress of Array Analytics towards Big Data
Received date: 2013-11-02
Revised date: 2013-12-07
Online published: 2013-12-25
格网分析操作建模，包括地理格网索引域、值域及其之间的函数定义；基于该定义的操作函数、输入与输出的形式化表达；界定了相应的格网分析技术及其应用。随着物联网和空间对地观测的发展，多维大数据的涌现，对现有2维格网分析基础设施的发展提出了挑战。本文对业界主流的各种格网操作模型进行了系统回顾和比较：首先，介绍地球科学各个领域的多维地理格网及分析需求；然后，抽象了多维格网的形式化定义元素；在此基础上，比较了国内外主要多维格网操作模型，讨论了相应格网操作的输入与输出特征，并总结了不同操作模型的表达能力，论述了格网分析操作建模的方法和需要注意的问题；最后，总结了国内外主流的格网分析语言和系统实现，并展望了其发展趋势和研究方向。
余劲松弟, 吴升 . 面向大数据的地理格网分析操作模型比较[J]. 地球信息科学学报, 2013 , 15(6) : 862 -870 . DOI: 10.3724/SP.J.1047.2013.00862
The development of Internet of Things and Earth Observation brings big observation array data and big array analytics. This paradigm shift challenges the development of current GIS infrastructure which needs innovative proof and design. Array Analytics is considered as one of potential solutions to address today's data tsunami challenge. Formal definitions, such as array domain, range, the mapping function between domain and range, operators, the corresponding input and output are basic building blocks of Array Analytics theory. This paper focuses on the world-wide research progress of Array Analytics towards Big Data. Main Array Analytics models are reviewed and discussed by considering different array definition, operation functions, input and output, making it possible to explore character differentiation and summarize model expressiveness. Then, main array analytics technologies and implementations are discussed and compared by considering different models. Accordingly, array analytics modeling patterns, principle issues and directions for future research are concluded as guidance for further exploration on array analytics theory research, technology improvement and domain applications. National Digital Information Infrastructure Initiatives need effective array storage and analytics platforms. The research is conducted as input of further enhancement on Information Application Infrastructure, which is key backbone of GIS analytics services in terms of earth science system monitoring and forecasting, existing digital construction consolidation, and GIS infrastructure improvement, so as to provide effective support to digital region construction.
[1] 王钦敏, 吴升, 涂平, 等.数字区域信息应用基础设施[M].北京:科学出版社, 2009.
[2] 李德仁, 眭海刚, 单杰, 等.论地理国情监测的技术支撑[J].武汉大学学报:信息科学版, 2012, 37(5):505-512.
[3] 徐冠华:利用市场机制加快战略性新兴产业发展[J].创新科技, 2012(6):5-5.
[4] 中国地球科学发展战略研究组.中国地球科学发展战略的若干问题——从地学大国走向地学强国[J].地球科学进展, 1999, 14(2):105-109.
[5] Goodchild M F, Guo H., Annoni A, et al. Next-generation digital earth[J]. Proceedings of the National Academy of Sciences of the United States of America, 2012, 109(28):11088-11094.
[6] 李德仁.论21世纪遥感与GIS的发展[J].武汉大学学报(信息科学版), 2003, 28(2):127-131.
[7] 张海涛, 闾国年, 张书亮等.基于一体化数据模型的城市管线GIS共享[J].测绘通报, 2005(8):57-60.
[8] 王海起, 王劲峰.空间数据挖掘技术研究进展[J].地理与地理信息科学, 2005, 21(4):6-10.
[9] 吴边, 吴信才.CloudGIS关键技术研究[J].计算机工程与设计, 2011, 32(4):1342-1346.
[10] 张清浦.电子政务与数字中国地理空间基础框架[J].测绘科学, 2007, 32(z1):7-9.
[11] 李朋德."数字区域"地理空间基础框架建设内容与关键技术[C].GIS与数字测绘技术应用研讨交流会论文集, 2002, 137-147.
[12] 吴升.数字区域信息应用基础设施研究[D].北京:中国科学院地理科学与资源研究所, 2008.
[13] Laney D.3D data management: Controlling data volume, velocity and variety[J/OL].[2013-08-01]. http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf, 2001
[14] Snow D. Adding a 4th V to BIG Data–Veracity[M/OL].[2013-08-01], http://dsnowondb2.blogspot.de/2012/07/adding-4th-v-to-big-data-veracity.html, 2012.
[15] 周成虎, 欧阳, 马廷等.地理格网模型研究进展[J].地理科学进展, 2009, 28(5):657-662.
[16] 迈克尔F·古德切尔德.全球离散格网:回顾与展望[J].地理与地理信息科学, 2012, 28(1):1-6.
[17] 季民, 靳奉祥, 周成虎, 等.基于格网的海洋时空数据组织策略研究[J].测绘通报, 2009(7):6-8, 18.
[18 ] 赵学胜, 王磊, 王洪彬, 等.全球离散格网的建模方法及基本问题[J].地理与地理信息科学, 2012, 28(1):29-34.
[19] 白建军, 孙文彬.球面格网系统特征分析及比较[J].地理与地理信息科学, 2011, 27(2):1-5.
[20] 周成虎.对地理格网系统的几点认识[C].全国地图学与GIS学术会议论文集.2004, 10-12.
[21] 兀伟, 李朋德, 董旭明, 等.基于地理格网的空间数据转换与应用[J].测绘通报, 2013(4):75-77
[22] 吴立新, 余接情.地球系统空间格网及其应用模式[J].地理与地理信息科学, 2012, 28(1):7-13
[23] 冯淳.地理格网参考系统的建立与应用[D].西安:长安大学, 2006.
[24] 夏曙东, 李琦, 承继成等.格网技术对地理信息系统应用与发展影响的分析[J].地球信息科学, 2003, 5(4):53-56.
[25] 马晓霞.地理格网参照下的空间数据集成方法研究[D].长安大学, 2006.
[26] 金江军, 潘懋.格网技术对GIS发展的影响[J].地理与地理信息科学, 2004, 20(2):49-52
[27] 徐开明, 吴华意, 龚健雅, 等.基于多级异构空间数据库的地理信息公共服务机制[J].武汉大学学报(信息科学版), 2008, 33(4):402-404.
[28] 傅仲良, 吴建华.多比例尺空间数据库更新技术研究[J].武汉大学学报(信息科学版), 2007, 32(12):1115-1118.
[29] 李定平, 胡光道, 程路, 等.MapGIS下空间数据库的建立及其典型问题研究[J].武汉大学学报(信息科学版), 2005, 30(11):1029-1032.
[30] 李伟.空间数据库技术分析与研究[J].计算机光盘软件与应用, 2013(2):172-173.
[31] 郑刚, 吴相林.应用型地理信息系统空间数据库的分析和设计[J].华中科技大学学报(自然科学版), 2003, 31(1):49-51.
[32] 万婷婷.基于Geodatabase的土地利用空间数据库设计与实现[D].大连:辽宁师范大学, 2012.
[33] Baumann P. On the management of multi-dimensional discrete data[J].VLDB Journal, Special Issue on Spatial Database Systems, 1994, 4(3):401-444.
[34] Baumann P. A database Array Algebra for spatio-temporal data and beyond[C]. Proceedings 4th International Workshop on Next Generation Information Technologies and Systems (NGITS '99), 1999(1649), 76-93.
[35] Rusu F, Cheng Y. A survey on Array Storage, Query Languages, and Systems[J]. arXiv:1302.0103, 2013, 1-44.
[36] Marathe A P, Salem K. A language for manipulating arrays[C]. Proc.of VLDB, 1997, 46-55.
[37] 刘滨.基于嵌套关系演算的数据起源研究与实现[D].南京:南京航空航天大学, 2011.
[38] Libkin L, Machlin R, Wong L. A query language for multidimensional arrays: Design, implementation, and optimization techniques[C]. ACM SIGMOD Record, 1996, 25(2):228-239.
[39] Ballegooij A V, Vries A P D, Kersten M. Ram: Array processing over a relational dbms, No.R 0301[R]. Netherland: CWI, 2003.
[40] Ballegooij A V. RAM: A multidimensional Array DBMS[C]. Current Trends in Database Technology-EDBT 2004 Workshops, 2004, 154-165.
[41] Cornacchia R, Héman S, Zukowski M, et al. Flexible and efficient IR using Array Databases[J]. VLDB Journal (VLDBJ), 2008(17):151-168.
[42] 毛琛, 汪罕, 陈立军, 等.SciArray:面向科学计算的多维数组代数模型[J].计算机研究与发展, 2010, 47(z1):243-249.
[43] Stonebraker M, Brown P, Poliakov A, et al. The architecture of SciDB[C]. Proceedings of 2011 SSDBM International Conference on Scientific and Statistical Database Management, 2011, 1-16.
[44] Kersten M L, Zhang Y, Ivanova M, el al. SciQL, a query language for science applications[C]. Proceedings of 2011 AD EDBT/ICDT Array Databases Workshop, 2011, 1-12.
[45] Marathe A P and Salem K. Query processing techniques for arrays[C]. SIG-MOD'99:Proceedings of the 1999 ACM SIGMOD International Conference on Management of Data, 1999: 323-334.
[46] Cheng Y, Rusu F. EXTASCID: An extensible system for the analysis of scientific data[C]. Poster XLDB, 2012.
[47] 翟晓芳, 龚健雅, 肖志峰, 等.利用流水线技术的遥感影像并行处理[J].武汉大学学报:信息科学版, 2011, 36(12):1430-1433.
[48] 曾志, 刘仁义, 李先涛, 等.一种基于分块的遥感影像并行处理机制[J].浙江大学学报(理学版), 2012, 39(2):225-230.
[49] 王永刚.基于Hadoop云计算平台的地理信息服务若干关键技术研究[D].北京:中国科学院研究生院, 2011.
[50] 吕勇洪.空间数据的并行存储模型研究[D].武汉:中国地质大学(武汉), 2011.
[51] 刘长东.海洋多源数据获取及基于多源数据的海域管理信息系统[D].青岛:中国海洋大学, 2008.
[52] 尹芳.面向地学研究信息化的空间数据分布式计算服务体系及关键技术研究与应用[D].北京:中国科学院研究生院, 2011.
[53] 陆锋, 周大良, 郭朝珍, 等.面向网络海量空间信息的GIS平台体系结构[J].地球信息科学, 2002, 4(3):26-34.
[54] 牛芩涛, 盛业华.GeoTIFF图像文件的数据存储格式及读写[J].四川测绘, 2004, 27(3):105-108.
[55] 詹杰勇, 平西建.JPEG分层压缩模式在嵌入式GIS中的应用[J].微计算机信息, 2005, 21(26):54-55.
[56] Domenico B, Caron J, Davis E, et al. GALEON: Standards-based web services for interoperability among earth sciences data systems[C]. 2006 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2006), vol.1.2006:313-316.
[57] Leptoukh G, Ouzounov D, Savtchenko A, et al. HDF/HDF-EOS data access, visualization and processing tools at the GES DAAC[C]. IEEE International Proceedings of Geoscience and Remote Sensing Symposium, 2003 IGARSS '03, 2003 vol.6.2003:3571-3573.
[58] 王恩泉.中国版Google Earth的空间数据组织与管理研究[D].北京:中国测绘科学研究院, 2007.
[59] 刘启明, 徐学军, 李利军, 等.ArcSDE在栅格数据存储中的应用[J].计算机仿真, 2003, 20(8):125-126, 135-136.
[60] 朱志军.支持地理栅格数据管理的空间数据库技术研究与实现[D].国防科学技术大学, 2009.
[61] 刘瑜, 林星, 秦适等.支持栅格数据的GSQL扩展研究[J].中国图象图形学报, 2005, 10(1):113-121.
[62] 王伟, 杜道生, 熊汉江, 等.分布式栅格数据库的一体化管理[J].测绘通报, 2007(3):57-59.
[63] 王娜, 刘南, 沈林芳, 等.基于CORBA技术的海量栅格空间数据库引擎的设计与应用[J].浙江大学学报(理学版), 2007, 34(4):476-480.
[64] 银迎.地理栅格数据的空间数据库存储管理研究与实现[D].长沙:中南大学, 2006.
[65] 沈林芳.栅格空间数据库引擎存储机理与应用研究[D].杭州:浙江大学, 2005.
[66] 李恒.全球栅格数据存储技术研究与实现[D].武汉:中国地质大学(武汉), 2007.
[67] 黄登山, 陈大克, 葛峰, 等.基于Oracle 10g Spatial的栅格数据存储、管理及关键技术[J].桂林工学院学报, 2005, 25(3):317-321.
/
| 〈 |
|
〉 |