地理时空大数据协同计算技术

doi:10.3724/SP.J.1047.2016.00590

地球信息科学学报 ›› 2016, Vol. 18 ›› Issue (5): 590-598.doi: 10.3724/SP.J.1047.2016.00590

所属专题：地理大数据

• 遥感大数据协同计算理论 • 上一篇下一篇

地理时空大数据协同计算技术

骆剑承¹(), 胡晓东¹, 吴炜², 王博³

1. 中国科学院遥感与数字地球研究所遥感科学国家重点实验室,北京 100101
2. 浙江工业大学计算机学院,杭州 310023
3. 南京航空航天大学航天学院,南京 211106

收稿日期:2016-01-04 修回日期:2016-03-13 出版日期:2016-05-10 发布日期:2016-05-10
作者简介:
作者简介：骆剑承(1970-),男,浙江临安人,博士,研究员,研究方向为遥感大数据协同计算。E-mail:luojc@radi.ac.cn
基金资助:
国家自然科学基金项目（41301438、41301473）;国家高技术研究发展计划项目（2015AA123901）;中国科学院重点部署项目（KZZD-EW-07-02）

Collaborative Computing Technology of Geographical Big Data

LUO Jiancheng^1,^*(), HU Xiaodong¹, WU Wei², WANG Bo³

1. State Key Laboratory of Remote Sensing Science, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100101, China
2. College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China
3. College of Aerospace Engineering Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China

Received:2016-01-04 Revised:2016-03-13 Online:2016-05-10 Published:2016-05-10
Contact: LUO Jiancheng E-mail:luojc@radi.ac.cn

摘要/Abstract

摘要：

大数据时代,地理时空数据的迅猛增长给应用理念、技术框架和服务形式带来挑战。本文在阐述地理时空大数据概念的基础上,首先分析了地理时空大数据计算面临的挑战,从数据协同、技术协同、服务协同和生产协同4个层次阐述了地理时空大数据协同计算方法;然后,根据平台化服务的需求设计了地理时空大数据协同计算框架,从遥感数据综合预处理、地理时空数据的组织与管理、地理时空大数据高效计算、地理时空大数据可视化4个方面论述了地理时空大数据协同计算实现的关键技术;最后,以遥感大数据综合处理系统作为案例说明了地理时空大数据协同计算与服务的实现方法,并对地理时空大数据的应用模式进行了展望。

关键词: 地理时空大数据, 协同计算, 影像处理机, 遥感服务

Abstract:

In the era of big data, the rapid growth of geographic spatial temporal data has challenged the conventional application concepts, technical framework and service modes. In this paper, the concept and features of geographic spatial temporal big data is elaborated firstly. Then, the characteristics and challenges of the geographic spatial temporal big data computation are analyzed. Particularly, the theory of collaborative computing and service for the geographic spatial temporal big data is developed, which includes four levels of collaboration: data collaboration, technology collaboration, service collaboration and producing collaboration. According to the demand of the market-oriented operation and platform-based service, the technical frameworks of the geographic spatial temporal big data collaborative computing are designed. Furthermore, four common key technologies are discussed, including the remote sensing data preprocessing, the geographic spatial temporal data storage and management, the high performance computing and the visualization of geographic spatial temporal big data. Next, the remote sensing data processing system is developed, and is taken as a case to illustrate the implementation of collaborative computing and service of geographic spatial temporal big data. At last, this paper forecasts the future application mode of geographic spatial temporal big data.

Key words: geographical big data, collaborative computing, image processing machine, remote sensing service

骆剑承, 胡晓东, 吴炜, 王博. 地理时空大数据协同计算技术[J]. 地球信息科学学报, 2016, 18(5): 590-598.DOI:10.3724/SP.J.1047.2016.00590

LUO Jiancheng,HU Xiaodong,WU Wei,WANG Bo. Collaborative Computing Technology of Geographical Big Data[J]. Journal of Geo-information Science, 2016, 18(5): 590-598.DOI:10.3724/SP.J.1047.2016.00590

图/表 10

图1

图2

图3

图4

图5

图6

图7

图8

图9

表1

遥感大数据综合处理系统业务发展模式"

发展三步曲	实现目标	协同计算模式	应用与服务模式
“天-空-地”大数据综合处理与应用系统（gDOS）	数据中心与三大系统 ① 建设IPM、PLA、gDOS三大系统,实现大数据生产管理 ② 建立以gDOS为枢纽的遥感大数据生产中心和运维体系 ③ 开展农业、生态、城镇化应用示范,实现数据推送式更新服务	数据协同：统一时空基准的“天-空-地”遥感大数据综合摄影测量与“图-谱”协同认知计算 ① IPM：“几何-辐射-有效”三位一体的影像主动计算,发挥每个像元作用 ② PLA：“图-谱”协同的信息认知计算 ③ gDOS：“栅格-矢量-流”一体化存储与计算	推送式服务 ① 增值数据产品销售② 专业解决方案按需定制与数据更新服务
多中心、跨区域增值信息生产与服务网络（PLA.net）	“数据制造4.0”模式 ① 在总中心基础上,在各地扩展多个数据分中心,形成灾备、联动响应机制 ② 将PLA部署到省、市、县各层节点,利用当地知识优势建立信息生产网络 ③ 基于各节点开展本地化的产品推广和应用服务	生产协同：多中心、跨区域、多组织、多线协同的增值产品生产与更新服务 ① “云”联动：“总-分”数据中心相互联动、相互备份的遥感大数据云存储与服务 ② 协作生产：跨区域、多组织、多线协同的信息产品生产与更新计算 ③ 用户驱动：后端柔性生产与前端个性订制协同,建立用户驱动的增值产品生产和持续更新的服务新模式	定制式服务 ① 建立“总-分”中心网络 ② PLA生产终端与移动终端产品在各区域的建立与推广,建立全国增值信息生产与服务网络 ③ 面向公众产品的设计与推广
众包、众创全民大数据协同服务平台（ABT）	开放、分享、创造 ① 在数据中心基础上,建设互联网运营的开放服务平台 ② 以众包模式,通过全民信息收集器实现对各类实时信息的采集、更新与维护 ③ 以众创模式,提供“数据-工具-服务”接口,实现新产品和服务价值的不断创造	平台协同：以时空大数据作为基本内容支撑的新一代互联网运营平台（ABT） ① 内外协同：数据中心与服务平台内外协同交换,实现内部生产系统和外部服务通道的信息安全传递 ② 众包生产：基于服务平台,自上而下万众分包的协同式信息采集 ③ 众创空间：开放“数据-工具-服务”协同应用接口,实现按需定制	众创式服务 ① 地理时空大数据电商服务平台(A) ② 基于地理时空基准框架的社会经济活动的信息检索(B) ③ 众创空间(T)

表1

参考文献 26

[8]	Qin C, Zhan L J.Parallelizing flow-accumulation calculations on graphics processing units-from iterative DEM preprocessing algorithm to recursive multiple-flow-direction algorithm[J]. Computers & Geosciences, 2012,43:7-16.
[9]	Besiris D, Tsagaris V, Fragoulis N, et al.An FPGA-based hardware implementation of configurable pixel-level color image fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012,50(2):362-373. doi: 10.1109/TGRS.2011.2163723
[10]	Aloisio G, Cafaro M.A dynamic earth observation system[J]. Parallel Computing, 2003,29(10):1357-1362. doi: 10.1016/j.parco.2003.04.002
[11]	康俊锋. 云计算环境下高分辨率遥感影像存储与高效管理技术研究[D].杭州:浙江大学,2011.
	[ Kang J F.Technologies of storage and efficient management on cloud computing for high resolution remote sensing image[D]. Hangzhou: Zhejiang University, 2011. ]
[12]	Phillips R D, Watson L T, Wynne R H.Hybrid image classification and parameter selection using a shared memory parallel algorithm[J]. Computers & Geosciences, 2007,33(7):875-897. doi: 10.1016/j.cageo.2006.10.014
[1]	李德仁,张良培,夏桂松.遥感大数据自动分析与数据挖掘[J].测绘学报,2014,43(12):1211-1216. doi: 10.13485/j.cnki.11-2089.2014.0187
	[ Li D R, Zhang L P, Xia G S.Automatic analysis and mining of remote sensing big data[J]. Acta Geodaetica et Cartographica Sinica, 2014,43(12):1211-1216. ] doi: 10.13485/j.cnki.11-2089.2014.0187
[13]	吴炜,沈占锋,骆剑承,等.均值漂移高分辨率遥感影像多尺度分割的集群实现[J].计算机工程与应用,2009,45(34):7-9,24. doi: 10.3778/j.issn.1002-8331.2009.34.003
	[ Wu W, Shen Z F, Luo J C, et al.Implementation of multi-scales segmentation for high resolution RS images based on cluster[J]. Computer Engineering And Applications, 2009,45(34):7-9,24. ] doi: 10.3778/j.issn.1002-8331.2009.34.003
[2]	周成虎,骆剑承.高分辨率卫星遥感影像地学计算[M].北京:科学出版社,2009.
	[ Zhou C H, Luo J C.High resolution satellite remote sensing image computing[M]. Beijing: Science Press, 2009. ]
[14]	骆剑承,周成虎,沈占锋,等.遥感信息图谱计算的理论方法研究[J].地球信息科学学报,2009,11(5):5664-5669. doi: 10.3969/j.issn.1560-8999.2009.05.017
	[ Luo J C, Zhou C H, Shen Z F, et al.Theoretic and methodological review on sensor information Tupu computation[J]. Journal of Geo-Information Science, 2009,11(5):5664-5669. ] doi: 10.3969/j.issn.1560-8999.2009.05.017
[3]	Zikopoulos P, Eaton C, Deroos D, et al.Understanding of big data[M]. New York: Mc Graw Hill, 2012.
[4]	王劲峰,葛咏,李连发,等.地理学时空数据分析方法[J].地理学报,2014,69(9):1326-1345. doi: 10.11821/dlxb201409007
[15]	Zikopoulos P, Eaton C, Deroos D, et al.Understanding of big data[M]. New York: McGraw Hill, 2012.
[16]	国务院.国务院关于印发促进大数据发展行动纲要的通知[EB/OL]. .
[4]	[ Wang J F, Ge Y, Li L F, et al.Spatio temporal data analysis in geography[J]. Acta Geographica Sinica, 2014,69(9):1326-1345. ] doi: 10.11821/dlxb201409007
[5]	李德仁,马军,邵振峰.论时空大数据及其应用[J].卫星应用,2015(9):7-11.
[16]	[The State Council of the People’s Republic of China. Notice announced by the State Council on printing and distributing the plan of action to promote the development of big data[EB/OL]. ]
[17]	牟乃夏,张恒才,陈洁,等.轨迹数据挖掘城市应用研究综述[J].地球信息科学学报,2015,17(10):136-1142. doi: 10.3724/SP.J.1047.2015.01136
[5]	[ Li D R, Ma J, Shao Z F.The application of spatial temporal big data[J]. Satellite application, 2015,9:7-11. ]
[6]	Dorband J, Palencia J, Ranawake U.Commodity computing clusters at Goddard space flight center[J]. Journal of Space Communication, 2003,3(1):1-5. doi: 10.1126/science.129.3360.1415
[17]	[ Mou N X, Zhang H C, Chen J, et al.A review on the application research of trajectory data mining in urban cities[J]. Journal of Geo-Information Science, 2015,17(10):1136-1142. ] doi: 10.3724/SP.J.1047.2015.01136
[18]	李建中,李金宝,石胜飞.传感器网络及其数据管理的概念,问题与进展[J].软件学报,2003,14(10):1717-1727.
[7]	朱志文,沈占锋,骆剑承.改进SIFT点特征的并行遥感影像配准[J].遥感学报,2011,15(5):1024-1039. doi: 10.11834/jrs.20110216
	[ Zhu Z W, Shen Z F, Luo J C.Parallel remote sensing image registration based on improved SIFT point feature[J]. Journal of Remote Sensing, 2011,15(5):1024-1039. ] doi: 10.11834/jrs.20110216
[18]	[ Li J Z, Li J B, Shi S F.Concepts, issues and advance of sensor networks and data management of sensor networks[J]. Journal of Software, 2003,14(10):1717-1727. ]
[19]	宫鹏. 无线传感器网络技术环境应用进展[J].遥感学报,2010,14(2).387-395. doi: 10.11834/jrs.20100214
	[ Gong P.Progress in recent environmental applications of wireless sensor networks[J]. Journal of Remote Sensing, 2010,14(2).387-395. ] doi: 10.11834/jrs.20100214
[20]	刘经南,方媛,郭迟,等.位置大数据的分析处理研究进展[J].武汉大学学报:信息科学版,2014,39(4):379-385. doi: 10.13203/j.whugis20140210
	[ Liu J N, Fang Y, Guo C, et al.Research progress in location big data analysis and processing[J]. Geomatics and Information Science of Wuhan University, 2014,39(4):379-385. ] doi: 10.13203/j.whugis20140210
[21]	吉根林,赵斌.面向大数据的时空数据挖掘综述[J].南京师大学报:自然科学版,2014,37(1):1-7. doi: 10.3969/j.issn.1001-4616.2014.01.001
	[ Ji G L, Zhao B.A Survey of Spatiotemporal Data Mining for Big Data[J]. Journal of Nanjing Normal University (Natural Science Edition) , 2014,37(1):1-7. ] doi: 10.3969/j.issn.1001-4616.2014.01.001
[22]	刘智慧,张泉灵.大数据技术研究综述[J].浙江大学学报(工学版),2014,48(6):957-972. doi: 10.3785/j.issn.1008-973X.2014.06.001
	[ Liu Z H, Zhang Q L.Research overview of big data technology[J]. Journal of Zhejiang University (Engineering Science), 2014,48(6):957-972. ] doi: 10.3785/j.issn.1008-973X.2014.06.001
[23]	中国资源卫星应用中心.数据服务平台[EB/OL].,2015-11-26.
	[China Centre for Resources Satellite Data and Application. China centre for resources satellite data and application: data service platform[EB/OL]. , 2015-11-26. ]
[24]	张永军,熊金鑫,余磊,等.严密定位模型辅助的国产卫星影像匹配[J].武汉大学学报·信息科学版,2014,39(8):897-900,929. doi: 10.13203/j.whugis201200178
	[ Zhang Y J, Xiong J X, Yu L, et al.Automatic matching for optical imagery acquired from domestic satellites based on rigorous orientation model[J]. Geomatics and Information Science of Wuhan University, 2014,39(8):897-900,929. ] doi: 10.13203/j.whugis201200178
[25]	熊金鑫,张永军,郑茂腾,等.SRTM高程数据辅助的国产卫星长条带影像匹配[J].遥感学报,2013,17(5):1103-1117. doi: DOI:10.11834/jrs.20132245
	[ Xiong J X, Zhang Y J, Zheng M T, et al.An SRTM assisted image matching algorithm for long-strip satellite imagery[J]. Journal of Remote Sensing, 2013,17(5):1103-1117. ] doi: DOI:10.11834/jrs.20132245
[26]	陈国良.并行计算:结构算法编程[M].北京:高等教育出版社,2011.
	[ Chen G L.Parallel computing: structure, algorithm, programming[M]. Beijing: High Education Press, 2011. ]

地理时空大数据协同计算技术

Collaborative Computing Technology of Geographical Big Data

RichHTML

PDF (PC)

赞

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 26

相关文章 2

Metrics

本文评价

推荐阅读 0

[1]	赵耀龙, 巢子豪. 历史GIS的研究现状和发展趋势[J]. 地球信息科学学报, 2020, 22(5): 929-944.
[2]	沈占锋, 李均力, 于新菊. 基于协同计算的白洋淀湿地时序水体信息提取[J]. 地球信息科学学报, 2016, 18(5): 690-698.