地理时空大数据协同计算技术
作者简介:骆剑承(1970-),男,浙江临安人,博士,研究员,研究方向为遥感大数据协同计算。E-mail:luojc@radi.ac.cn
收稿日期: 2016-01-04
要求修回日期: 2016-03-13
网络出版日期: 2016-05-10
基金资助
国家自然科学基金项目(41301438、41301473)
国家高技术研究发展计划项目(2015AA123901)
中国科学院重点部署项目(KZZD-EW-07-02)
Collaborative Computing Technology of Geographical Big Data
Received date: 2016-01-04
Request revised date: 2016-03-13
Online published: 2016-05-10
Copyright
大数据时代,地理时空数据的迅猛增长给应用理念、技术框架和服务形式带来挑战。本文在阐述地理时空大数据概念的基础上,首先分析了地理时空大数据计算面临的挑战,从数据协同、技术协同、服务协同和生产协同4个层次阐述了地理时空大数据协同计算方法;然后,根据平台化服务的需求设计了地理时空大数据协同计算框架,从遥感数据综合预处理、地理时空数据的组织与管理、地理时空大数据高效计算、地理时空大数据可视化4个方面论述了地理时空大数据协同计算实现的关键技术;最后,以遥感大数据综合处理系统作为案例说明了地理时空大数据协同计算与服务的实现方法,并对地理时空大数据的应用模式进行了展望。
骆剑承 , 胡晓东 , 吴炜 , 王博 . 地理时空大数据协同计算技术[J]. 地球信息科学学报, 2016 , 18(5) : 590 -598 . DOI: 10.3724/SP.J.1047.2016.00590
In the era of big data, the rapid growth of geographic spatial temporal data has challenged the conventional application concepts, technical framework and service modes. In this paper, the concept and features of geographic spatial temporal big data is elaborated firstly. Then, the characteristics and challenges of the geographic spatial temporal big data computation are analyzed. Particularly, the theory of collaborative computing and service for the geographic spatial temporal big data is developed, which includes four levels of collaboration: data collaboration, technology collaboration, service collaboration and producing collaboration. According to the demand of the market-oriented operation and platform-based service, the technical frameworks of the geographic spatial temporal big data collaborative computing are designed. Furthermore, four common key technologies are discussed, including the remote sensing data preprocessing, the geographic spatial temporal data storage and management, the high performance computing and the visualization of geographic spatial temporal big data. Next, the remote sensing data processing system is developed, and is taken as a case to illustrate the implementation of collaborative computing and service of geographic spatial temporal big data. At last, this paper forecasts the future application mode of geographic spatial temporal big data.
Fig. 1 The composition of geographical big data图1 地理时空大数据层次模型 |
Fig. 2 Collaborative computing framework of the geographical big data图2 地理时空大数据协同计算体系 |
Fig. 3 Comprehensive processing of the remote sensing data图3 遥感数据综合处理 |
Fig. 4 Geographical big data storage and management method图4 地理时空大数据组织与管理方法 |
Fig. 5 High performance computation of geographic data图5 地理时空大数据高效能计算方法 |
Fig. 6 The interactive visualization mode based on real-time rendering图6 基于实时渲染的交互可视化模式 |
Fig. 7 Deployment and collaborative relationship between the four systems图7 4个子系统的部署与协同关系 |
Fig. 8 Main interface of IPM system图8 IPM系统主界面 |
Fig. 9 Process list of PLA system图9 PLA系统工序列表 |
Tab. 1 Business development model of remote sensing big data processing system表1 遥感大数据综合处理系统业务发展模式 |
发展三步曲 | 实现目标 | 协同计算模式 | 应用与服务模式 |
---|---|---|---|
“天-空-地”大数据综合处理与应用系统(gDOS) | 数据中心与三大系统 ① 建设IPM、PLA、gDOS三大系统,实现大数据生产管理 ② 建立以gDOS为枢纽的遥感大数据生产中心和运维体系 ③ 开展农业、生态、城镇化应用示范,实现数据推送式更新服务 | 数据协同:统一时空基准的“天-空-地”遥感大数据综合摄影测量与“图-谱”协同认知计算 ① IPM:“几何-辐射-有效”三位一体的影像主动计算,发挥每个像元作用 ② PLA:“图-谱”协同的信息认知计算 ③ gDOS:“栅格-矢量-流”一体化存储与计算 | 推送式服务 ① 增值数据产品销售② 专业解决方案按需定制与数据更新服务 |
多中心、跨区域增值信息生产与服务网络(PLA.net) | “数据制造4.0”模式 ① 在总中心基础上,在各地扩展多个数据分中心,形成灾备、联动响应机制 ② 将PLA部署到省、市、县各层节点,利用当地知识优势建立信息生产网络 ③ 基于各节点开展本地化的产品推广和应用服务 | 生产协同:多中心、跨区域、多组织、多线协同的增值产品生产与更新服务 ① “云”联动:“总-分”数据中心相互联动、相互备份的遥感大数据云存储与服务 ② 协作生产:跨区域、多组织、多线协同的信息产品生产与更新计算 ③ 用户驱动:后端柔性生产与前端个性订制协同,建立用户驱动的增值产品生产和持续更新的服务新模式 | 定制式服务 ① 建立“总-分”中心网络 ② PLA生产终端与移动终端产品在各区域的建立与推广,建立全国增值信息生产与服务网络 ③ 面向公众产品的设计与推广 |
众包、众创 全民大数据 协同服务平台(ABT) | 开放、分享、创造 ① 在数据中心基础上,建设互联网运营的开放服务平台 ② 以众包模式,通过全民信息收集器实现对各类实时信息的采集、更新与维护 ③ 以众创模式,提供“数据-工具-服务”接口,实现新产品和服务价值的不断创造 | 平台协同:以时空大数据作为基本内容支撑的新一代互联网运营平台(ABT) ① 内外协同:数据中心与服务平台内外协同交换,实现内部生产系统和外部服务通道的信息安全传递 ② 众包生产:基于服务平台,自上而下万众分包的协同式信息采集 ③ 众创空间:开放“数据-工具-服务”协同应用接口,实现按需定制 | 众创式服务 ① 地理时空大数据电商服务平台(A) ② 基于地理时空基准框架的社会经济活动的信息检索(B) ③ 众创空间(T) |
The authors have declared that no competing interests exist.
[1] |
[
|
[2] |
[
|
[3] |
|
[4] |
[
|
[5] |
[
|
[6] |
|
[7] |
[
|
[8] |
|
[9] |
|
[10] |
|
[11] |
[
|
[12] |
|
[13] |
[
|
[14] |
[
|
[15] |
|
[16] |
国务院.国务院关于印发促进大数据发展行动纲要的通知[EB/OL]. .
[The State Council of the People’s Republic of China. Notice announced by the State Council on printing and distributing the plan of action to promote the development of big data[EB/OL]. ]
|
[17] |
[
|
[18] |
[
|
[19] |
[
|
[20] |
[
|
[21] |
[
|
[22] |
[
|
[23] |
中国资源卫星应用中心.数据服务平台[EB/OL].,2015-11-26.
[China Centre for Resources Satellite Data and Application. China centre for resources satellite data and application: data service platform[EB/OL]. , 2015-11-26. ]
|
[24] |
[
|
[25] |
[
|
[26] |
[
|
/
〈 |
|
〉 |