EN中文

地球信息科学学报 >

2019 , Vol. 21 >Issue 12: 1825 - 1831

DOI: https://doi.org/10.12082/dqxxkx.2019.190694

特约稿件

论时空大数据的智能处理与服务

  • 李德仁 , *
展开
  • 武汉大学测绘遥感信息工程国家重点实验室,武汉 430079

李德仁（1939-）,男,江苏镇江人,中国科学院院士,中国工程院院士,国际欧亚科学院院士,国际宇航科学院院士,主要从事以遥感、全球卫星定位系统和地理信息系统为代表的空间信息科学与技术的科研与教学工作, 并推进地理国情监测、数字城市与数字中国、智慧城市与智慧中国的研究及相关建设。E-mail: drli@whu.edu.cn

收稿日期: 2019-10-15

  要求修回日期: 2019-11-20

  网络出版日期: 2019-12-25

版权

版权所有，未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
收起

The Intelligent Processing and Service of Spatiotemporal Big Data

  • LI Deren , *
Expand
  • State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China
LI Deren, E-mail:

Received date: 2019-10-15

  Request revised date: 2019-11-20

  Online published: 2019-12-25

Copyright

Copyright reserved © 2019
Fold

摘要

时空大数据智能处理与服务是以测绘、遥感和地理信息技术为中心的地球空间信息学的重要应用途径和发展契机。本文首先全面论述了时空大数据的兴起发展、主要特点和挖掘手段,进而介绍了时空大数据的自动匹配、变化检测、智能决策等智能处理技术,并在此基础上论述了由对地观测到对人观测的“3S”社会化应用,最后介绍了天基信息的实时智能服务(PNTRC)的现状、发展目标、关键技术及应用前景。诸多实践证明,在大数据和人工智能时代,面对海量的多源异构的时空大数据,抓好自动化、实时化、智能化、大众化和社会化,地球空间信息学的创新发展前景必将一片光明。

关键词： 时空大数据; 智能处理; 社会化应用; 天基信息实时智能服务

本文引用格式

李德仁 . 论时空大数据的智能处理与服务[J]. 地球信息科学学报, 2019 , 21(12) : 1825 -1831 . DOI: 10.12082/dqxxkx.2019.190694

Abstract

The intelligent processing and service of spatiotemporal big data is an important application and development opportunity of Geo Spatial Information Science, which is centered on surveying and mapping, remote sensing and geographic information technology. The development, main characteristics and mining methods of spatiotemporal big data are comprehensively discussed in this paper; Then automatic matching, change detection and intelligent decision-making of intelligent processing technologies based on spatiotemporal big data are introduced; On this basis, the "3S" socialized applications from earth observation to human observation are discussed; Finally, the current situation, development goal, key technologies, and application prospects of PNTRC based on spatiotemporal big data are introduced. Many practices have proved that in the age of big data and artificial intelligence,facing on the massive multi-source and heterogeneous spatiotemporal big data, focusing on the construction of automation, real-timized, intelligence, popularization and socialization, the innovation and development of Geo Spatial Information Science will have a bright future!

Key words： Spatiotemporal big data; intelligent processing; social application; PNTRC

1 引言

在大数据和人工智能时代,现实世界中随时都会产生具有空间性、时间性、多维性、海量性、复杂性的时空大数据信息[1]。时空数据是同时具有时间和空间信息的数据,时空大数据是最重要的大数据之一,其智能处理与服务是以测绘、遥感和地理信息技术为中心的地球空间信息学的重要应用途径和发展契机[2]。时空大数据具有时空性、海量性、复杂性、和多维性等特点,其云计算方法和挖掘技术是目前国际遥感科学技术的前沿领域之一[1]。
时空大数据的表达与组织是数据内容准确度量和价值提炼的基础[3]。利用卫星遥感技术、卫星导航定位技术、网络地理信息技术和计算机虚拟现实技术,地球自然形态、人类活动的几何与社会属性等信息被大量送入电脑,并广泛流通于互联网,形成实际与网络结合的网络物理空间。我们迫切需要利用云端运算,对这些结构复杂、数量庞大的数据进行数据整合分析,并能够快速将之转化为有价值的信息,从中探索和挖掘自然和社会变化的规律,进而利用大规模有效数据进行计算、分析、预测、建模、可视化和决策反馈,真正进入利用时空大数据发现新规律和运控现实世界的时代。

2 时空大数据发展

美国于1993年9月制定了“信息高速公路”计划,并于次年开始建设国家空间数据基础设施（NSDI),引发了席卷全球的信息化革命。我国于1995年启动了推动全国信息化的“八金”工程,标志着我国信息化建设开始起步。1998年,美国副总统戈尔提出了“数字地球”的概念,该理念推进世界步入数字地球和数字城市建设新阶段。目前,我国已构筑完成数字中国基础框架,包括600多个城市在内的数字城市基本框架亦初步建成。
2006年以来,随着新一代信息技术如物联网、云计算等的兴起发展,工业化与信息化的综合集成正在逐步实现。无所不在的传感网将网络世界与现实世界关联起来,形成虚实一体化空间（Cyber Physical Space）,对现实世界中人和物的状态和变化,实现了从自动化实时感知,到由云计算处理为中心的海量复杂计算、控制和智能反馈。2009年,全世界各国正式提出建设智慧地球和智慧城市,其推进和发展可为人类生存繁衍、经济发展、社会交往和文化共享等诸多方面提供多元化智能化服务,实现低碳、绿色、可持续发展。 《Nature》杂志和《Science》杂志分别于2008年、2011年出版了《Big Data》、《Dealing with data》专刊,指出大数据时代已到来。2012年3月,美国奥巴马政府正式发布了堪比20世纪的信息高速公路计划的“大数据研究和发展倡议”。从信息高速公路到网络空间,到数字地球、智慧地球的提出,都代表着时空大数据时代已经到来。
在时空大数据时代到来的背景下,这意味着可用于收集时空数据的非专业传感器逐渐多样化。提到非专业传感器,就不得不提到物联网技术 （图1）。从2006年到现在,物联网技术取得了巨大的进步。我们所处的环境中有无所不在的亿万个各类传感器,到2020年将会达到10万亿个。这些传感器必将产生越来越多的数据,数据的量级将从现在的GB、TB级逐步增长到PB、EB和ZB级。物联网将各种各样的传感器加入到现实世界中去,形成智能传感网。因此,我们所处的环境是由无所不在的传感器组成的物联网,物联网技术能够实现人与人、人与机器、机器与机器的互联互通。这将产生更多反映社会、人文、自然等信息的时空大数据。从空天地专业传感器扩展到物联网中无所不在的非专业传感器,数据获取传感器网形成庞大的空天地传感器资源,产生前所未有的时空大数据。这些都是之前不常见的时空数据,现在随着技术的进步,逐渐进入到分析和决策中。这些专用和非专用传感器包括：
图1 物联网技术

Fig. 1 IoT sensor-based technology

（1）卫星遥感大数据：目前我国卫星遥感数据已达600 PB,已超过美国;
（2）城市实景地图：现在已有超过600个城市拥有城市实景地图;
（3）城市视频大数据：我国每个大城市的城市视频数据量大约为3000~4000 PB;
（4）城市出行轨迹大数据：包括手机、智能手表、车辆、共享单车等提供的数据。

3 时空大数据的智能处理

在时空大数据空前爆炸的背景下,有效利用时空大数据为其智能处理提出了新的机遇与挑战。根据国家战略需求和人民生产生活的实际需要,我们针对时空大数据的智能处理做出以下研究和探索：无控制全球制图、自动匹配与三维建模、影像目标搜索、影像信息提取、室内导航定位与位置服务、智能测量机器人、大数据智能决策、视频数据智能处理与挖掘等。
针对全球测图的需要,我们利用资源三号卫星的全国数据进行了整体无控制区域网平差计算（集成数据8810景,原始数据量20 TB）,采用选权迭代验后方差估计的粗差探测方法,从20亿个匹配点中自动选择300万个连接点,使遥感影像自主定位精度从15 m提高到5 m,满足了全球测图的要求,实现了全国DOM/DSM的自动化生产。由国家发改委支持的一项全球测图计划,正在为“一带一路”和中国走向全球提供及时服务,每年可完成3000万km2、1:50 000测图任务。
面向工程建设、文物保护、室内高精度定位的需要,开发针对多源非专业相机或传感器的三维建模模型。利用双相机摇摆倾斜摄影系统（双鱼系统）对建筑物进行三维建模,实现了建筑物的高精度立体化重建;建立业余相机数据三维建模模型,利用业余相机的照片对建筑物、文物等进行三维建模,实现了对象的高精度重建,为文物保护工作提供了新思路;利用室内工程机采集的室内实景进行三维自动建模（SLAM）,实现室内场景下的高精度定位。
面对数据量极大的遥感影像大数据,自动搜索、提取、跟踪目标,并做到快速、准确、全面、便捷的信息提取,是目前面临的难题。在目标自动搜索方面,我们基于深度学习的方法,建立自动影像搜索引擎,实现了遥感影像目标的自动检索。在1000万瓦片影像数据库中,自动搜索人工目标的速度优于1 s。在目标提取方面,利用无人机视频数据对目标进行检测和跟踪,面对光照、拍摄角度等造成的几何位置不对应,开发了目标影像凸面模型,据此模型进行目标影像比对与目标变化要素提取,适用于变化发现和复杂目标要素提取。在机场提取的应用中,面对高分辨率影像纹理结构复杂、云雾烟尘遮挡、光照角度等多重影响,提出了高空间高光谱分辨率的遥感影像智能化解译理论与算法,建立了基于机场跑道先验知识的自适应直线检测和平行线编组的机场跑道、滑行道提取规则。在目标定位跟踪方面,将姿态角常差检校与动力学归到模型进行推演,基于先验信息辅助、多尺度集合特征和序列图像进行目标匹配定位,实现了多卫星联合时敏目标连续定位与跟踪。在遥感大数据的智能处理中,实现了从任务请求到资源调度、传输分发、直至应用服务的快速响应链路,形成了基于多维动态航天信息球的面向任务聚焦服务理论。
室内导航与位置服务具有广泛的市场前景,是实现人工智能的重要场景之一（图2）。我们重点突破基于声、光、电、场的高精度室内定位技术,以分米级的高精度定位技术为控制,以无时不在的手机内置传感器和无处不有的磁场为纽带,创建高精基准控制,紧耦多源融合的手机多源融合室内定位技术路线（图3）。例如,手机多源融合室内定位算法,在以上技术路线的支持下,在观测量层面实现了紧耦融合12种定位源的任意组合,实现优于1 m的定位精度。室内导航与高精度位置服务衍生出多种社会化应用,如基于实时位置的冰球运动大数据分析、精准医疗及护理、新能源车充电桩导航及位置服务、基于智能手机内置传感器管道定位技术、基于智能感知定位和测资系统的机动车自动导航和驾驶技术等。
图2 室内导航与位置服务的市场前景

Fig. 2 Prospect of indoor navigation and location service

图3 多源融合室内定位技术

Fig. 3 Indoor location technique based on multi-source fusion

机器人是实现人工智能的最直接内容,在测绘和地理信息领域,机器人的应用主要为自动测图、智能导航和智能驾驶等。采用多传感器集成、深度学习和3D-SLAM等技术,打造出会识路、认路、记路的智能机器人,能够在陌生的环境下快速绘制出二维/三维高精度地图,实现自主导航定位、路径规划、智能避障、自动转向及楼梯爬坡等强大功能,能够根据路设置好的路径规划和作业要求,协助或代替人类完成巡检、巡逻、安防等工作,主要应用有变电站智能巡检机器人、智慧园区安保巡逻机器人、智能物流机器人、新零售导购机器人等,为智慧城市建设提供智能化、安全化、低成本的优质AI服务。
为实现利用时空大数据服务国家重大需求的目标,3S需从信息获取层面提升到按需服务层面,从智能分析提升到智能决策层面,即从“3S+人工智能（AI）”走向“3S+智能决策（IA）”,架设地理信息与应用的桥梁。面向国家重要基础设施健康安全的实时、精准地理信息获取与分析的需要,我们通过开展技术攻关,获得系列研发和应用成果,包括数据模型设计、关键技术突破、软件系统研发、整体解决方案设计、重大工程应用的实施与验证,获得了良好的社会和经济效益。研发了一系列实现实时数据接入、动态数据管理、实时数据分析和推理、动态信息服务的自主知识产权实时GIS软件平台,并转化为商业产品支撑重大工程应用。例如,研发了电力走廊无人机巡检与智能监测系统,发明了绝缘子损伤在线实时检测和树障安全距离人工智能在线计算方法,实现了巡检、故障判读、报表输出实时处理,极大地降低了劳动强度。建立了电力走廊多要素的精准定位、识别与建模以及3D空间关系计算模型一体化的软硬件系统,解决了电力走廊安全风险的定位和预警问题,已在全国15个省市电力部门推广应用。
面向海量视频数据难以进行有效利用的现状,发明了基于刑侦特征的人脸智能处理等技术。针对视频影像,重点突破白天重建质量尚可,夜间质量极差的难题;针对人脸识别,重点突破从低质量图像中重构出高质量图像的超分辨率识别技术;针对目标姿态识别,重点突破自然姿态识别率低的难题;针对刑侦视频检索,发明了特征空间投影法,通过字典学习实现360°空间增强表达,将不同摄像机下行人特征投影到近邻空间进行精确比对。针对人体行为识别,建立识别聚集、跑动、翻墙、徘徊等特定行为的模型,并进行多摄像头行为分析。以上技术实现了从传统监控到智能监控的视频数据智能化处理与挖掘。

4 时空大数据的社会化应用

时空大数据的智能处理的根本目的是使时空大数据真正进入到生产生活的决策中去,即时空大数据的社会化应用。地理学的本质是研究人地关系,来自大众的时空大数据也必将应用于大众,因此在大数据时代,地理信息服务应从“遥感对地观测”升级为“对人（社会）观测”。
遥感中的社会地理计算的典型案例是夜光遥感的应用。主要采用的数据有NPP_VIIRS和DMSP_OLS等,用于分析夜间灯光与GDP、人口空间分布、电力能耗、二氧化碳排放、城市分布格局与发展过程、区域不平衡发展等的关系。
2018年6月2日,珞珈一号01星发射成功,其与美国影像对比见图4、图5。目前已完成夜光遥感130 m地表分辨率数据的发布与运行服务,已经获取有效数据5900景,向5000多用户免费分发了33万景数据。用户包括联合国、美,英,德,法等16个国家,已在印尼地震,瑞典森林火灾,联合国难民安置等应急求援服务中的到应用。珞珈一号01星还首次进行了低轨卫星导航增强试验,初步验证了低轨卫星增强北斗与GPS导航卫星信号的可行性,可为北斗卫星全球高精度服务提供技术支撑。
图4 “珞珈一号”夜光遥感影像

Fig. 4 Night light image of Luojia-1

图5 美国夜光遥感影像

Fig. 5 Night light image of NOAA

通过对2018年6月14日的“珞珈一号”夜光遥感影像分析,可以发现武汉市夜间最亮12个点中有10个在主城区,2个在远城区（黄陂区）。12个点可以分为4类：工业企业2个（武汉钢铁公司、阳逻开发区内的企业）;交通枢纽2个（武汉天河机场、汉口火车站）;高校1个（武汉体育学院）;商业区7个（楚河汉街、新长江CBD等）。说明了“珞珈一号”夜光遥感影像能够探测到夜间的商业活动、重要交通运输和工业生产等信息。
地理信息系统中的社会地理计算的案例则更加多样化。通过构建社交网络和现实空间的映射关系,提出历史事件回溯和时空过程重构方法,用以研究社交网络和现实空间的相互作用,及相互作用下的事件时空演化规律。为掌握社交网络和现实空间的互动规律、洞悉社交网络上的世情民意、预测突发事件影响等提供有力的理论和技术支持。例如,我们基于个体职住数据进行通勤分析,对武汉市全市社会参保与事业单位人员信息进行空间化,核查居住地和就业地。经核查比对,建立个体职住数据库。通过网络路径分析,获取个体职住通勤距离和通勤流向。常用来分析轨迹的有手机轨迹数据、视频轨迹数据、出租车轨迹数据、室内定位轨迹、公交地铁刷卡数据、时空轨迹数据等。我们基于多样的轨迹数据,依托全息感知、时空分析、数据挖掘技术打造道路交通智慧应急系统,即武汉交警数据大脑的智慧应急应用,交通拥堵延时指数降幅高达30%,交通拥堵情况大幅缓解,从原先全国拥堵排名23位降到53位。
基于天地传感网的社会地理计算的典型案 例是基于Web GIS的长江流域生态环境智能管理 （图6）。2016年习近平总书记提出“要把修复长江生态环境摆在压倒性位置”。长江生态问题的关键在于,在保证长江生态环境安全的条件下,如何调和防洪、通航与发电的矛盾来管理调度好长江的水资源。面向长江流域水文、气象和航道实时动态服务的现实需求,我们通过空天地传感器全面实时掌握水雨情、航标、航道、泥沙、水位等信息,并进行每天每月的分段地面网络管理,形成空天地集成化的长江流域观测网,有效地保证了长江上游梯级水电站多发电、中下游抗洪抗旱和通航的能力。
图6 空天地观测平台的协同管理

Fig. 6 Cooperative management of Satellite-Aviation-Ground station observation platform

5 天基信息的实时智能服务（PNTRC）

随着空天地传感器资源的不断扩大,亟待通过多样化传感器产生的时空大数据进行信息决策支持。而我国现有的通信、导航、遥感卫星系统各成体系,存在军民系统孤立、多源信息分离、地理信息服务滞后的问题。同时,无处不在的时空数据具有体量大、速度快、模态多样和真伪难辨的特性,造成“数据海量、信息缺失、知识难觅”的局面（图7）。遥感卫星需通过过境或中继卫星向地面站下传数据,而无星间链路和组网不匹配造成数据下传瓶颈,严重制约信息获取效率;导航卫星北斗卫星尚不具备宽带数据传输能力;通信卫星尚无自主的业务化卫星移动通信系统,对遥感、导航等天基信息的传输保障能力受限;地理信息服务模式尚未服务大众。
图7 空天信息现状问题与解决方案

Fig. 7 Problems and solutions of Satellite-Aviation-Ground station system

因此,为解决现有地球空间信息服务系统覆盖能力有限、响应速度慢、体系协同能力弱的问题,实现地球空间全天时、全天候、全地域服务大众的目标,立足大数据时代对地球空间信息“4R”服务要求,需构建与地面网络深度耦合的“互联网+”天基信息服务体系[4]。它可推动空天信息的专业服务化,推动其大众服务和军民应用;亦可推动产业发展,通过国家扶持达到市场化、国际化的效果。
在建设天基信息实时服务系统的过程中,面临频谱轨位资源受限、测控限于本土、自主可控前提下的全球化服务的挑战。基于以上挑战,我们建立天基信息服务体系基本建设思路：一星多用、多星组网、天地互联、多网融合使系统孤立变为系统联通;统一基准、关联表征、数据挖掘、知识发现使信息分离转变为时空融合;星地协同、组网传输、智能处理、按需服务使服务滞后转变为服务畅通。系统来讲,天基信息服务体系建设需突破的关键技术有：星基导航增强技术,天地一体化网络通信技术,多源成像数据在轨处理技术,天基信息智能终端服务技术,天基资源调度与网络安全,一体化非线性地球参考框架构建技术,基于载荷的智能卫星平台设计与研制等。最终形成一星多用、多星组网,多网融合,智能服务的全球化服务天基信息实时服务系统。
天基信息实时服务系统可实现为不同类型用户提供米（分米）级高精度实时导航定位信息和时间同步信息,全天时、全天候、实时亚米级遥感数据和视频数据,并将用户感兴趣的信息及时推送到其手机和各类移动终端。通过克服地面通信网络覆盖范围不足的局限,为全球用户提供安全、可靠、高速的天地一体化通信和数据传输服务。实现实时导航增强、精密授时、快速遥感、天地一体的移动宽带通信传输,通过对专业用户和大众用户的实时智能服务,创造万亿元产值。

6 结论

在大数据和人工智能时代,抓好时空大数据的自动化、实时化、智能化、大众化和社会化,那么以测绘、遥感和地理信息技术为中心的地球空间信息学,其创新发展前景必将十分宽广,一片光明！从当前国家需求和国际高科技发展形势看,建设我国自主的通导遥一体化空天信息实时智能服务系统,是实践党中央提出“军民深度融合”战略的重要途径,也是落实《“互联网+”行动的指导意见》要求的有力举措。鉴于西方国家尚未形成该类型实用服务系统,我国应该抓住机遇,群力攻关,做出原创性科技创新！
合影（左起葛咏研究员、苏奋振研究员、李德仁院士、周成虎院士、诸云强研究员）
李德仁院士作报告现场
本文内容源自李德仁院士于2019年5月4日在中国科学院地理科学与资源研究所 资源与环境信息系统国家重点实验室“石坚论坛”所做报告,由中国科学院地理科学与资源研究所肖寒博士录音整理,并经李德仁院士本人审阅。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
李德仁, 马军, 邵振峰 . 论时空大数据及其应用[J]. 卫星应用, 2015(9):7-11.

[ Li D R, Ma J, Shao Z F . Spatiotemporal big data and its application[J]. Satellite Application, 2015(9):7-11. ]

[2]
李德仁 . 展望大数据时代的地球空间信息学[J]. 测绘学报, 2016,45(4):379-384.

[ Li D R . Towards geo-spatial information science in big data era[J]. Acta Geodaetica et Cartographica Sinica, 2016,45(4):379-384. ]

[3]
李德仁 . 脑认知与空间认知——论空间大数据与人工智能的集成[J]. 武汉大学学报·信息科学版, 2018,43(12):8-14.

[ Li D R . Brain cognition and spatial cognition: On integration of Geo-spatial big data and artificial intelligence[J]. Geomatics and Information Science of Wuhan University, 2018,43(12):8-14. ]

[4]
Li D, Wang M, Dong Z P , et al. Earth observation brain (EOB): An intelligent earth observation system[J]. Geo-spatial Information Science, 2017,20(2):134-140.

DOI

Options
文章导航

/

〈 〉