地球信息科学学报 ›› 2017, Vol. 19 ›› Issue (12): 1653-1660.doi: 10.3724/SP.J.1047.2017.01653
收稿日期:
2017-07-10
修回日期:
2017-09-06
出版日期:
2017-12-25
发布日期:
2017-12-25
通讯作者:
郭良
E-mail:yesenl@lreis.ac.cn;guol@iwhr.com
作者简介:
作者简介:刘业森(1980-),男,博士生,研究方向为遥感、GIS及其在水利行业的应用。E-mail:
基金资助:
LIU Yesen1(), ZHANG Xiaolei2,3, GUO Liang2,3,*(
)
Received:
2017-07-10
Revised:
2017-09-06
Online:
2017-12-25
Published:
2017-12-25
Contact:
GUO Liang
E-mail:yesenl@lreis.ac.cn;guol@iwhr.com
摘要:
大范围自然灾害调查,涉及区域环境差异大,数据获取方式多样,参与人员多,各级汇总成果中存在一些异常调查单元,需要人工判读其合理性,但单纯依靠人工从海量数据中有效识别异常是不现实的。本文设计了一种自然灾害调查数据的多尺度异常检测方法,综合运用离群检测方法和空间数据挖掘算法,分别进行异常值和异常空间分布模式检测,能够从海量调查数据中快速提取各级尺度的异常值和异常调查单元,支撑人工判读工作。将该方法应用于全国山洪灾害调查评价汇总数据的审核中,以全国历史山洪灾害点和防治区乡镇面积审核为例,分别快速提取了县乡两级区划中的山洪灾害点密度异常单元和面积值异常的乡镇单元,通过对检测结果进行分析,发现是填报口径不一致、单位错误、记录重复等原因造成的。最后分析了该方法在大范围自然灾害调查中的适用条件和方法。
刘业森, 张晓蕾, 郭良. 自然灾害调查数据的多尺度异常检测方法研究及应用[J]. 地球信息科学学报, 2017, 19(12): 1653-1660.DOI:10.3724/SP.J.1047.2017.01653
LIU Yesen,ZHANG Xiaolei,GUO Liang. Study and Application of the Method of Multi-scale Outliers Detection of Natural Disaster Investigation Data[J]. Journal of Geo-information Science, 2017, 19(12): 1653-1660.DOI:10.3724/SP.J.1047.2017.01653
[1] | 史培军,吕丽莉,汪明等.灾害系统:灾害群、灾害链、灾害遭遇[J].自然灾害学报,2014,23(6):1-12. |
[ Shi P J, Lv L L, Wang M, et al.Disaster system: Disaster cluster, disaster chain and disaster compound[J]. Journal of Natural Disasters, 2014,23(6):1-12. ] | |
[2] |
黄崇福. 自然灾害基本定义的探讨[J].自然灾害学报,2009,18(5):41-50.
doi: 10.3969/j.issn.1004-4574.2009.05.007 |
[ Huang C F.A discussion on basic definition of natural disaster[J]. Journal of Natural Disasters, 2009,18(5):41-50. ]
doi: 10.3969/j.issn.1004-4574.2009.05.007 |
|
[3] | 赵思健. 自然灾害风险分析的时空尺度初探[J].灾害学,2012,27(2):1-6. |
[ Zhao S J.A preliminary study on the spatial and temporal scales of natural disaster risk analysis[J]. Journal of Catastrophology, 2012,27(2):1-6. ] | |
[4] |
刘毅,杨宇.历史时期中国重大自然灾害时空分异特征[J].地理学报,2012,67(3):291-300.
doi: 10.11821/xb201203001 |
[ Liu Y, Yang Y.Spatial distribution of major natural disasters of China in historical period[J]. Acta Geographic Sinica, 2012,67(3):291-300. ]
doi: 10.11821/xb201203001 |
|
[5] |
王宏志. 大数据质量管理:问题与研究进展[J].科技导报,2014,32(34):78-84.
doi: 10.3981/j.issn.1000-7857.2014.34.011 |
[ Wang H Z.Big data quality management: problems and progress[J]. Science & Technology Review, 2014,32(34):78-84. ]
doi: 10.3981/j.issn.1000-7857.2014.34.011 |
|
[6] | 李永红,范立民,贺卫中,等.对如何做好地质灾害详细调查工作的探讨[J].灾害学,2016,31(1):102-112. |
[ Li Y H, Fan L M, He W Z, et al.Discussion on how to do the detailed investigation of geological hazards better[J]. Journal of Catastrophology, 2016,31(1):102-112. ] | |
[7] |
Morton M, Levy J L.Challenges in disaster data collection during recent disasters[J]. Prehospital & Disaster Medicine, 2011,26(3):196-201.
doi: 10.1017/S1049023X11006339 pmid: 22107771 |
[8] |
曾五一. 国家统计数据质量研究的基本问题[J].商业经济与管理,2010,1(12):72-76.
doi: 10.3969/j.issn.1000-2154.2010.12.011 |
[ Zeng W Y.The research on the basic issues of the statistical data quality of the government[J]. Journal of Business Economics, 2010,1(12):72-76. ]
doi: 10.3969/j.issn.1000-2154.2010.12.011 |
|
[9] | 韩京宇,徐立臻,董逸生.数据质量研究综述[J].计算机科学,2008,35(2):1-5. |
[ Han J Y, Xu L Z, Dong Y S.An overview of data quality research[J]. Computer Science, 2008,35(2):1-5. ] | |
[10] | 程益联,郭悦.水利普查数据质量控制的研究[J].水利信息化,2012(3):1-4. |
[ Cheng Y L, Guo Y.Research on data quality control of national census for water[J]. Water Resources Information, 2012,3:1-4. ] | |
[11] |
Berrahou L, Lalande N, Serrano E, et al.A quality-aware spatial data warehouse for querying hydroecological data[J]. Computers & Geosciences, 2015,85(PA):126-135.
doi: 10.1016/j.cageo.2015.09.012 |
[12] |
段华明,何阳.大数据对于灾害评估的建构性提升[J].灾害学,2016,31(1):188-192.
doi: 10.3969/j.issn.1000-811X.2016.01.035 |
[ Duan H M, He Y.Constructive promotion of big data for disaster assessment[J]. Journal of Catastrophology, 2016,31(1):188-192. ]
doi: 10.3969/j.issn.1000-811X.2016.01.035 |
|
[13] | Tin P, Zin T T, Toriu T, et al.An integrated framework for disaster event analysis in big data environments[C]// Ninth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, IEEE Computer Society, 2013:255-258. |
[14] | 李学龙,龚海刚.大数据系统综述[J].中国科学:信息科学,2015,45(1):1-44. |
[ Li X L, Gong H G.A survey on big data systems[J]. Science China Information Sciences, 2015,45(1):1-44. ] | |
[15] |
程艳云,张守超,杨杨.基于大数据的时间序列异常点检测研究[J].计算机技术与发展,2016,26(5):139-144.
doi: 10.3969/j.issn.1673-629X.2016.05.030 |
[ Cheng Y Y, Zhang S C, Yang Y.Research on time series of outlier detection based on big data[J]. Computer Technology and Development, 26(5):139-144. ]
doi: 10.3969/j.issn.1673-629X.2016.05.030 |
|
[16] |
凌骏,尹博学,李晟,等.基于监控数据的MySQL异常检测算法[J].计算机工程,2015,41(11):41-46.
doi: 10.3969/j.issn.1000-3428.2015.11.008 |
[ Ling J, Yin B X, Li S, et al.MySQL outlier detection algorithm based on monitoring data[J]. Computer Engineering, 2015,41(11):41-46. ]
doi: 10.3969/j.issn.1000-3428.2015.11.008 |
|
[17] | 邓敏,刘启亮,李光强.采用聚类技术探测空间异常[J].遥感学报,2010,14(5):944-958. |
[ Deng M, Liu Q L, Li G Q.Spatial outlier detection method based on spatial clustering[J]. Journal of Remote Sensing, 2010,14(5):944-958. ] | |
[18] |
邓敏,石岩,龚健雅,等.时空异常探测方法研究综述[J].地理与地理信息科学,2016,32(6):43-50.
doi: 10.3969/j.issn.1672-0504.2016.06.008 |
[ Deng M, Shi Y, Gong J Y, et al.A summary of spatiotemporal outlier detection[J]. Geography and Geo-information Science, 2016,32(6):43-50. ]
doi: 10.3969/j.issn.1672-0504.2016.06.008 |
|
[19] | 葛艳琴,贾琇明.第二次土地调查建库过程中数据质量的控制方法[J].测绘科学,2008(S1):62-63. |
[ Ge Y Q, Jia X M.Data quality control methods in the process of building databases in the second land survey[J]. Science of Surveying and Mapping, 2008,S1:62-63. ] | |
[20] | 茅晶晶,沈红军,徐洁.全国环境统计数据审核软件设计与实现[J].环境科技,2011,24(4):65-68. |
[ Mao J J, Shen H J, Xu J.Design and application of nationwide environmental statistics data verification software[J]. Environmental Science and Technology, 2011,24(4):65-68. ] | |
[21] |
庄晓东,王海银,胡振彪,等.地理国情普查外业调绘核查系统实现[J].测绘科学,2016,41(2):58-61.
doi: 10.16251/j.cnki.1009-2307.2016.02.012 |
[ Zhuang X D, Wang H Y, Hu Z B, et al.Realization of iPad-based field annotation and verification system for investigation of national geographical condition[J]. Science of Surveying and Mapping, 2016,41(2):58-61. ]
doi: 10.16251/j.cnki.1009-2307.2016.02.012 |
|
[22] |
薛安荣,姚林,鞠时光,等.离群点挖掘方法综述[J].计算机科学,2008,35(11):13-18.
doi: 10.3969/j.issn.1002-137X.2008.11.003 |
[ Xue A R, Yao L, Ju S G, et al.Survey of outlier mining[J]. Computer Science, 2008,35(11):13-18. ]
doi: 10.3969/j.issn.1002-137X.2008.11.003 |
|
[23] | 成邦文,师汉民,王齐庄.多维统计数据质量检验与异常点识别的模型与方法[J].数学的实践与认识,2003,33(4):1-7. |
[ Cheng B W, Shi H M, Wang Q Z.The model and method for checking quality of multidimensional statistics and identifying outliers from the data[J]. Mathematics in Practice and Theory, 2003,33(4):1-7. ] | |
[24] | 李连发,王劲峰.地理空间数据挖掘[M]北京:科学出版社,2014. |
[ Li L F, Wang J F.Geospatial data mining[M]. Beijing: Science Press, 2014. ] | |
[25] | Tobler W R.A computer movie simulating urban growth in the detroit region[J]. Economic Geography, 1970,46(Supp 1):234-240. |
[26] | Anselin L.Local indicators of spatial association-LISA[J]. Geographical Analysis, 1995,27(2):93-115. |
[27] |
崔鹏. 中国山地灾害研究进展与未来应关注的科学问题[J].地理科学进展,2014,33(2):145-152.
doi: 10.11820/dlkxjz.2014.02.001 |
[ Cui P.Progress and prospects in research on mountain hazards in China[J]. Progress in Geography, 2014,33(2):145-152. ]
doi: 10.11820/dlkxjz.2014.02.001 |
|
[28] |
张志彤. 我国山洪灾害特点及其防治思路[J].中国水利,2007(14):14-15.
doi: 10.3969/j.issn.1000-1123.2007.14.008 |
[ Zhang Z T, Characteristics of mountain flood disasters in China and prevention methods[J]. China Water Resources, 2007,14:14-15. ]
doi: 10.3969/j.issn.1000-1123.2007.14.008 |
|
[29] | 郭良,刘昌军,丁留谦,等.开展全国山洪灾害调查评价的工作设想[J].中国水利,2012(23):10-12. |
[ Guo L, Liu C J, Ding L Q, et al.Working plan for mountain flood investigation and evaluation in China[J]. China Water Resources, 2012,23:10-12. ] | |
[30] |
黄先龙,褚明华,石劲松.我国山洪灾害调查评价工作浅析[J].中国水利,2015(9)17-18.
doi: 10.3969/j.issn.1000-1123.2015.09.007 |
[ Huang X L, Chu M H, Shi J S.Analysis on flash flood investigation and assessment in China[J]. China Water Resources, 2015,9:17-18. ]
doi: 10.3969/j.issn.1000-1123.2015.09.007 |
[1] | 韩珂珂, 邢子瑶, 刘哲, 刘峻明, 张晓东. 重大公共卫生事件中的舆情分析方法研究——以新冠肺炎疫情为例[J]. 地球信息科学学报, 2021, 23(2): 331-340. |
[2] | 姚可桢, 岳书平. 网络大数据下的中国现代食甜习惯空间分布特征及其影响因素研究[J]. 地球信息科学学报, 2020, 22(6): 1202-1215. |
[3] | 赵斌, 韩晶晶, 史覃覃, 吉根林, 刘信陶, 俞肇元. 语义轨迹建模与挖掘研究进展[J]. 地球信息科学学报, 2020, 22(4): 842-856. |
[4] | 郭子慧, 刘伟. 深度学习和遥感影像支持的矢量图斑地类解译真实性检查方法[J]. 地球信息科学学报, 2020, 22(10): 2051-2061. |
[5] | 熊俊楠,李进,朱吉龙,程维明,郭良,王楠,张晓蕾. 重庆市山洪灾害时空格局及影响因素研究[J]. 地球信息科学学报, 2019, 21(10): 1550-1564. |
[6] | 郑海林, 胡勤友, 杨春, 陈金海, 梅强. 上海外高桥港区停泊船聚类分析与异常检测[J]. 地球信息科学学报, 2018, 20(5): 640-646. |
[7] | 熊俊楠, 赵云亮, 程维明, 郭良, 王楠, 李伟. 四川省山洪灾害时空分布规律及其影响因素研究[J]. 地球信息科学学报, 2018, 20(10): 1443-1456. |
[8] | 周恩波, 毛善君, 李梅, 孙振明. GPU加速的改进PAM聚类算法研究与应用[J]. 地球信息科学学报, 2017, 19(6): 782-791. |
[9] | 刘敬一, 薛存金, 樊彦国, 孔凡萍, 何亚文. 一种面向栅格的空间-属性双重约束聚类方法[J]. 地球信息科学学报, 2017, 19(4): 447-456. |
[10] | 李华威, 万庆. 小流域山洪灾害危险性分析之降雨指标选取的初步研究[J]. 地球信息科学学报, 2017, 19(3): 425-435. |
[11] | 郭良, 张晓蕾, 刘荣华, 刘业森, 刘启. 全国山洪灾害调查评价成果及规律初探[J]. 地球信息科学学报, 2017, 19(12): 1548-1669. |
[12] | 叶超凡, 张一驰, 熊俊楠, 秦建新. 湖南省山丘区小流域山洪灾害危险性评价[J]. 地球信息科学学报, 2017, 19(12): 1593-1603. |
[13] | 刘樯漪, 程维明, 孙东亚, 王楠, 方月. 中国历史山洪灾害分布特征研究[J]. 地球信息科学学报, 2017, 19(12): 1557-1566. |
[14] | 王楠, 程维明, 张一驰, 刘东成. 全国山洪灾害防治县房屋损毁风险评估及原因探究[J]. 地球信息科学学报, 2017, 19(12): 1575-1583. |
[15] | 朱富晓, 王艳慧. 多层次多粒度OSM路网目标数据质量综合评估方法研究[J]. 地球信息科学学报, 2017, 19(11): 1422-1432. |
|