基于大数据应用云计算技术评估详实房屋震害损失的研究

摘要

房屋震害损失评估是地震灾害损失评估非常重要的一环，对震后灾区救援和复建具有很大的指导意义和参考价值。传统的房屋震害损失评估采取抽样方法来采集数据，然后基于这些具有一定代表性的数据来进行评估，然而，用样本数据来代替总体数据是一种“无奈之举”，会在一定程度上削弱评估结果的准确性。
　　随着信息时代的到来，各个行业领域的信息量快速增长，数据类型越来越复杂，大数据的概念就是在这样的背景下被提出的。大数据不仅仅是数据量巨大，同时还兼具异构性和价值性。但是要想发掘大数据所蕴藏的价值性，需要便捷快速、经济的运算工具。云计算是一种通过共享云端资源池来实现低成本高运算的计算模式，目前，公认是处理大数据的最佳利器。地震灾害评估方面的数据也在急剧增长中，面对这种增长，传统的计算和数据存储方法在处理速度上越发显得捉襟见肘。《中共中央国务院关于进一步加强城市规划建设管理工作的若干意见》指出要“推进城市智慧管理。加强城市管理和服务体系智能化建设，促进大数据、物联网、云计算等现代信息技术与城市管理服务融合，提升城市治理和服务水平。”地震灾害评估也需要推进智慧管理，将现代信息技术手段引入到地震灾害评估等相关领域，以此得到更好的发展。
　　论文主要做了以下几项工作:
　　1)综述大数据、云计算在地震数据处理领域运用的国内外发展现状。通过大量的资料查询以及分析对比工作，最终选定本文的云开发平台为Hadoop。同时结合本文数据存储以及计算速度的需求，明确了本文采用的云计算三项技术:MapReduce编程模型、HDFS分布式文件系统以及HBase非关系型数据库，并对这三项相关技术进行了必要的介绍。
　　2)详细分析了目前传统房屋震害损评估方法存在的不足，结合房屋震害数据采集手段不断进步的发展趋势，设计了一种理想化的基于大数据应用云计算技术评估详实房屋震害损失的方法，重点是用全数据参与评估。并且完成以下几部分设计:a）数据存储方面，设计出合理的便于存储以及进行数据操作的HBase数据表结构。并且完成了数据批量录入HBase的程序设计。b）数据处理部分:将整个评估过程进行合理的拆分，设计出高效可靠的算法流程，并通过MapReduce程序来实现。
　　3)将大量数据导入HBase数据库，在数据库相同的条件下，分别运用云计算集群和传统单机模式计算房屋震害损失值，比较本评估方法运用两种计算工具的计算速度。

目录

声明

摘要

第一章 绪论

1．1 课题背景及研究的目的和意义

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 本文主要研究内容和章节安排

第二章 大数据、云计算开发理论基础

2．1 大数据、云计算概念分析

2．1．1 房屋震害大数据

2．1．2 云计算的概念

2．2 云计算开发平台的比较和选择

2．3 需要运用的云计算关键技术介绍

2．3．1 分布式计算—MapReduce编程模型

2．3．2 分布式文件系统—HDFS

2．3．3 非关系型数据—HBase

2．4 数据库操作实验

2．5 小结

第三章 房屋震害损失评估数据库设计

3．1 房屋震害损失评估传统方法分析

3．2 大数据环境下的详实房屋震害损失评估方法

3．2．1 震害指数的应用

3．2．2 详实房屋震害损失评估方法介绍

3．2．3 详实房屋震害损失评估方法优势分析

3．3 HBase数据库设计

3．3．1 RowKey的设计

3．3．2 Column Family及Column设计

3．4 批量数据写入HBase的MapRduce Job设计

3．4．1 Map部分

3．4．2 HFileLoader部分

3．4．3 BulkLoadDriver部分

3．5 小结

第四章 房屋震害损失评估计算部分设计

4．1 MapReduce编程模型可行性分析

4．2 评估流程设计思路

4．3 评估方法程序实现

4．3．1 Map部分

4．3．2 Reduce部分

4．3．3 主类部分

4．4 小结

第五章 实例分析

5．1 基础数据

5．2 运用云计算方法进行房屋震害损失评估

5．2．1 云平台搭建

5．2．2 数据库录入

5．2．3 运算部分

5．3 运用传统单机模式进行房屋震害损失评估

5．3．1 开发平台及核心代码介绍

5．3．2 运算部分

5．4 小结

第六章 论文总结与展望

6．1 全文总结

6．2 展望

附录

参考文献

致谢

作者简介

攻读硕士期间发表的文章

攻读硕士期间参与的科研项目