基于Spark的空间聚类算法的并行化优化研究与应用

目录

声明

第一章 绪 论

1.1 课题研究背景和意义

1.2 国内外研究现状

1.2.1 分布式计算研究现状

1.2.2 空间数据挖掘研究现状

1.3 论文主要研究内容

1.4 论文的框架结构

第二章 Spark 平台及相关技术

2.1 并行计算概要

2.2 Hadoop平台简介

2.2.1 MapReduce计算框架

2.2.2 分布式文件系统HDFS

2.3 Spark平台简介

2.3.1 Spark平台架构

2.3.2 Spark任务执行流程

2.3.3 分布式抽象内存RDD

2.3.4 Spark SQL模块概述

2.3.5 Spark MLlib 模块概述

2.4 Yarn资源管理器

2.5 聚类算法

2.5.1 聚类算法概述

2.5.2 聚类算法分类

2.6 本章小结

第三章 K-Means 聚类算法改进和并行化设计

3.1 K-Means算法原理及优化策略

3.1.1 K-Means 聚类算法原理

3.1.2 K-Means 算法的改进策略

3.2 改进K-Means算法的串行实现

3.3 改进K-Means算法的性能测试

3.4 K-Means算法并行化优化设计

3.5 本章总结

第四章 基于Spark 的改进K-Means 聚类算法并行化实现

4.1 分布式平台搭建

4.1.1 系统并行运行环境

4.1.2 系统环境搭建

4.2 基于Spark平台并行化优化

4.2.1 资源参数优化

4.2.2 IO读取优化

4.3 改进的K-Means聚类算法并行化实现

4.4 并行化算法性能测试

4.4.1 并行化性能评价指标

4.4.2 并行化算法评估

4.4.3 并行化平台评估

4.4.4 Spark平台和 Hadoop平台性能测试

4.5 本章总结

第五章 并行聚类算法对全国空气质量分析

5.1 引言

5.2 实验数据的获取与预处理

5.2.1 源数据的获取

5.2.2 数据预处理

5.3 污染物浓度空间分布聚类与结果分析

5.4 空气污染因素的进一步分析

5.5 本章总结

第六章 总结和展望

6.1 总结

6.2 展望

参考文献

致谢

作者简历及攻读学位期间获得的学术成果

1 作者简历

2 发明专利

学位论文数据集