基于云计算分布式技术的海量AIS数据挖掘系统设计与实现

摘要

随着海上贸易的蓬勃发展，船舶自动识别系统日渐普及，一方面在各个海事局及其相关系统中沉淀了丰富船舶航行数据，另一方面也对如何高效处理挖掘这些海量的航行数据提出了挑战。而云计算和分布式技术作为一种高效的数据挖掘手段解决方案，正在越来越广泛地应用于各行各业，通过云计算和分布式技术释放的高效强劲的计算资源可以有效的解决海事领域数据挖掘场景下的计算瓶颈。在这样的背景下，本文以船舶航行中的AIS数据为研究对象，采用云计算和分布式技术，结合数据挖掘的方法，设计实现了海量AIS数据挖掘平台，对船舶轨迹进行大数据分析，主要工作包括以下几个方面:
　　(1)基于商用云计算平台和分布式技术平台Hadoop，设计了海量AIS数据挖掘系统技术解决方案和实现框架。开发了分布式AIS数据接收与汇总子系统，并通过分布式日志收集系统Flume对其进行收集，保证信息的实时性和高可用性;建立了HBase分布式键值对数据库，实现海量数据高并发写入和及时查询的需求;实现了基于联机处理能力(OLAP)的分布式数据仓库，用于各种粒度的AIS数据交互式分析。
　　(2)在云计算分布式环境下，设计并实现了分布式计算的并行DBSCAN算法，采用KD树空间划分算法划分空间数据，用于对海量船舶运行轨迹的挖掘与分析。为了实现对海上交通流态势的实时感知和异常报警，设计了利用Spark流式计算实现对监控水域船舶实时聚类分析的技术方案。
　　(3)采用舟山海区的历史数据和老铁山水道的实时AIS数据对系统进行实例验证。实验结果表明，在大规模数据的情况下，相较于单机系统，基于云计算和分布式技术可以有效的提升船舶轨迹挖掘的计算效率;采用Spark Streaming计算对船舶轨迹进行分布式实时聚类，可以动态实时地发异常行为的船舶，验证了在海事智能监管领域中的可行性及实用价值。

目录

声明

摘要

第1章 绪论

1．1 课题的研究背景

1．2 国内外研究现状

1．2．1 AIS数据挖掘领域研究现状

1．2．2 云计算技术研究现状

1．2．3 分布式计算技术研究现状

1．3 论文研究内容与结构

第2章 相关技术介绍

2．1．1 AIS信息更新速率

2．1．2 AIS信息采集与数据解码

2．2 云计算技术

2．2．1 云计算的特点

2．2．2 云计算的体系结构

2．3 分布式计算技术

2．3．1 Hadoop技术

2．3．2 Spark技术

2．4 分布式数据库HBase

2．6 分布式日志收集系统Flume

2．7 本章小结

第3章 系统设计

3．1 海量AIS数据挖掘系统总体目标

3．2 数据挖掘系统整体设计

3．3 分布式AIS报文收集与存储子系统

3．3．1 AIS数据接收子系统

3．3．2 AIS报文汇总转发子系统

3．3．3 分布式实时数据存储子系统设计

3．3．4 数据仓库子系统设计

3．4 分布式数据挖掘子系统

3．4．1 DBSCAN算法及相关概念

3．4．2 基于DBSCAN的船舶轨迹聚类算法设计

3．4．3 分布式船舶轨迹聚类算法设计

3．4．4 实时流式船舶轨迹聚类算法设计

3．5 本章小结

第4章 系统实现

4．1 实验平台搭建

4．2 舟山海区实例验证

4．3 老铁山水道实例验证

4．3．1 老铁山水道交通流分析

4．3．2 老铁山水道分布式实时聚类分析

4．4 本章小结

第5章 总结与展望

5．1 总结

5．2 展望

参考文献

致谢

作者简介