基于MongoDB与WebGL的船舶大数据可视化研究

摘要

随着航运业与信息技术的迅猛发展，航运信息数据呈现出爆炸式增长，航运业进入了大数据时代。如何对不断积累的各项航运数据，如船舶AIS(AutomaticIdentification System)记录的船舶动态数据等，进行高效存储、处理和利用成为了大数据时代下一项新的研究热点。
　　MongoDB等非关系型数据库的出现弥补了传统关系型数据库在高并发读写和可扩展性方面的缺陷，为构建高性能的大数据应用提供了数据库支持。大数据可视化是大数据分析和应用展示的重要手段和途径，WebGL(Web Graphic Library)技术可以直接调用计算机GPU(Graphics Processing Unit)和免插件的特性，为基于Web的大数据可视化实现提供了高效的解决方案。
　　本文基于MongoDB与WebGL的诸多特性，利用实验室项目中积累的海量船舶AIS数据，从数据迁移、数据清洗、数据服务和数据可视化呈现等方面对船舶大数据应用进行初步探索，为下一步进行船舶大数据的数据挖掘及可视化分析奠定基础。论文完成的主要工作包括:
　　(1)船舶大数据可视化框架设计
　　采用B/S(Browser/Server)架构，利用MongoDB数据库存储船舶AIS历史动态数据，后端利用Nodejs搭建服务器，前端则以WebGL技术实现基于Web浏览器的船舶大数据可视化呈现。
　　(2)基于MongoDB与Spring Batch的数据处理
　　以Spring Batch批处理框架为基础，设计和实现从关系型的Oracle船舶数据库自动实时迁移数据到MongoDB船舶数据库并完成数据清洗的批处理程序，为两者间的数据同步提供了一种稳定可靠的解决方案。
　　(3)基于WebGL的船舶大数据可视化实现
　　基于WebGL技术，实现Web浏览器端的船舶大数据可视化原型系统，完成船舶大数据在地图上的实时动态可视化、快速拾取和历史轨迹分析等功能的开发。

目录

声明

摘要

第1章 绪论

1．1 研究背景和意义

1．2 研究现状

1．2．1 数据可视化的发展

1．2．2 基于MongoDB的应用研究

1．2．3 基于WebGL的应用研究

1．3 论文研究内容及章节安排

第2章 基于MongoDB和WebGL的数据可视化框架设计

2．1 相关技术

2．1．1 MongoDB数据库

2．1．2 Node．js

2．1．3 地图API

2．1．4 WebGL技术

2．2 数据可视化框架的可行性分析

2．3 数据可视化框架设计

2．3．1 数据库层

2．3．2 服务器层

2．3．3 Web前端

2．4 本章小结

第3章 基于MongoDB与Spring Batch的数据处理

3．1 数据批量迁移方法

3．2 基于Spring Batch和Quartz的数据同步

3．2．1 系统配置

3．2．2 从Oracle数据库读取数据

3．2．3 数据处理

3．2．4 写入数据到MongoDB

3．2．5 数据迁移任务

3．2．6 Quartz任务调度

3．3 数据清洗

3．3．1 数据分析及清洗规则

3．3．2 数据清洗的实现

3．3．3 数据清洗前后对比

3．4 数据同步程序应用实例

3．5 MongoDB与Oracle的性能对比

3．6 本章小结

第4章 基于WebGL的船舶大数据可视化原型系统实现

4．1 传统技术存在的不足

4．2 基于WebGL的可视化系统框架

4．2．1 Canvas

4．2．2 着色器

4．2．3 类型化数组

4．2．4 坐标系统

4．2．5 图形绘制

4．3 基于地图的船舶大数据可视化功能

4．3．1 Web网站架构

4．3．2 地图显示

4．3．3 船舶数据获取及解析

4．3．4 船舶动态位置可视化

4．3．5 船舶历史轨迹可视化

4．3．6 船舶信息拾取和查询

4．4 性能分析

4．4．1 WebGL与其他可视化平台的对比

4．4．2 硬件的影响

4．4．3 浏览器的影响

4．5 本章小结

第5章 总结与展望

5．1 论文工作总结

5．2 问题与展望

参考文献

攻读学位期间公开发表论文

致谢

作者简介