基于Hadoop的分布式支持向量机的研究与应用

摘要

随着互联网技术的高速发展，网络上的数据呈爆炸式增长，如何从海量数据中挖掘到有意义的信息将是一个极其重要的研究方向，这使得数据挖掘在近几年内得到了飞速发展。支持向量机(Support Vector Machine，SVM)是数据挖掘领域内一种高效可信的分类算法，在解决非线性及高维模式识别问题中有突出优势。但是采用传统的SVM处理海量数据时，其训练时间会大幅度延长，训练速度缓慢，增加了模型的训练成本。因此，有必要对传统的SVM进行改进，使其适用于海量数据处理，分布式并行化处理正是解决这些问题的有效方法。
　　本文对SVM的并行化模式进行探讨，从基本思想、训练效果、实现难易度等方面详细分析了分组、级联、反馈、混合4种支持向量机的并行策略。经过对比，反馈式并行支持向量机(FeedbackPSVM)作为一种分布式SVM的实现方式，在保证准确率的情况下，能够有效的减少训练时间且易于理解和实现。
　　本文结合Hadoop的分布式存储以及并行计算的特点，设计并实现了基于Hadoop的反馈式并行SVM，并将其用于居民用户低电压成因的诊断。实验结果表明，反馈式并行SVM与单机版SVM相比，训练时间大幅减少而准确度却能基本持平，因此有很高的研究意义和实用价值。

目录

声明

摘要

第1章 绪论

1．1 研究背景及目的

1．2 国内外研究现状

1．2．1 并行支持向量机研究现状

1．2．2 配网低电压诊断研究现状

1．3 主要研究内容及意义

1．4 论文组织结构

第2章 相关理论与技术概述

2．1 Hadoop

2．1．1 HDFS

2．1．2 MapReduce

2．2 数据挖掘分类算法

2．2．1 分类算法概述

2．2．2 数据挖掘的主要分类算法

2．2．3 分类算法的评估

2．3 本章总结

第3章 支持向量机

3．1 支持向量机概述

3．1．1 线性分类

3．1．2 不完全线性分类

3．1．3 非线性分类

3．2 支持向量机多分类

3．2．1 一对一分类

3．2．2 一类对余类分类

3．3 并行支持向量机发展

3．3．1 分组式并行支持向量机(GroupedPSVM)

3．3．2 级联式并行支持向量机(CascadePSVM)

3．3．3 反馈式并行支持向量机(FeedbackPSVM)

3．3．4 混合式并行支持向量机(HybridPSVM)

3．4 并行支持向量机比较

3．5 本章小结

第4章 反馈式并行支持向量机的设计与实现

4．1 单机支持向量机

4．2 反馈式并行支持向量机

4．2．1 算法描述

4．2．2 算法实现

4．3 系统实现

4．3．1 功能总体设计

4．3．2 流程设计

4．3．3 界面展示

4．4 本章小结

第5章 反馈式并行支持向量机的应用

5．1 环境搭建

5．1．1 系统环境配置

5．1．2 Hadoop环境

5．2 实验方案

5．2．1 实验数据

5．2．2 实验设计

5．3 实验结果

5．4 运行结果界面

5．5 本章小结

第6章 总结与展望

6．1 总结

6．2 未来展望

参考文献

攻读硕士学位期间发表的论文及其它成果

致谢