数据流概念漂移检测和不平衡数据流分类算法研究

摘要

随着信息科技的飞速发展，在信用卡欺诈监测、网络流量监控和在线金融交易等场景中产生了大量的数据流。这些数据流中蕴含着大量有价值的信息，为了获取这些信息，人们开展了大量的数据流挖掘研究。与静态数据不同，数据流中的数据具有规模大、变化多样、高速到达等特点。因此，传统的数据挖掘技术不能完全适用于数据流挖掘，需要找到合适的方法来处理数据流。另外，数据流中的数据分布会随着时间发生变化，产生概念漂移现象，这也加大了数据流挖掘研究的难度。数据流中的概念漂移检测和数据流分类问题是数据流挖掘领域中的热点问题之一。
　　数据流中的概念漂移检测和数据流分类主要面临以下的挑战:首先，数据流到达速度快、变化多样且无法预知，这些变化会影响分类器的分类性能。其次，数据流也存在静态数据中的类不平衡问题，进一步加大了处理概念漂移的难度，而且对少数类的误分类代价一般较大，对分类器也有了更高的要求。本文主要围绕以上问题，对数据流中的概念漂移检测算法和数据流分类算法进行研究，主要工作包括:
　　(1)提出了一种基于数据分布的概念漂移检测算法。利用基于数据分布差异的检测方法发现数据流中的概念漂移现象，在检测到概念漂移之后，利用多变量检验方法结合存储的历史信息识别数据流中重复出现的漂移现象。通过对比实验验证本文所提出的检测算法的性能，结果显示，该检测算法具有较低的误报、漏报和检测延迟，在和分类器结合之后，有效地提高了分类器的分类正确率，并且可以发现重现的漂移。
　　(2)提出了一种基于集成学习的不平衡数据流分类算法。该算法利用数据采样技术，先利用过采样技术增加正类样本，再利用欠采样技术删除负类样本，从而达到平衡正负类样本的目的。在集成过程中，根据基分类器在最新数据块上的分类正确率和分类错误的代价更新基分类器的权值。同时，在分类器的淘汰过程中考虑到了基分类器对集成分类器分类正确率的贡献。该算法不仅可以处理类不平衡问题，还可以很好地适应数据流中的概念漂移现象。通过对比实验验证了所提出的算法能够在不平衡的概念漂移数据流上取得较好的分类效果。

目录

声明

致谢

摘要

1．1 研究背景及意义

1．2 国内外研究现状

1．3 本文主要工作

1．4 本文组织结构

2 概念漂移检测及数据流分类概述

2．1 数据流挖掘综述

2．1．1 相关概念

2．1．2 数据流挖掘的应用

2．1．3 类不平衡问题

2．2 漂移检测算法综述

2．2．1 漂移检测算法的类型

2．2．2 漂移检测算法的性能度量

2．2．3 漂移检测在生活中的应用

2．3 数据流分类算法综述

2．3．1 单分类器数据流分类算法

2．3．2 多分类器数据流分类算法

2．4 本章小结

3 基于数据分布的漂移重现检测算法

3．1 概念漂移的检测

3．1．1 漂移检测问题的定义

3．1．2 基于Bernstein不等式的动态阈值设计

3．1．3 检测过程描述

3．2 重现漂移的发现

3．2．1 针对多元数据的双样本检验方法

3．2．2 利用图存储历史概念

3．2．3 重现漂移发现过程的描述

3．3 算法整体流程

3．4 实验结果及分析

3．4．1 MOA实验平台介绍

3．4．2 漂移检测算法性能分析

3．4．3 分类正确率的提升及重现漂移发现的验证

3．5 本章总结

4 基于集成学习的不平衡数据流分类算法

4．1 类不平衡问题中的采样方法

4．1．1 过采样方法

4．1．2 欠采样方法

4．2 基于数据块的分类器集成方法

4．3 基于集成学习的不平衡数据流分类算法介绍

4．3．1 样本采样过程描述

4．3．2 集成方法描述

4．4 实验结果及分析

4．4．1 实验数据集

4．4．2 对比的算法

4．4．3 实验设置及结果分析

4．5 本章小结

5 总结与展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集