数据挖掘中孤立点检测算法的研究

摘要

数据挖掘是从大量的数据集中提取隐含的、未知的、潜在有用的知识的过程，是数据库研究最活跃的领域之一。而孤立点检测是数据挖掘中的重要研究分支，其作用就是发现数据集中的“小模式”，即显著不同于其它数据的对象。经过近20年的发展，孤立点检测技术得到了广泛的应用。传统的孤立点检测算法存在一些难以克服的障碍，例如算法的参数难以选择造成检测结果不稳定，算法难以适应高维数据的特性等。本论文主要针对以上问题，对孤立点检测算法进行了研究。 本文对当前的孤立点检测算法进行详细地研究比较，指出各自的适用范围和存在的不足，并在此基础上完成主要工作如下： 本文在对基于单元的孤立点检测算法的详细研究分析的基础上，针对该算法中边界处孤立点的误判问题，提出用数据集边界阈值动态调整函数的方法来解决此问题，针对距离值D需要手动输入的问题，提出利用抽样平均距离来代替手动输入距离值D。 改进后的算法不仅有效地减少了边界处孤立点的误判，还减少了参数的输入，提高了算法的自动化程度。 针对传统孤立点检测算法对高维数据的适应性较差的情况，提出基于粗糙集的孤立点挖掘算法，为孤立点的定义和孤立点的挖掘提出一个新的方法，并用实验充分验证粗糙集理论在孤立点检测算法中的有效性。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景

1.2国内外研究现状

1.3论文的研究内容

1.4论文的组织结构

第二章数据挖掘技术和孤立点算法分析

2.1数据挖掘概述

2.1.1数据挖掘过程及系统结构

2.1.2数据挖掘的任务及方法

2.2孤立点算法分析

2.2.1基于统计的方法

2.2.2基于密度的方法

2.2.3基于偏离的方法

2.2.4基于关联的算法

2.3本章小结

第三章基于距离的孤立点算法的研究

3.1基于距离的孤立点算法分析

3.1.1距离的量度

3.1.2数据标准化

3.2基于单元的孤立点检测算法分析

3.2.1基于单元的孤立点算法对孤立点的定义

3.2.2二维空间中单元格的划分和数据对象的分配方法

3.2.3二维空间单元格的结构和性质

3.2.4基于单元的孤立点算法

3.2.5基于单元孤立点检测算法的缺点

3.3基于单元的孤立点算法的改进

3.3.1距离值D的处理方法

3.3.2二维空间中阈值M的动态处理

3.3.3基于单元的孤立点检测算法的改进

3.3.4算法复杂度分析

3.3.5二维空间到多维空间的扩展

3.4实验分析

3.4.1算法正确性实验分析

3.4.2算法性能实验分析

3.4.3参数M对算法执行效果影响

3.4.4边界处理函数对算法执行效果的影响

3.5本章小结

第四章基于粗糙集理论的孤立点算法的研究

4.1基于粗糙集的孤立点算法的分析

4.1.1粗糙集理论的特点

4.1.2基于粗糙集的孤立点检测算法的理论基础

4.1.3基于粗糙集的孤立点检测算法中孤立点的定义

4.2基于粗糙集的孤立点检测算法

4.2.1基于粗糙集的孤立点检测算法的分析

4.2.2基于粗糙集的孤立点检测算法的描述

4.3实验分析

4.3.1算法正确性实验分析

4.3.2算法性能实验分析

4.4本章小结

第五章结论与展望

5.1工作总结

5.2进一步工作展望

参考文献

致谢

攻读学位期间主要研究成果