基于人工智能的数据挖掘中孤立点检测系统及清理方法

摘要

本发明属于数据挖掘技术领域，公开了一种基于人工智能的数据挖掘中孤立点检测系统及清理方法，根据某时刻孤立点信息检测器节点数据对孤立点信息检测器节点分簇、数据线性降维，拟合成数据曲线、检测曲线，比较测试曲线与检测曲线的趋势及曲线相似度，检测出是否存在异常，对存在的异常数据进行预处理、检测、识别、数据清理。解决了现有数据挖掘孤立点检测过程中无法准确从皮尔森相关系数或者斯皮尔曼相关系数中进行选择的问题，以及对于检测出的孤立点数据不能有效清理的问题。本发明通过检测出孤立点找出相应的错误数据并进行去除和清理，达到了提高数据源数据质量的目的，为数据挖掘方面提供了新的思路。