海量高维数据下分布式特征选择算法的研究与应用

摘要

特征选择是数据挖掘领域中有效的数据预处理算法,该算法能够提取对训练模型有价值的特征属性。传统的特征选择算法往往是针对小规模数据。针对大规模数据,传统的特征选择算法不能有效地运行,计算效率很低。本文针对海量高维数据,提出了基于Hadoop平台的分布式特征选择算法。该算法能够有效地完成特征属性的提取工作,并且,算法的执行效率很高。实验结果显示,本文提出的算法具有很高的加速比。