基于Spark的证据邻域粗糙并行分类高效算法

摘要

传统邻域分类器因良好的分类性能在分类问题中得到广泛应用。但数据规模和维度的不断增加,提高了邻域分类器的处理难度。为解决这一问题,该文基于Spark实现邻域决策错误率并行属性约简算法,删除数据中的冗余属性,减少数据间的不确定性。该算法能减少分类过程中数据计算时间,提高分类计算效率。邻域分类器在分类决策过程中采用的多数投票机制没有考虑到邻域样本的空间差异性与标签不确定性,易导致错误分类。该文在Spark框架下将D-S证据理论引入邻域分类器,并行融合整个邻域空间的证据支持信息,提出基于Spark的邻域证据并行分类算法。实验结果表明,该文提出的算法相较于传统邻域分类器,在处理大规模数据时计算时间更少、效率更高,对未分类样本的分类精度更高。