面向流数据的决策树分类算法并行化研究

摘要

与传统静态数据相比,大数据环境下的流数据具有快速、连续和随时间变化等特点.同时数据流的隐含分布变化会带来概念漂移问题.为了适应大数据环境下流数据分类算法的要求,必须对传统的静态离线数据分类算法进行改进,提出基于Storm平台的P-HT并行化算法.该算法在满足Storm流处理平台要求基础上,通过滑动窗口机制、替代子树机制和并行化处理,提高了算法的灵活性和通用性.最后通过实验验证该算法的有效性和高效性,结果表明在与传统C4.5算法相比计算精度没有降低的情况下,改进的P-HT算法具有更大的吞吐量和更高的处理速度.