可扩展Hadoop任务分配模块的研究与实现

摘要

MapReduce是一种应用广泛的并行编程模型,Hadoop是MapReduce的开源实现.为了满足不同类型的MapReduce作业对任务分配策略的特殊需求,在深入分析Hadoop固有任务分配机制的基础上,设计并实现了一种可扩展的任务分配模块,用户可以根据作业的特性实现并加载自定义的任务分配器.在可扩展的任务分配模块的基础上实现了两个典型的任务分配器,实验结果表明使用可扩展任务分配模块并加载适用于特定作业的任务分配器能够显著地缩短作业的执行时间,提高Hadoop的处理性能.