基于Hadoop平台的MapReduce模型任务调度算法的研究与改进

摘要

对Hadoop平台下现有的调度算法进行分析研究。在MapReduce计算模型下,针对Reduce阶段的任务调度问题提出在异构Hadoop环境下新的调度算法,算法在最大程度上提升数据本地性的同时考虑各处理机节点的不同处理能力。对该算法进行实验和性能分析,表明该算法在减少调度时间方面有较好的表现,同时可以适用于更加符合实际的异构Hadoop机群系统中。