基于Hadoop集群的作业调度算法的研究

摘要

随着Internet技术的高速发展，我们已经进入大数据时代，几乎所有的事物都与数据有关。如今，各种应用会使每个月都产生 TB级别甚至 PB级别的数据，与此同时，越来越多的需求使每天需要处理几 PB、几百 PB甚至 EB级的数据。Apache开发的云计算平台 Hadoop是基于 Google的云平台的开源实现。Hadoop平台屏蔽了系统分布式处理的细节，通过使用MapReduce编程框架，开发人员只需关注业务的实现过程，而分布式的处理过程由 Hadoop底层自动完成；Hadoop可以大大节省企业 IT设施成本，因为它可以在普通 PC组成的集群上获得良好的运行效果；同时，开源的 Hadoop使中小型企业以及个人开发者拥有分布式计算的能力。虽然得到了广泛的支持，开源的 Hadoop仍是一个不断发展中的平台，在实际应用中，还存在着很多问题。
　　本文首先对 Hadoop平台的产生背景进行介绍，然后深入的研究了 Hadoop平台的框架：Hadoop分布式文件系统（HDFS）和MapReduce并行编程框架，对 Hadoop平台的作业调度算法进行深入研究，针对特定作业、特定环境下，存在的相关问题，对调度算法进行了改进，具体工作如下：
　　（1）通过研究公平调度算法的处理过程，发现在处理大量非本地任务时，易产生热点问题，提出一种基于热点预测的公平调度算法。该算法对潜在热点进行预测，避免产生实际热点，从而提高了对不同作业的处理效率。
　　（2）考虑到用户对作业处理的时间要求，提出一种基于截止时间限制的动态调度算法（DCDS）。该算法实时监控作业运行状况，并对作业运行时间进行动态估算，从而确定作业优先级；对于时间紧迫的作业，我们引入了抢占策略，经试验测试该算法提高了系统资源的利用率和吞吐量。

目录

封面

声明

目录

中文摘要

英文摘要

插图索引

第1章 绪论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.3 课题研究的主要内容

1.4 论文的组织结构安排

第2章 Hadoop分布式计算平台介绍

2.1 Hadoop技术背景简介

2.2 Hadoop框架及核心技术介绍

2.2 本章小结

第3章 Hadoop平台上的调度算法

3.1 Hadoop平台作业调度流程

3.2 Hadoop平台自带的调度算法

3.3 其他调度算法

3.4 本章小结

第4章 基于热点预测的公平调度算法

4.1 公平调度算法思想及其不足

4.2 改进的公平调度算法

4.3 实验结果及性能分析

4.4 本章小结

第5章 基于截止时间的动态调度算法

5.1 动态调度算法

5.2 实验结果及性能分析

5.3 本章小结

总结与展望

参考文献

致谢

附录A 攻读硕士学位期间所发表的学术论文