Hadoop公平调度算法的改进

摘要

对于特定系统建立的Hadoop集群,可能有不同优先级别的任务作业.而以往的公平调度算法不能很好地根据作业优先级来合理分配资源.本文提出了一种公平调度算法的改进算法,在根据优先级对资源进行分配的同时,合理兼顾了低优先级作业的资源需求.实验表明,用改进后的调度算法能在保证低优先级作业运行的前提下,尽量分配给高优先级作业更多的资源.