一种基于历史信息的HDFS数据块放置策略

摘要

一种基于历史信息的HDFS数据块放置策略，先判定集群中各机架的性能差异，再根据数据块的总数和各个机架的性能差异，在各个机架之间进行有区别的数据块分配，对一个机架中的各个节点的性能差异进行判定，将分配到该机架的数据块有区别的放置在该机架中的节点上，最后进行数据节点选择策略，本发明通过对历史日志信息的分析和统计，判定各个节点的处理能力的差异，并根据节点的处理能力来放置数据块，从而提高作业运行时map任务数据本地性，从而提高Map阶段的完成效率。