Hadoop异构集群中的数据分配策略

摘要

本发明涉及一种Hadoop异构集群中的数据分配策略，其特征在于，包括以下步骤：S01：测试并存储各节点处理不同规模数据的执行时间，并转换为静态性能参考指标；S02：监控并存储各节点的存储负载和各节点间的网络传输速度，并转换为动态性能参考指标；S03：根据预先设置的各性能因素的权重，利用计算模块计算出各节点应分配的数据块数目，并通过数据分配服务器进行数据块-节点的映射和实施分配传输。本发明通过对静、动态性能参考指标各性能因素的灵活配置，可以增强数据分配策略的适应性，保证数据分配策略的有效性，能够有效的提高数据局部性、减少作业响应时间和网络传输，增强系统的负载稳定性，优化了集群资源。