一种适合大数据存储系统的高效负载均衡算法设计

摘要

负载均衡技术作为大数据存储技术的核心,其直接关系到构建的大数据存储系统的效率和稳定性,文章以Hadoop大数据存储系统平台为例,提出了一种高效的大数据存储系统负载均衡算法,该算法在传统的Hadoop存储系统负载均衡的算法基础上,通过增加了考虑优先级处理超负载的策略,对系统中的超负载的机架进行有限平衡处理,以解决传统的Hadoop存储系统负载均衡算法对处理超负载机实时性低,导致系统节点崩溃详细的问题,可以有效地提高整个基于Hadoop架构的大数据存储系统的稳定性和数据存储效率。