基于HDFS的云存储关键技术研究

摘要

云存储系统为存储大规模数据应运而生，其底层采用分布式文件系统作为存储平台。HDFS(Hadoop Distributed File Sysytem)是开源的云计算平台Hadoop提出的分布式文件系统，其设计简单，应用广泛。但是随着数据量的指数型增长，在可用性、可靠性、扩展性和数据访问性能等方面已经难以满足日益增长的数据量的存储需求。
　　HDFS采用单一的元数据服务器(MetaData Server, MDS)来管理整个系统的元数据信息，这样虽然设计简单，但是单一的元数据服务器经常成为整个系统性能的瓶颈，限制元数据的数量，可扩展性差，并且单一的服务器节点也会带来单点失效问题，当其发生故障时，整个系统将不能工作，影响系统可用性。同时，在现有的HDFS中，系统将默认保存三个文件副本来保证数据可靠性，但是副本分配数量固定，副本放置时位置的选择可能会带来负载不均衡等问题，影响系统效率。针对以上问题，本文进行了如下研究:
　　对HDFS的系统架构设计和工作原理进行了深入了解。
　　本文提出一种集群化元数据服务器架构，在此基础上，提出了一种引入虚拟节点的改进一致性Hash算法，采用目录子树划分和改进的一致性Hash算法相结合的方式对元数据进行划分。
　　为解决数据访问引起的局部过热问题，提出一种基于改进的一致性Hash算法中虚拟节点迁移的动态负载均衡算法，动态调整运行过程中数据访问热度差异引起的局部过热问题。实验证明该算法在负载均衡性能方面具有较好的效果。
　　为解决云数据可靠性，针对现有的文件系统中副本数量固定，副本放置位置选择可能带来负载不均衡等问题，提出了一种动态的副本数量调整策略，该策略可以随用户访问热度和访问请求响应时间的变化而动态调整副本的数量。
　　为了使访问效率更高，提出基于传输代价的副本放置算法，在放置副本时，选择访问效率最高的最佳放置位置。最后实验证明了副本策略的有效性。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 研究意义

1．3 论文研究内容

1．4 论文内容结构

第二章 云存储相关技术研究

2．1 云存储

2．1．1 云存储的概念

2．1．2 云存储发展现状

2．2 分布式文件系统与HDFS

2．2．1 分布式文件系统简介

2．2．2 HDFS简介

2．3 HDFS基本原理与工作流程

2．3．1 HDFS系统架构

2．3．2 HDFS主要数据结构

2．3．3 HDFS读写工作流程

2．4 分布式文件系统的可用性与元数据管理

2．4．1 分布式文件系统可用性

2．4．2 HDFS的单点失效问题

2．4．3 HDFS的单点失效问题解决方案

2．4．4 去中心化元数据服务器架构及元数据管理

2．5 分布式文件系统的可靠性与副本管理

2．5．1 分布式文件系统的可靠性

2．5．2 分布式文件系统的副本管理

第三章 基于高可用的NameNode集群元数据管理方案研究

3．1 相关研究背景

3．1．1 多元数据服务器分布式文件系统

3．1．2 多元数据服务器架构的元数据管理

3．2 基于双机高可用的分布式文件系统架构

3．3 基于目录子树划分和一致性Hash算法的元数据管理方案

3．3．1 一致性Hash算法

3．3．2 目录子树划分算法

3．4 元数据服务器集群的负载均衡

3．4．1 静态负载均衡

3．4．2 动态负载均衡

3．5 实验及结果分析

3．5．1 实验环境

3．5．2 实验过程及结果

第四章 云存储系统中动态副本策略研究

4．1 相关研究背景

4．2 动态副本数量调整的依据

4．2．1 文件热度

4．2．2 请求响应时间

4．2．3 副本数量调整的依据

4．3 动态调整副本数量

4．3．1 确定需要调整的副本

4．3．2 确定需要调整的副本的数量

4．4 基于传输代价的副本放置算法

4．4．1 集群节点负载率

4．4．2 放置节点选择

4．5 实验及结果分析

4．5．1 实验环境

4．5．2 实验过程及结果

第五章 总结与展望

5．1 论文总结

5．2 下一步工作

参考文献

致谢

攻读硕士学位期间发表论文情况