基于轮转部署的RAID6存储系统扩容问题研究

摘要

近些年来，随着云计算、大数据等技术与概念的广泛兴起与发展，用户数据和新型应用以爆炸式的速度增长。这就给作为其基础设施的存储系统提出了越来越高的要求，其中包括数据的可靠性、I/O性能以及存储能力等。为了应对存储系统内部单磁盘可能在性能上带来的瓶颈，RAID技术被广泛地应用到各种实际的存储系统中去。但是，随着需求的不断增加，一些存储系统将遇到存储空间不足的问题，这导致对原有系统的存储容量进行扩容。为了满足当前主流24小时无间断服务的需要，当今的系统扩容都要求在在线的场景下进行。在此前提下，传统的做法是基于轮叫调度的扩容方案。虽然该方案能够使得扩容后的系统访问性能达到最优，但是在扩容过程中几乎要迁移所有的数据。由此带来的大量数据迁移，将会对系统的访问性能带来影响并降低用户体验。所以为了减少扩容时迁移的数据量，人们提出了基于最小数据迁移量的新型扩容方案。
　　本文聚焦的是RAID6存储系统的扩容问题，现有的RAID6存储系统的新型扩容算法都是基于最小数据迁移量来设计的，并且假定校验块部署在特定的2块磁盘上。然而实际部署RAID6存储系统时，为了均衡校验盘负载，通常采用轮转的方式将所有的校验块均匀地部署在所有磁盘中。而原有的扩容方案只考虑了数据块的迁移而没有考虑校验块的迁移，这就会导致在扩容后的系统中校验块的负载不均衡。针对校验块为轮转部署的RAID6存储系统，本文就最常用的纠删码RDP编码与EVENODD编码，提出了一种新型的扩容方案RSR。RSR在满足数据最小迁移量的基础上，通过多条带间逻辑拼接的方式，使得系统在扩容后数据块与校验块均衡地部署在所有磁盘上。RSR还通过引入Piggyback技术减少了扩容后更新校验块所带来的开销。采用广泛接受的磁盘模拟器DiskSim对RDP编码和EVENODD编码分别进行模拟实验。为了比较不同扩容方案的性能，本文选取RSR、RS6、RR4、RR5这4种扩容方案，并对其扩容时间和扩容后的访问性能进行对比模拟实验。对于RDP编码，实验从6个磁盘扩容到18个磁盘，分4次分别增加2、4、2、4个磁盘。模拟实验结果表明，RSR在总体扩容时间上对比RR4和RR5减少了53.45％～76.75％，对比RS6减少了-0.74％～6.89％。RSR在写主导的访问记录Finicial1下，在扩容后平均访问时间上对比RR5增加了0.76％～15.92％，而RR4、RS6由于校验块不均衡的原因无法得出有效的平均访问时间。对于EVENODD编码，RSR在对比模拟实验中有着相似的表现。所以RSR在多种算法中具有较低的扩容开销，并在扩容后的系统访问性能上接近最优。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．1．1 海量数据的机遇与挑战

1．1．2 容错的意义

1．1．3 RAID存储系统

1．2 RAID扩容技术国内外研究现状

1．3 本文工作

1．4 本文组织结构

第2章 RAID6扩容问题与相关技术

2．1 RAID6容错机制

2．2 纠删码

2．2．1 RDP编码

2．2．2 EVENODD编码

2．3 轮转部署机制

2．4 RAID6扩容技术

2．4．1 基于轮叫调度扩容方案

2．4．2 基于逻辑拼接空闲块扩容方案

2．4．3 基于多条带之间拼接扩容方案

2．4．4 Piggyback技术

2．5 本章小结

第3章 基于校验块轮转部署的RDP编码扩容算法

3．1 不同条带间的拼接过程

3．2 校验块的迁移与均衡

3．3 条带内的数据迁移

3．4 算法形式化介绍

3．4．1 多条带之间拼接的形式化介绍

3．4．2 条带内数据迁移块迁移的形式化介绍

3．5 算法的理论分析

3．5．1 校验块均衡与最小迁移量分析

3．5．2 数据块均衡与最小迁移量分析

3．5．3 快速寻址分析

3．5．4 RSR优势分析

3．6 算法的寻址过程

3．6．1 寻址函数

3．6．2 映射旧磁盘块

3．6．3 映射新磁盘块

3．7 基于DiskSim模拟实验与分析

3．7．1 实验设置与评估方法

3．7．2 扩容时间评估

3．7．3 访问性能评估

3．7．4 实验结果分析

3．8 本章小结

第4章 基于校验块轮转部署的EVENODD编码扩容算法

4．1 算法形式化介绍

4．1．1 多条带之间拼接的形式化介绍

4．1．2 条带内数据迁移块迁移的形式化介绍

4．2 算法理论分析

4．3 基于DiskSim模拟实验与分析

4．3．1 实验设置与评估方法

4．3．2 扩容时间评估

4．3．3 访问性能评估

4．3．4 实验结果分析

4．4 本章小结

第5章 总结与展望

5．1 本文工作总结

5．2 工作展望

参考文献

致谢

在读期间发表的学术论文与取得的其他研究成果