分布式容灾存储系统的设计与实现

摘要

随着信息技术的高速发展，对信息处理系统的高可用性和高安全性的需求，极大刺激了容灾备份技术的应用和发展。然而目前比较流行的容灾备份方案，诸如磁盘阵列柜或者NAS，SAN，其存在的最主要的问题就是价格高昂，一旦出现远程数据损坏，恢复这些数据随之而来的高昂代价往往让中小型企业望而却步。 鉴于容灾备份的高成本，本系统利用现在发展迅速的网络存储技术，提出了一种可降低成本的更加大众化的容灾备份方案。该方案地综合了云存储，纠删码，AES加密技术，充分利用云存储的异地分布式存储和可控高效可扩展的数据存储能力，纠删码的容错恢复能力，AES加密技术对于数据存储的保密性保障所带来的便捷的系统部署，在尽可能地提高容灾备份性能的同时，达到保证数据安全、降低备份成本的目标。本方案以RS类纠删码和Amazon S3平台研究为核心，从RS纠删码的编解码原理和算法流程来介绍编解码模块的开发，研究并实现对大文件的AES加解密，采用多线程通信和并行传输，最后对本系统进行部署和测试，通过测试的结果分析性能。 本课题紧紧围绕着国内中小型企业的需求，构建了一个可降低成本而又兼顾性能的容灾备份体系。该创新方案相对于传统备份，所减少的备份时间达一半以上，备份成本节省约60％，为数据带来了很好的容错能力和较高的安全保障。基于网络的异地分布式存储进一步提高数据的安全性，节约服务器的成本。中小型企业使用基于该方案的分布式灾备系统，能较大限度地保障计算机信息系统提供正常的服务。

目录

声明

摘要

第一章 绪论

1．1 研究背景和意义

1．2 国内外研究现状

1．2．1 分布式存储研究现状

1．2．2 纠删码研究现状

1．3 主要研究内容

1．4 论文组织结构

第二章 关键技术介绍

2．1 纠删码的概念与原理

2．2 云存储

2．3．1 Amazon S3简单存储服务

2．3．2 Eucalyptus

2．3 AES加密算法

2．4 本章小结

第三章 RS类纠删码的算法研究

3．1 RS类纠删码

3．1．1 范德蒙码

3．1．2 柯西码

3．2 RS编码实现原理

3．2．1 计算并维护校验和

3．2．2 高斯消元法恢复错误

3．2．3 伽罗华域上的运算

3．3 算法实现步骤

3．4 本章小结

第四章 系统的设计与实现

4．1 系统框架

4．2 云存储环境搭建

4．3 备份流程

4．4 恢复流程

4．5 运行结果

4．6 本章小结

第五章 系统测试

5．1 测试方案

5．2 测试环境

5．3 功能测试

5．4 编码性能测试

5．4．1 数据大小对编码性能的影响

5．4．2 原始数据分块数对编码性能的影响

5．4．3 冗余块数对编码性能的影响

5．5 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢