云存储中数据编码优化和重复数据删除技术研究

摘要

随着云计算时代的到来，各种应用程序需要分析计算的数据所占用的空间越来越大，一度由GB到TB甚至发展到EB数量级。随着数据量的增大，需要的存储空间也变得越来越大，相应的能源消耗也越来越大。在云存储环境下，研究如何利用纠删码编码技术和重复数据删除技术有效的提高存储空间利用率是有现实意义的。
　　本文对现有的云存储技术进行了分析，现有研究表明以纠删码为容灾策略的数据存储技术相比多副本存储技术能够节省更多的存储空间和网络带宽;在云计算平台Hadoop中，大量数据之间存在重复数据，而重复数据删除技术能发现这些重复的数据，避免重复数据的存储，提高存储空间利用率。
　　柯西里德-所罗门编码是一种主流的纠删码编码方式，为了优化云存储中柯西里德-所罗门编码效率，并向云储存系统中加入重复数据删除功能，本文做了以下几方面的工作:
　　(1)提出了一种优化柯西里德-所罗门编码效率的选择框架。任何利用柯西里德-所罗门编码的数据存储系统都可以利用该选择框架产生高效的数据编码调度，以用于提高编码效率。
　　(2)将上述选择框架产生的优化调度方案集成到了Hadoop中去，优化了云存储环境下的柯西里德-所罗门编码的编码效率。
　　(3)在Hadoop平台的每个数据节点实现了重复数据删除功能，提高了每个数据节点的存储空间利用率。
　　在Hadoop云存储实验平台上实现了柯西里德-所罗门编码效率的优化和重复数据删除功能。本文提高了云存储中柯西里德-所罗门编码效率，提高了存储空间利用率。

目录

声明

摘要

第1章 绪论

1．1 研究背景和意义

1．2 国内外研究现状

1．2．1 纠删码编码技术

1．2．2 重复数据删除技术

1．2．3 云计算工具Hadoop

1．3 主要研究内容

1．4 论文的组织结构

第2章 相关工作

2．1 纠删码技术

2．1．1 纠删码简介

2．1．2 CRS编码相关工作

2．2 重复数据删除技术

2．2．1 重复数据删除简介

2．2．2 重复数据相关技术

2．3 分布式文件系统HDFS

2．4 本章小结

第3章 基于纠删码编码策略的选择框架

3．1 知识准备

3．2 选择框架的设计

3．2．1 准备柯西矩阵

3．2．2 求取调度

3．2．3 选择优化调度方案

3．3 原型实现

3．4 优化调度方案的应用

3．4．1 优化调度方案在本地编码中的应用

3．4．2 优化调度方案在云存储系统中的应用

3．5 本章小结

第4章 云存储系统中的重复数据删除

4．1 问题描述

4．2 云存储系统重复数据删除功能的设计

4．2．1 总体设计

4．2．2 写入数据

4．2．3 读取数据

4．2．4 删除数据

4．3 本章小结

第5章 实验测试

5．1 选择框架实验测试

5．1．1 选择框架的优化调度方案

5．1．2 选择框架的性能测试

5．2 数据编码性能测试

5．2．1 优化调度方案在本地数据编码中的性能测试

5．2．2 优化调度方案在云存储中的性能测试

5．3 云存储中重复数据删除技术的实验测试

5．4 本章小结

第6章 总结与展望

6．1 工作总结

6．2 工作展望

参考文献

致谢

攻读硕士期间参加的科研项目