云存储中数据自主组织与管理方法研究

摘要

伴随移动通信与网络技术的快速发展，信息量呈爆炸性增长，无论是企业还是个人对存储空间的需求越来越大。在这一趋势下，云存储成为了存储海量数据的主流解决方案。在云存储系统中，用户可将数据上传到云端保存，但云存储管理端拥有用户数据完整的逻辑视图、物理视图及其之间的映射关系，用户丧失了对数据的绝对控制权，数据安全、隐私保护以及由此导致的用户与管理端之间的信任危机也因此产生。
　　针对传统云存储系统中用户隐私和敏感数据的安全保护问题，本文首先提出一种适合数据自主组织与管理的云存储模型ASMM，然后针对该模型实现中的隐私和敏感信息元数据自主可控管理方法、文件自主分块策略以及数据分块的分离存储等关键技术展开研究。
　　在隐私和敏感信息元数据自主可控管理方面，ASMM基于传统云存储中的元数据管理策略，将元数据管理分成客户端元数据管理与中心元数据管理两部分，元数据子服务器自主提取、维护、读写和存储敏感信息的元数据。在映射关系方面采用基于文件与数据块之间冗余随机映射算法提高文件存储的安全性，同时采用按需询问同步策略保障客户端元数据服务器与中心元数据服务器之间数据块到数据存储中心映射关系的一致性，确保整个存储系统的稳定性与可靠性。为提高元数据读写性能并减少元数据子服务器的负载，在平台子客户端引入了缓存机制，并通过直接同步策略和LRU算法保证了缓存系统的一致性。
　　针对隐私和敏感数据分块的存储安全问题，论文首先提出了一种根据隐私和敏感信息文件和客户端属性对文件进行自主分块的算法，优化隐私文件的读写性能。其次，设计了数据块分离算法，将自主分块算法的分块结果集进行二次合并存储，混淆原始分块的数据真实值，并将数据分离过程采用的存储结构同文件元数据一并保存到客户端元数据服务器。
　　ASMM自主管理元数据策略和数据分块存储机制，从文件和数据块两个层面确保隐私和敏感信息的存储安全，改善云存储平台的安全性。在多用户并发访问下，对不同规模数据集的读、写性能的实验测试表明，ASMM在自主管理敏感信息元数据以及分块自主存储前提下，与HDFS、GFS相比仍具有较好读写性能和稳定的数据持久化能力，同时也提高了系统的安全性能。

目录

摘要

第一章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．3 论文主要内容

1．4 本文结构

第二章 数据自主组织与管理云存储架构

2．1 传统云存储数据管理方法研究

2．1．1 元数据管理

2．1．2 数据分块策略

2．2 数据自主组织与管理云存储模型

2．2．1 存储模型

2．2．2 通信机制

2．3 本章小结

第三章 隐私和敏感信息元数据自主管理策略

3．1 元数据结构设计与提取机制

3．1．1 元数据结构

3．1．2 元数据提取机制

3．2 一致性同步策略

3．2．1 CMS与DS一致性同步策略

3．2．2 Sub-MS与CMS一致性同步策略

3．3 元数据缓存机制

3．3．1 缓存一致性

3．3．2 ASMM缓存策略

3．4 本章小结

第四章 文件自主分块分离存储技术

4．1 数据分块技术分析

4．2 自主分块算法

4．2．1 算法框架

4．2．2 分块判断算法

4．2．3 分块大小计算

4．3 数据分离算法

4．3．1 数据分离算法模型

4．3．2 LPCA分离与恢复数据过程

4．3．3 算法分析

4．4 本章小结

第五章 实验与结果分析

5．1 测试环境

5．2 系统原型

5．3 性能测试

5．4 本章小结

结论

参考文献

攻读硕士学位期间发表的学术论文

声明

致谢