一种分布式存储系统中的元数据管理技术研究与实现

摘要

随着网络和信息技术的飞速发展，全球数据日益增长。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。分布式存储系统因为具有海量数据存储、高扩展性、高性能、高可靠性、高可用性的特点，目前得到广泛研究和应用。据统计，海量存储系统中有超过一半以上的系统操作是元数据操作。元数据操作成为制约分布式存储系统的性能和扩展性的一个严重的瓶颈，因此对于分布式存储系统中元数据管理的研究不仅紧跟目前发展的趋势，而且具有重要的应用价值。本文在研究和分析了现有的元数据管理模型的基础上，研究并实现了一种分布式存储系统中的元数据管理技术，取得的成果如下:
　　1.对现有的元数据管理技术进行概述，将元数据管理模型分成集中式元数据管理模型、分布式元数据管理模型和无元数据管理模型三种，分别对其阐述原理并给出相应的元数据管理模型图，列举若干对应的存储系统，分析各个模型存在的性能缺陷，同时也分析了分布式存储系统中的两种容错机制，分析了各自的优缺点。
　　2.设计了一种面向运营商领域、具有高可靠性和高可扩展性的分布式存储系统ZettastorDBS，将其总体架构分成两大模块:数据通路模块和控制通路模块，给出数据通路模块和访问关系图，以及控制通路模块和基本控制流构成图，并根据元数据管理需求研究了元数据管理基本流程所包含的内容。
　　3.实现了ZettastorDBS系统中的元数据管理功能。首先，给出元数据的组织形式和元数据库中表结构的设计;其次，详细介绍了元数据的各个状态设计以及各个状态之间的迁移实现过程;最后，对于元数据管理程序中的核心程序给出设计与实现过程，包括两个定时器和一个元数据重构接口。同时，在Linux环境下部署整个系统并对其进行功能性测试。测试结果表明，元数据管理部分可以充分满足用户对存储服务在元数据管理各方面的需求。

目录

声明

摘要

1．1研究背景与研究意义

1．2国内外研究现状

1．3本文研究内容

1．4本文组织结构

第2章元数据管理技术概述

2．1分布式存储系统

2．1．1分布式存储系统简介

2．1．2分布式存储系统应用

2．2元数据管理模型

2．2．1集中式元数据管理模型

2．2．2分布式元数据管理模型

2．2．3无元数据管理模型

2．3分布式存储系统中的容错机制

2．3．1 Master／Slave容错机制

2．3．2 Multi-Master容错机制

2．4本章小结

第3章分布式系统元数据管理方案设计

3．1需求分析

3．1．1分布式存储系统总体需求

3．1．2元数据管理需求

3．2分布式存储系统结构

3．2．1总体架构

3．2．2数据通路模块

3．2．3控制通路模块

3．3元数据管理基本流程

3．4本章小结

第4章分布式系统元数据管理的功能实现

4．1元数据库设计与实现

4．1．1相关术语解释

4．1．2元数据组织形式

4．1．3元数据库表结构设计

4．2元数据状态迁移设计与实现

4．2．1元数据状态设计

4．2．2元数据状态迁移实现

4．3元数据管理程序设计与实现

4．3．1TimeoutSweeper定时器

4．3．2VolumeSweeper定时器

4．3．3元数据重构接口

4．4本章小结

第5章元数据管理系统测试

5．1测试环境与方法

5．2系统测试结果

5．3本章小结

6．1工作总结

6．2工作展望

参考文献

致谢