分布式文件系统客户端元数据缓存一致性的实现及优化

摘要

随着海量数据的产生，对数据的存储和访问性能要求越来越高。在分布式文件系统中，元数据访问是数据访问的必经之路，并且在所有访问中，元数据的访问占了50％以上，因此提升元数据访问的性能尤为重要。可以通过实现客户端本地缓存技术提高元数据访问性能，然而，确保多客户端元数据缓存一致性是关键技术之一。由于一致性功能的实现必然会带来一定开销，导致性能降低，因此需要权衡一致性功能和性能，使用合适的优化技术，保证文件系统缓存一致性功能的正确性以及一定的性能。
　　基于Zookeeper服务器的一致性协调服务实现了授权锁以保证元数据缓存一致性，并针对一致性功能带来的性能降低的问题，从以下三个方面对系统进行优化：分析Zookeeper服务器请求处理过程，明确上锁操作过程的性能瓶颈在于Zookeeper的磁盘IO操作，提出采用SSD来存储Zookeeper上的数据，上锁性能提高90%；针对Lustre文件系统的子树锁方案，提出一种目录范围锁的优化方案，批量获得目录下所有子文件的元数据缓存权，以减少网络通信开销，测试结果显示元数据OPS和并发访问性能均高于未优化的系统及Lustre系统；最后，为了支持多元数据服务器集群，实现了唯一ID进一步提高元数据访问性能，结果表明在相同客户端规模下，多个元数据服务器对比单个元数据服务器，元数据的OPS均有所提高。

目录

封面

声明

中文摘要

英文摘要

目录

1绪论

1.1课题背景

1.2国内外研究概况及发展趋势

1.3本文主要内容

1.4论文结构

2客户端元数据缓存的设计实现

2.1Cappella文件系统简介

2.2元数据缓存一致性的设计实现

2.3元数据缓存结构设计

2.4小结

3客户端元数据缓存一致性的优化

3.1Zookeeper请求处理优化

3.2目录范围锁优化方案

3.3多元数据集群优化方案

3.4小结

4测试结果及分析

4.1测试环境

4.2一致性功能测试

4.3Zookeeper请求处理优化测试

4.4目录范围锁方案性能测试

4.5多元数据服务器性能测试

4.6小结

5全文总结

致谢

参考文献

附 录 攻读学位期间主要研究成果