基于客户端缓存与请求调度的Ceph文件系统读时延优化策略研究

摘要

分布式文件系统以其可靠性高、容量大与扩展性强的优势，成为当前海量数据存储的主流选择。在大量分布式文件系统的应用场景中，读操作都占有较高的比例。此外，相对于写操作，读操作对于时延更加敏感，因此减少读访问操作的耗时对分布式文件系统而言有着重要意义。
　　通过分析典型的开源Ceph分布式文件系统的数据访问流程，发现在其读请求处理过程中，请求的数据在网络层的传输延迟及请求在节点的服务延迟在整个读延迟中占据主导地位。因此，针对性地做出了设计以对二者进行优化。
　　依据Ceph中文件对象条带化规则，利用局部性原理进行对象预取操作，提升客户端的数据命中率，减少未命中情况下对象存储节点的读取操作次数，从而减少时延较长的网络传输。具体而言，设计动态调整算法来设置预取窗口大小，使缓存命中率趋于最优；根据预取的对象内容，重新设计客户端缓存，使用两级队列管理，按照数据命中与预取的特点对缓存进行分类，并对分类的数据进行合理分割与合并管理。
　　根据Ceph数据定位算法的输出经过调度优化来选择合适的目标位置，综合集群拓扑图的最小同根域距离与共享工作队列的I/O信息实现的调度算法，可使Ceph读访问达到均衡，从而降低访问热点造成的节点排队可能，减小排队带来的额外延迟。
　　最后，通过将上述两种优化方案集成到Ceph系统中构建原型平台。测试结果表明，两方案均能有效提升系统性能或改善各节点负载均衡程度。具体而言，相较于原系统，自适应对象分片预取可使得读请求的响应时间平均下降13.73％，而读调度算法则可使得各节点负载的方差最多减少17.6%。

目录

1 绪论

1.1 课题背景

1.2 国内外研究现状

1.3 主要工作和论文组织结构

2 相关技术研究

2.1 分布式文件系统

2.2 数据分布算法

2.3 RAID

2.4 预取与缓存算法

2.5 本章小结

3 基于Ceph系统数据访问技术的优化

3.1 Ceph文件系统数据读取流程分析

3.2 基于对象分片的自适应预取优化

3.3 读调度算法优化

3.4 本章小结

4 基于Ceph系统数据访问技术的优化实现

4.1 基于自适应条带预取的缓存管理优化

4.2 基于距离和I/O的读调度优化

4.3 本章小结

5 系统测试与分析

5.1 测试环境

5.2 性能测试与结果分析

5.3 本章小结

6 总结与展望

6.1 全文总结

6.2 展望

致谢

参考文献