分布式存储系统中自适应容错协议的研究

摘要

随着网络的普及以及数字化信息量的爆炸式增长，大型计算机系统正从“以计算为中心”向着“以信息处理为中心”转变，传统的集中式存储服务由于其容量、性能、安全的限制，已很难满足数据存储的需求。而分布式存储系统以网络为基础，将数据分散到多台独立的设备上，采用可扩展的系统结构，从而适用于对数据的海量存储。对于很多分布式存储系统的用户而言，保证数据的安全性和可用性非常重要，特别在军事、航空、银行等领域，一旦有数据丢失或出错，会造成难以估量的损失。但分布的存储节点未必永远可靠，存储节点的失效会导致相关数据的失效，当前研究的容错技术正是在试图解决这一问题。
　　 复制技术和检查点技术是分布式环境中两类常用的容错技术。复制技术将关键服务或软件数据复制到一组计算机节点上运行，当某些节点失败时，其他节点能正确运行，从而达到屏蔽错误，提高系统可靠性和可用性的目的。主动复制和主从复制是常见的复制技术实现形式。主动复制下，所有复本节点同时响应用户的请求，节点的失效对用户而言是透明的，具有系统资源消耗多和恢复时间短的特点；主从复制下，节点被分为主节点和副本节点，主节点响应用户的请求，并将更新的信息传送给副本节点，具有系统资源消耗少和恢复时间长的特点。检查点技术则是在节点正常运行中，将一些运行信息写入非易失存储器，当节点发生错误重启后，只需要付出较低的恢复代价就能够卷回最近一次的正确状态，从而减少恢复时的工作量。传统的检查点技术适用于应对节点在更新操作中发生的失效。
　　 无论是主从复制技术还是检查点技术，多数基于特定假设，对系统环境施加了诸多限制，只适用于某些类型的分布式应用。但现有的分布式存储系统，其运行环境往往是复杂和变化的。根据应用需求，不同时刻系统接收的读、写请求类型和请求频率可能有较大变化；受软件、硬件和操作者的影响，存储节点的故障发生频率和持续时间也可能在不同时期呈现不同特征。对这类系统，单一、固定的容错技术往往难以适用。
　　 针对上述问题，本文融合主从复制技术和检查点技术，提出了一种针对复杂可变存储系统的自适应容错协议，由文件操作子协议、主从复制子协议和检查点子协议三部分组成。协议一方面实现主从复制技术，对数据进行多机备份，以容忍存储节点的永久失效；另一方面，在主从复制的基础上，实现基于日志的检查点设置和恢复功能，用于专门应对存储节点执行数据更新请求时发生的瞬时失效，减少在这种情况下用户请求延时。协议预设了两种容错模式和两种恢复策略，分别是“主从复制容错模式”、“主从复制+检查点容错模式”、“副本恢复策略”和“检查点恢复策略”。在系统运行过程中，通过采集、预测读写请求类型来实现容错模式动态调整；根据节点失效类型和失效时请求执行进度来实现恢复策略的动态调整。同时，协议还实现了根据系统特征对两种容错模式中的关键参数进行动态调整。
　　 论文在对自适应容错协议进行理论分析的基础上，设计和开发了一个支持节点动态加入和退出的分布式存储系统，并将自适应容错协议应用于该系统，归纳了各子协议在多种系统特征下的表现。同时，将本文研究的协议和Navin容错协议进行了比较，测试了存储节点在发生瞬时失效时，系统恢复和用户请求的延时情况。实验结果表明，自适应容错协议在性能上优于Navin协议。