分布式数据流管理系统中基于冗余的高可用性技术研究

摘要

随着数据流应用的兴起和发展，数据流管理中间件的设计与研究引起了广泛的关注。一个良好的数据流管理中间件系统不仅能对数据流进行有效地管理，还应该具有较好的实时性、高可用性等特点。以往对数据流系统中高可用性的研究侧重于对系统节点发生故障进行有效地恢复，通过对计算部件进行冗余备份实现系统节点故障时的软件替换，保证系统继续运行。然而这些研究没有从运算子冗余度角度考虑怎样最大限度的提高系统的高可用性。本文以东南大学计算机科学与工程学院自主研发的Nebula系统为平台，研究分布式数据流管理中间件系统中基于冗余的高可用性技术。
　　 提高系统冗余度可以增强可用性，然而受实际负载条件限制，当系统运行负载较重时，无法将冗余度提升至理想值。针对该情况，本文的主要目标是通过研究系统负载和冗余度的关系，在可承受的负载限制条件下寻找到系统能达到的最大冗余度，增强系统可用性。本文首先给出实现高可用性的Nebula系统(Nebula HA)的整体架构设计，进一步研究了Nebula HA的故障恢复模型以保证系统在发生计算节点故障时进行快速正确地恢复。随后本文针对Nebula HA系统提出了一套负载评估理论模型，对计算节点及冗余备份负载消耗做有效估算，用于冗余度的选取和冗余备份。通过负载估算构造出系统冗余度与冗余负载的关系曲线，并在曲线上寻找系统负载限制条件内的最大冗余度值，尽可能地提高了系统冗余度。最后，通过原型系统及仿真实验证明，系统以最大冗余度实施备份并运行，在可承受的性能下降范围内最大限度地增强了系统应对节点故障的能力，同时充分利用了空闲资源对运算子进行备份。相对以往的高可用性方案，本文的研究通过提高冗余度显著地增强了数据流中间件系统的可用性。