一种支持批处理和流计算的分布式应用架构的设计与实现

摘要

随着计算机技术的发展，现在已经进入了大数据时代。本文针对以互联网应用为代表的需要高并发、低延时系统和以合规实时监控系统为代表的需要在不变数据集上进行复杂运算的应用，结合批处理并行计算系统和流式并行计算系统的优点设计和实现了一个分布式应用架构——DABR(Distributed Architecturesupports Batch computing and Realtime computing)。
　　 本文详细阐述了如何在一个应用架构中同时获得批处理并行计算模型和流式并行计算模型的优点，如何设计本应用架构的每一个关键功能从而获得上文所述的特点。同时，本文论述了如何在实现时关注应用架构的扩展性，使用接口模式来使得用户能够很方便地扩展本应用架构的任意模块。
　　 接着本文介绍了DABR架构的具体实现，DABR架构所提供的API，同时通过实现SNSTester这个应用系统来说明本架构的使用和功能。
　　 最后，论述了金融合规系统及DABR架构在金融合规系统中的应用。同时，通过具体例子阐述了批处理并行计算和流式并行计算在不同应用场景下两种常见的结合方式。

目录

摘要

第1章 绪论

1．1 课题背景

1．1．1 互联网应用

1．1．2 基金投资组合实时监控合规系统

1．2 本文主要工作

1．3 本文组织结构

1．4 本章小结

第2章 分布式系统相关技术综述

2．1 分布式计算与CAP理论

2．1．1 分布式计算

2．1．2 CAP理论

2．1．3 CAP的选择

2．1．4 最终一致性

2．1．5 BASE理论

2．1．6 挑战CAP理论的尝试

2．2 批处理并行计算模型

2．3 流式计算模型

2．4 整体同步并行计算模型

2．5 本章小结

第3章 DABR应用架构关键技术设计

3．1 DABR应用架构的特征和设计目标

3．2 DABR应用架构设计总体思想

3．3 数据操作层

3．3．1 数据操作层的功能

3．3．2 数据输入

3．3．3 数据查询

3．4 错误处理策略

3．4．1 实时层的错误处理

3．4．2 批处理层的错误处理

3．5 垃圾回收策略

3．6 数据同步和验证

3．7 其他部分

3．8 DABR应用架构设计模式

3．9 本章小结

第4章 DABR应用架构的整体设计与实现

4．1 DABR应用架构技术选择

4．1．1 批处理计算框架

4．1．2 流式计算框架

4．1．3 批处理数据库

4．1．4 流式处理数据库

4．2 DABR应用架构关键技术实现

4．2．1 数据操作层的实现

4．2．2 错误处理与数据同步的实现

4．2．3 垃圾回收的实现

4．2．4 系统时序控制的实现

4．2．5 其他部分的实现

4．3 DABR应用架构总体实现

4．4 DABR应用架构API介绍

4．5 DABR应用架构使用例子

4．5．1 SNSTester应用介绍

4．5．2 SNSTester各个部分的设计

4．5．3 SNSTester在DABR应用架构上的实现

4．5．4 SNSTester运行结果测试

4．6 本章小结

第5章 基金实时合规监控系统及DABR架构应用

5．1 基金实时合规监控系统

5．1．1 合规系统

5．1．2 基金投资组合实时监控合规系统

5．1．3 两类基金投资组合规则

5．2 批处理系统与流式处理系统组合方式

5．2．1 平行结构

5．2．2 互补结构

5．3 基金实时合规监控系统设计

5．3．1 股票统计信息的计算

5．3．2 DABR架构在基金合规系统中的应用

5．4 本章小结

第6章 总结与展望

6．1 工作总结

6．2 未来工作展望

参考文献

攻读硕士学位期间主要的研究成果

致谢