基于分布式架构资源动态分配系统的设计与实现

摘要

近年来，随着互联网的兴起，互联网公司业务形式与信息数据呈现爆炸性增长的趋势。然而运维系统的落后与资源管理方式效率底下的现状，不仅造成资源的浪费，而且给公司带来了沉重的维护压力，这会成为公司未来业务线扩展的一个瓶颈。因此如何将部分线下操作转换为线上进行，高效的信息管理与资源分配成为公司发展过程中必须要面临的问题。为了解决该问题，需要设计一套高效的资源动态分配系统，提高资源利用率，降低运维成本。
　　本文以实习所在公司实际情况作为出发点，通过对旧系统的分析与系统用户的调研，梳理了与资源相关的整个业务流程，针对当前存在的主要问题提出了资源分配算法的优化策略，并在此基础上设计开发了资源动态分配系统。系统通过可视化页面对外提供服务，接收资源申请后进行资源分配，整个过流程在线上完成后并可追踪监控。在资源分配算法中，系统通过Actor通讯模型，动态获取资源池中资源的性能指标，并以此作为资源分配的依据，结合基于虚拟节点的一致性哈希算法将资源按照“能者多劳”的思想进行分配，以提高资源的整体利用率。结合SSH框架，利用模块化的编程思想，系统提供了诸多资源分配系统的辅助模块，如报警管理、服务台等。在具体的模块设计上，系统采用分层结构，将模块纵向分割为控制层、服务层、数据控制层、数据层，进一步优化系统结构，提高了系统的维护性和高效性。
　　在资源池平台上，本文模拟多个业务线申请来对资源分配的效率进行验证。并通过与旧系统所采用的加权轮询法从资源平均负载率这一标准上进行对比，其优化后算法结果明显优于加权轮询法，在资源分配分布上达到了“能者多劳”的目的，从而证实了资源分配算法的有效性。此外根据系统实际情况设计了测试用例，进行了功能性测试和非功能性测试，证明系统方案的可行性、可维护性和高效性，实现了需求中对系统提出的资源管理、报警管理、服务管理、性能优化等功能性要求和易用、可靠、安全等要求。
　　本文的主要结构为:首先介绍了项目的背景、问题定义以及目标等基本信息，其次通过对技术的分析，选择出相应的分布式技术框架和通讯框架，然后对现有分配算法的分配策略进行优化，设计实现并通过实验进行验证，确保其可行性和优化效果，最后详细介绍了系统整体框架的设计和逻辑结构的设计，给出了系统各个模块的设计与实现过程。

目录

声明

致谢

摘要

1 引言

1．1 项目背景

1．2 问题定义与项目目标

1．3 国内外现状研究

1．4 论文的关键点和难点

1．5 论文组织结构

2 问题解决技术途径的选取

2．1 分布式计算环境的确立

2．1．1 分布式框架

2．1．2 分布式通讯模型

2．1．3 分布式计算缓存技术

2．2 资源分配系统服务器的选择

2．3 本章小结

3 负载均衡分配策略的改进及其算法优化

3．1 常见算法分析

3．2 资源动态分配算法设计

3．2．1 指标量化与哈希计算

3．2．2 资源分配策略

3．2．3 算法的实现过程

3．2．4 优化算法的验证

3．3 本章小结

4 资源动态分配系统需求分析

4．1 需求调研

4．1．1 旧系统调研

4．1．2 系统用户调研

4．2 系统功能性需求

4．2．1 资源管理

4．2．2 报警管理

4．2．3 服务台

4．2．4 性能优化

4．3 非功能性需求

4．4 本章小结

5 资源动态分配系统设计与实现

5．1 系统整体设计

5．1．1 分布式系统架构

5．1．2 软件逻辑结构

5．1．3 系统包结构设计

5．2 系统设计与实现

5．2．1 资源管理设计与实现

5．2．2 报警管理设计与实现

5．2．3 服务台设计与实现

5．2．4 性能优化设计与实现

5．3 数据分析与数据库设计

5．3．1 概念模型设计

5．3．2 逻辑模型设计

5．3．3 物理模型设计

5．4 本章小结

6 资源动态分配系统测试与验证

6．1 系统测试环境

6．2 测试方法选取

6．3 功能测试

6．3．1 资源管理模块测试

6．3．2 报警模块测试

6．3．3 服务台测试

6．3．4 性能优化测试

6．4 非功能性测试

6．4．1 兼容性测试

6．4．2 安全性测试

6．4．3 压力测试

6．5 本章小结

7 总结与展望

7．1 总结

7．2 展望

参考文献

作者简历及攻读硕士／博士学位期间取得的研究成果．

学位论文数据集