云计算数据中心的能耗成本建模与优化研究

摘要

云计算从概念到大规模推广应用，短短数年间获得了迅猛发展。它与诸多行业深度融合，带来了颠覆性的创新，凸显出巨大的应用价值和发展前景。为了满足对计算、存储及网络等资源日益增长的需求，云计算数据中心的规模越来越大，同时也引发了大型数据中心能耗成本居高不下，已经成为制约企业发展的瓶颈。因此，在保证云计算数据中心正常业务开展及安全可靠运行的同时，有效利用能源，最大限度地降低能耗成本，提升市场竞争力，对云服务提供商显得尤为重要。近年来，云计算数据中心能耗成本控制问题已经吸引了工业界和学术界的广泛关注，成为当前的研究热点。本研究主要内容包括：
　　⑴研究了在开放电能市场环境下，利用系统储能设备（如UPS）中多余的容量，最小化云计算数据中心电能成本的问题，并将该优化问题转化为一个折扣成本的马尔可夫决策模型。由于系统负载和电价的先验信息事先未知，我们设计了基于Q学习的动态能量存储控制策略用于减小电能成本，并运用Speedy Q学习理论加速算法的收敛。同时，我们将该问题所对应的离线优化问题刻画为一个混合整形线性规划(MILP)问题，其最优解作为所提出算法的性能边界。最后，基于实际的负载和电价数据集验证了所提出算法的有效性。
　　⑵研究了处于开放电能市场环境中，在任务队列延迟约束条件下，根据负载和电价的波动，通过自适应地调整云计算数据中心中处于休眠/激活状态的服务器数，以实现电能成本的最优控制，并将该问题建模为带约束的马尔可夫决策过程。在关于系统随机过程信息可用性的多种假设下，分别研究了在线优化、学习理论以及离线优化等算法。我们采用GMM对负载分布进行估计，并引入基于PDS的学习算法，该算法能够充分利用所估计的负载分布改善系统性能，提高收敛速度。同时，我们也构造了离线优化模型，其最优解作为所提出学习算法的评价基准。最后，通过设计和执行基于实际负载和电价数据集的实验验证了所提出算法的有效性。
　　⑶为了实现绿色数据中心的目标，在云计算数据中心能耗成本节约问题中引入可再生能源（如太阳能、风能等）。针对负载以及可再生能源的变化，自适应地调整休眠/激活服务器数，以减少系统的能耗。本文提出了基于大偏差原理的过载概率估计的自适应服务器资源配置算法，该算法不依赖于负载和可再生能源发电量的先验信息，而是依据当前的观测信息做出决策，并提供以过载概率表示的QoS保证，同时，为了获得较为平滑的服务器资源配置，我们采用迭代策略调整休眠/激活服务器的数量。最后，设计并执行了基于Thunder集群和Intrepid集群的实际负载、以及基于50Hertz的可再生能源发电量数据集的仿真实验，验证了所提出算法的性能。

目录

声明

摘要

插图索引

算法索引

主要符号对照表

第一章 绪论

1．1 研究背景

1．1．1 云计算概述

1．1．2 云计算数据中心

1．2 研究现状

1．2．1 硬件和固件层

1．2．2 操作系统层

1．2．3 虚拟化层

1．2．4 集群层

1．3 本文的工作

1．4 本文的组织结构

第二章 相关优化理论

2．1 Markov决策过程及强化学习

2．1．1 一般Markov决策模型

2．1．2 约束Markov决策模型

2．1．3 Q学习

2．2 大偏差原理

2．3 小结

第三章 基于能量存储的云计算数据中心能耗成本优化

3．1 引言

3．2 系统模型

3．2．1 能量管理系统架构

3．2．2 基本数学模型

3．2．3 基于MDP的成本管理问题

3．3 基于Q学习的动态能量存储控制策略

3．4 动态能量存储控制离线最优算法

3．4．1 离线优化问题

3．4．2 MILP问题转化

3．5 实验与性能评估

3．5．1 实验设置

3．5．2 实验结果及分析

3．6 小结

第四章 能耗成本感知的云计算数据中心服务资源动态供应

4．1 引言

4．2 系统模型

4．2．1 能耗成本感知的系统架构

4．2．2 基本数学模型

4．2．3 带约束MDP的服务器资源供应问题

4．3 已知系统动态的在线优化算法

4．4 基于Q学习的算法

4．5 PDS学习算法

4．5．1 负载到达分布的估计

4．5．2 PDS状态定义

4．5．3 基于PDS的动态规划

4．5．4 基于PDS的学习算法

4．6 离线优化算法

4．7 实验与性能评估

4．7．1 实验设置

4．7．2 实验结果及分析

4．8 小结

第五章 面向绿色数据中心的能耗成本优化

5．1 引言

5．2 系统模型

5．2．1 绿色数据中心系统结构

5．2．2 数学模型描述

5．3 过载概率的估计

5．3．1 过载概率估计模型

5．3．2 过载概率的在线估计

5．4 自适应服务器资源配置算法

5．5 实验与性能评估

5．5．1 实验设置

5．5．2 实验结果与分析

5．6 小结

第六章 总结与展望

6．1 本文总结

6．2 研究展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果