基于协同缓存管理策略的流媒体发布系统设计与实现

摘要

随着人们生活水平的不断提高，互联网已经成为生活中不可或缺的一部分。互联网基础设施和视频编解码技术的逐渐完善，使得流媒体技术快速发展，音视频流在互联网流量中占据了较大的比重，流媒体技术已广泛应用于各行各业。在国内，许多互联网公司开始提供流媒体点播和直播服务。但是大量在线视频流的出现，也使得互联网承受着越来越大的压力，同时用户对视频网站的性能、响应时间和用户体验质量的要求也越来越高。因此如何正确地优化流媒体缓存策略来提高用户体验质量和降低服务器与骨干网的压力变得尤为重要，视频流行度的评估为缓存服务器决策提供依据，实时数据驱动能够对缓存策略进行优化和完善。所以本文总结了流媒体缓存面临的问题，研究流行度预测、协同缓存策略与数据驱动的E2优化框架，主要的工作如下： （1）简述了流媒体的相关理论，以及流媒体发布系统所涉及的相关技术。重点研究和介绍了Apple公司的HTTP Live Streaming（HLS）系统，包括内容准备、内容分发和客户端的实现原理与方法； （2）对当前流媒体发布系统中的缓存管理技术进行研究。对单节点服务器缓存管理，研究与测试了基于历史访问记录指数加权的流行度预测算法（HIPP），并且给出了依据HIPP算法进行缓存分配的实现方法；研究了基于流行度的多节点间协同缓存管理策略（CCM），并对算法进行了实验与测试； （3）为了进一步完善系统，解决流行度预测可能存在的问题，对数据驱动的提高用户体验的E2框架（exploration and exploitation, E2）进行了研究，并对实现E2框架的算法进行了测试与验证； （4）最后本文用Ubuntu搭建了一个基于HLS协议的视频点播系统，该系统采用Nginx作为视频发布服务器，用FFmpeg生成视频切片和索引文件，并用Python和Java实现了HIPP算法、基于HIPP的缓存分配及协同缓存管理策略与E2框架。 测试结果表明 HIPP 算法、基于流行度的缓存分配及协同缓存管理策略（CCM）与E2框架是可行和有效的。

目录

第一个书签之前