DaRync：一种数据集辅助重删的网络差量传输算法

摘要

在全球化的互联网环境带给人们海量数据的背景下,文件同步服务作为个人级别的云存储应用成为了广大用户管理数据的一种有效手段,也已成为学术界和工业界研究开发的热点.为了降低将海量数据同步至云存储服务中心带来的巨大网络负载开销和延迟,能够充分发掘数据内部冗余的差量算法和重复数据删除技术一起成为优化云存储服务网络的关键技术.本文在深入分析经典差量算法在文件同步服务中应用存在不足的基础上,提出了一种利用重复数据删除思想优化的差量算法(Dataset Assistant Rsync).通过将检测重复数据的范围从单一文件扩展到共享数据集,DaRsync能够最大限度的挖掘本地数据集与网络服务端之间存在的冗余,进一步减少文件同步时传输的数据量.通过实验测试,实验结果表明DaRsync能够有效的提高存储空间利用率,减少网络传输通信量,降低同步操作延迟.