一种基于滑动分块的重复数据检测算法

摘要

当被插入或删除的字节接近于匹配失败数据段两侧时,会导致SBBS算法回溯功能局部甚至完全失效.为此,提出一种改进的重复数据检测算法.采用滑动与滚动相结合的窗口移动模式减少窗口计算量,利用Rsync滚动校验和算法与MD5算法优化窗口计算模式,加快匹配速度.通过回溯匹配失败数据段,检测其中的重复数据段,以提升重复数据的检测精度.实验结果表明,与SBBS算法相比,该算法在重复数据段均匀分布与非均匀分布时的查全率分别提高约4.32％和5.28％.