一种基于滑动分块的重复数据检测算法

摘要：

当被插入或删除的字节接近于匹配失败数据段两侧时,会导致SBBS算法回溯功能局部甚至完全失效.为此,提出一种改进的重复数据检测算法.采用滑动与滚动相结合的窗口移动模式减少窗口计算量,利用Rsync滚动校验和算法与MD5算法优化窗口计算模式,加快匹配速度.通过回溯匹配失败数据段,检测其中的重复数据段,以提升重复数据的检测精度.实验结果表明,与SBBS算法相比,该算法在重复数据段均匀分布与非均匀分布时的查全率分别提高约4.32％和5.28％.

关键词：重复数据检测、匹配失败数据段、SBBS算法、窗口计算、校验和算法、回溯

所属期刊栏目：42

分类号：TP391.1(计算技术、计算机技术)

资助基金：公安部技术研究计划基金资助项目2014JSYJB048;武汉大学软件工程国家重点实验室开放基金资助项目SKLSE2012-09-37

在线出版日期：2016-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：38-44