一种基于Winnowing分块的重复数据删除备份与恢复系统设计与实现

摘要：

针对海量数据中存在的大量冗余信息,本文设计并实现了一种基于重复数据删除的文件备份与恢复系统,该系统采用改进的Winnowing动态分块算法,将文件分割成不同长度的数据块,并结合摘要算法、索引表、数据压缩等技术,确保服务器仅存储数据块唯一副本,以达到重复数据的删除目的.实验表明,该系统相比cwRsync能较更好的减少网络流量,并且相比传统的压缩技术能更进一步减少磁盘空间占用率.

关键词：Winnowing、重复数据删除、文件备份与恢复

所属期刊栏目：49

分类号：TP309.3(计算技术、计算机技术)

资助基金：国家自然科学基金61173159;教育部创新工程重大项目培育708075

在线出版日期：2012-09-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：535-542