基于聚类的重复数据去冗算法的研究

摘要：

数据的损坏和丢失会带来无法弥补的损失,数据备份系统可以将损失降到最低程度.随着收集的数据量的迅速增加,备份系统需要备份与恢复的数据也迅速增加,然而备份文件之间的相似度超过60%,全部存储在硬盘上十分浪费存储空间,故提出了一种基于K-medoids聚类的DELTA压缩方法,用来去除备份数据中的重复数据.该方法首先对文件进行切割分块,通过对文件块进行两两DELTA压缩,得出各自压缩文件的大小,作为两个文件块之间的相似度.通过得到的相似度进行K-medoids聚类,作为DELTA压缩前的预处理步骤.然后根据 K-medoids的聚类结果,合并小文件块之后再进行DELTA压缩.测试结果表明,该方法提高了压缩率,并减少了DELTA压缩中查找指纹的次数,降低了压缩时间.

关键词：DELTA压缩、数据压缩、聚类、K-medoids

所属期刊栏目：28

分类号：TP393(计算技术、计算机技术)

资助基金：国家电网公司总部科技项目0711-150TL173

在线出版日期：2018-03-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：125-129