基于预分块及滑动窗口的重复数据消除方法

摘要：

本发明所述的一种基于预分块及滑动窗口的重复数据消除方法，该方法的具体步骤如下；对数据对象DO进行预分块，将其划分为互不交叠的小分块MC；再以小分块MC为单位，使用滑动窗口方法检测连续的新的小分块MC并将其融合为大分块SC；同时在新旧数据交界部分保留小分块MC。本发明在此基础上对数据变动区域和非变动区域采用不同的分块策略，从而在分块大小预期值较大的情况下，仍能获得较高的压缩比并降低了元数据开销。

专利类型：发明专利

申请/专利号：CN201010585866.5

申请日期：2010-12-14

公开/公告号：CN102082575A

公开/公告日：2011-06-01

主分类号：H03M7/30(2006.01)I

申请/专利权人:江苏格物信息科技有限公司

发明/设计人:秦志光;王亦德;匡平;高嵘

主申请人地址:215400 江苏省苏州市太仓市经济技术开发区北京东路88号

专利代理机构:南京苏高专利商标事务所(普通合伙) 32204

代理人:柏尚春

国别省市代码:江苏;32

权利要求：

一种基于预分块及滑动窗口的重复数据消除方法，其特征在于：该方法的具体步骤如下;（1）对数据对象DO进行预分块，将其划分为互不交叠的小分块MC，（2）再以小分块MC为单位，使用滑动窗口方法检测连续的新的小分块MC并将其融合为大分块SC；同时在新旧数据交界部分保留小分块MC。