基于数据路由的分布式备份数据去重系统

摘要：

传统数据去重备份系统在大数据应用场景下存在备份存储空间过大和数据吞吐量不足等缺点.为此,基于数据路由设计一种分布式备份数据去重系统.该系统以数据片为去重粒度,具有数据路由和数据预取2个功能.数据路由使用布隆过滤器对需要处理的数据片进行路由查询,数据预取则使用平均取样和基于Jaccard距离的近邻取样方案.通过数据路由分配数据片到相应处理节点进行处理,平均取样得到的数据片哈希码为数据路由提供路由信息,近邻取样得到的数据片哈希码用于系统首次数据去重.实验结果表明,该系统在保证数据去重率的同时,相对全节点查询和定点路由的数据片路由方式数据吞吐量提升明显.

关键词：数据去重、数据路由、数据预取、布隆过滤器、Jaccard距离

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：国家科技支撑计划项目“现代服务业跨界服务共性技术体系研发与示范应用”2013AA01A213

在线出版日期：2017-05-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：85-91