高效的两轮远程文件快速同步算法

摘要：

远程文件快速同步在文件备份与恢复、Web与ftp网站镜像、内容分发网络、Web访问中具有广泛的应用.提出了一种高效的基于内容变长分块和定长滑动块相结合的两轮快速文件同步算法--tpsync.同步算法分两轮进行,第一轮利用基于内容可变分块技术在粗粒度上定位待同步文件的局部变化数据段,第二轮对局部变化数据段采用定长滑动切块技术在细粒度上查找出差异数据,最终通过两轮数据交互实现文件的同步.将tpsync与传统的单轮同步算法rsync进行了对比实验,通过对文本、二进制和数据库三种文件类型相似版本之间的同步实验,结果表明tpsync在平均同步时间和网络传输数据量两个方面均优于rsync.

关键词：重复数据检测、文件同步、rsync算法

所属期刊栏目：5

分类号：TP393(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No. 60833004, 60673145;the National High-Tech Research and Development Plan of China under Grant No. 2009AA1Z104国家高技术研究发展计划863

在线出版日期：2011-04-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：38-49