大数据下基于多CPU的两级指纹流水计算去重方法

摘要：

分析数据去重的重要意义, 根据现有的数据去重技术和算法, 改进 MD5 码指纹的计算算法并进行优化,分析并重组指纹计算的流水化方法, 利用缓存组代替单个缓存的方式, 提出一种基于多 CPU 的两级指纹流水计算方法, 对该方法进行分析研究, 并通过相关试验和试验数据来支持该方法的有效性.

关键词：数据去重、多CPU、两级指纹、算法、缓存组

所属期刊栏目：24

分类号：TP3;TU3

资助基金：国家档案局项目2014-X-65;四川省教育厅一般项目14ZB0313

在线出版日期：2015-10-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：206-211