10.3969/j.issn.1006-2475.2017.07.007
基于Simhash的大数据去重改进算法
数据去重是大数据预处理过程中最主要的一个步骤.为了提升大数据去重的效率,以及优化其在较差情况下的表现,本文以中文微博的原始数据为基础,在传统的Simhash方法的基础上,改进计算相似度的公式,将文本重复率纳入考虑,并在检索步骤中采用桶排序的思想,进行多次多级的线程分配以提高效率.实验结果表明,改进后的算法可以显著提升传统算法的效率和准确率.
微博、大数据、去重、Simhash、多线程
TP311(计算技术、计算机技术)
2017-09-11(万方平台首次上网日期,不代表论文的发表时间)
共4页
38-41