海量数据的MapReduce相似度检测

摘要：

针对当前海量数据的相似重复问题,提出了MapReduce下通过SimHash算法检测相似文档的方法:即首先将存储在分布式文件系统的海量文档集进行分类,然后进行特征提取,由SimHash算法生成SimHash指纹和生成Sequence File;最后,计算相似度产生检测结果;通过实验测试可知,提出的检测方法和设计的相似度算法能很好适应海量数据相似检测,并能有效地提高工作效率.

关键词：相似度、MapReduce、海量数据、算法、去重

所属期刊栏目：33

分类号：TP316.4(计算技术、计算机技术)

资助基金：河南省科技攻关计划项目132102210123;河南省高等学校矿山信息化重点学科开放实验室项目;河南理工大学博士基金B2009-21

在线出版日期：2014-11-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：132-136