基于DRPKP算法的文本去重研究与应用

摘要：

SimHash算法是目前主流的文本去重算法,但它对于特定行业的文本数据在主题方面的天然相似性特点并没有特殊的考虑.基于多年在金融证券行业信息管理和数据整合的经验,本文分析目前文本去重方法存在的问题,特别针对SimHash算法在特定行业文本去重中的不足,创新地提出一种基于段落主题的文本去重方法(简称DRPKP算法),通过对去重准确率、覆盖率和去重时间3个指标进行对比测试,DRPKP算法比SimHash算法准确率可提高24.5％、覆盖率可提高16.34％,且去重时间更短.

关键词：文本去重、段落主题、SimHash、相似度、MapReduce

所属期刊栏目：30

分类号：TP311(计算技术、计算机技术)

资助基金：国家科技支撑计划课题“证券与金融产品交易综合服务示范”资助2012BAH13F03

在线出版日期：2014-04-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：58-60