针对舆情数据的去重算法

摘要：

针对在数据服务中舆情去重不可避免且缺乏理论指导的问题, 通过研究SimHash、MinHash、Jaccard、Cosine Similarty经典去重算法, 以及常见的分词和特征选择算法, 以寻求表现优异的算法搭配, 并对传统Jaccard和SimHash进行了改进分别产生新算法: 基于短文章的Jaccard和基于Cosine Distance的SimHash. 针对比较对象众多实验效率低下的问题, 提出了先纵向比较筛选出优势算法, 然后横向比较获得最佳搭配, 最后综合比较的策略, 并结合3000舆情样本实验证明: 改进的SimHash比传统的SimHash具有更高的精度和召回率; 改进的Jaccard较传统Jaccard, 召回率提高了17%, 效率提高了50%;MinHash+结巴全模式分词和Jaccard+IKAnalyzer智能分词在保持精度高于96%的条件下, 都具有75%以上的高召回率, 且稳定性很好. 其中MinHash去重效果略低于Jaccard, 但特征比较时间较短, 综合表现最好.

关键词：舆情数据、去重算法、相似度计算、大数据服务

所属期刊栏目：26

分类号：TP3;H1

在线出版日期：2017-06-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：16-22