基于Hadoop平台的文本相似度检测系统的研究

摘要：

在现有的文本相似度计算方法中,获取关键词权值的TFIDF算法没有完全考虑到关键词在文本中的位置和其在文本库中的离散度对权值的影响,且当处理的文本库中信息量过大时,运行效率较低。针对上述问题,文中提出一种基于语义的信息熵与信息增益的TFIDF算法( TFIDFWGE )。该算法通过对给定的关键词添加位置权重与计算熵值和信息增益,得到关键词的最终权值,并利用Hadoop平台的Map/Reduce框架来实现TFIDFWGE算法和向量空间模型( VSM)的文本相似度计算过程。通过对两组真实的数据集进行的实验结果表明,与现有的TFIDF算法相比,TFIDFWGE算法的查全率和查准率更高,且在Hadoop平台上实现的文本相似度检测系统对信息量大的文本库处理效率更加高效。

关键词：文本相似度、语义、Map/Reduce框架、TFIDF算法、TFIDFWGE算法

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目6100311;安徽省自然科学研究重点项目KJ2013Z023,KJ2013A058

在线出版日期：2015-09-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：90-93