基于Low-IDF-SIG的句子重复检测

摘要：

随着互联网上数据的爆炸式增长,互联网上产生了大量的重复数据.这些重复数据给搜索引擎、观点挖掘等许多web应用带来了严峻的问题.目前绝大部分的重复检测的算法均着重考虑文档级别,不能有效地检测出两个文档中只有一部分互为拷贝的情况.而句子级别的重复检测正是解决这类问题的一个必要步骤.该文提出了一种快速有效的句子级别的特征抽取方法——Low-IDF-Sig算法,算法依据选定的先行词从句子中抽取出改进的shingle特征以表示句子内容.真实语料库上的实验结果证明该文提出的算法能有效地提高句子级别重复检测任务的效率和精度.

关键词：近似重复检测、特征抽取、Low-IDF-SIG

所属期刊栏目：25

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61073069,61003092;国家高技术研究发展计划863计划资助项目2009AA01A346

在线出版日期：2011-06-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：123-128