基于重复检测的多摘要消重方法

摘要：

针对目前Web信息挖掘中存在大量页面重复的问题,从Web信息的组织角度对其中的一些关键问题进行深入分析,摘要消重方法(multi abstract remove repeat,MARR).MARR方法对传统关键词的部分相似页面消重算法--Web多提出了基于摘要块号,采用文本摘要算法,按关键词所对应的基于词表和倒排文件的Web信息数据库进行改装,增加一个字段用于记录倒排文件方式索引,根据内容基于查询词目的相似程度,在检索过程中过滤或标识与查询词目相关的部分内部重复现象,以获得更合理的检索结果组织形式.MARR方法还将传统按PageRank值顺序排列改成树型组织方式,以方便用户信息发现的需要.该方法在基于三明钢铁集团MES智能信息代理的原型化Web检索系统中得到应用.

关键词：信息检索、消重方法、文本摘要、倒排文件、树型组织

所属期刊栏目：27

分类号：TP393.09(计算技术、计算机技术)

在线出版日期：2007-01-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：4521-4524,4555