一种基于邻居规则分类算法的聚焦爬虫

摘要：

判定链接锚文本与主题的相关度、评估链接的优先级并过滤不相关的链接是实现聚焦爬行的关键.通过判定链接所在页面是否主题相关、是否是导航页面划分链接的类别,结合链接锚文本与主题的相似度,提出了一种基于邻居规则分类算法评估链接优先级的聚焦爬虫.该爬虫包括一个主题相关网页判别器、一个导航网页判别器和一个基于邻居规则分类算法的链接优先级评估器.实验结果表明,基于邻居规则分类算法的聚焦爬虫比仅仅根据锚文本判定链接优先级的标准聚焦爬虫具有更好的性能,因此更加适合用于信息检索.

关键词：信息检索、聚焦爬虫、邻居规则、分类算法、链接优先级

所属期刊栏目：13

分类号：TP391(计算技术、计算机技术)

资助基金：四川省教育厅重点项目:大数据视角下西部地区贫困评价指标体系构建及贫困精准识别研究17ZA0029

在线出版日期：2017-07-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：151-153,162