基于概念背景图的主题爬虫设计与实现

摘要：

为充分利用爬行主题与待访问页面之间的语义关系,提高主题爬虫的整体性能,在研究概念背景图(CCG)主题爬行算法的基础上,提出改进的CCG主题爬行算法.利用HITS算法选取高质量的主题背景知识,根据形式概念分析理论构建概念格模型,将概念格生成CCG用以存储用户查询意向;利用CCG综合父网页、锚文本、链接上下文以及URL自身预测链接主题相关度,过滤不相关页面.实验结果表明,改进的爬行算法有效提高了网页抓取的精度和召回率,具有较强的可行性.

关键词：主题爬虫、形式概念分析、概念格、概念背景图、链接预测

所属期刊栏目：37

分类号：TP393(计算技术、计算机技术)

资助基金：中央高校基本科研业务费专项基金项目2232013D3

在线出版日期：2016-12-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2679-2684