基于维基百科和网页相似度分析的主题爬行策略

摘要：

针对当前常用爬虫爬行策略的不足，提出结合维基百科和网页相似度分析的主题爬行策略。利用维基百科分类树的结构对主题进行描述；下载网页后对网页进行相应处理，结合文本相关性和Web链接分析来计算候选链接的优先级。实验表明，该爬虫搜索结果与主题相关度明显高于传统爬虫，爬虫爬全率有一定提高。该主题爬虫主题描述方法和爬行策略有一定的推广价值，尤其在转基因生物领域中，该爬虫中有一定的创新性。

关键词：维基百科、文本相关性、链接分析、相似度计算

分类号：TN911-34;TP391.4

在线出版日期：2014-10-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：35-37