结合有监督广度优先搜索策略的通用垂直爬虫方法

摘要：

垂直爬虫程序无法直接移植到其他网站并且程序设计需要大量人工干预.为此,提出一种高可移植性的通用型垂直爬虫设计方法.自动识别目标主题和目录页面URL,并利用URL聚类生成URL正则表达式过滤器,以解决垂直爬虫中需人工维护初始URL队列的问题.然后,利用正则表达式过滤器和解析路径模板以及有监督的广度优先与网页赋权搜索策略,实现相关页面的精确定位和数据的快速准确提取.实验结果表明,该方法能够对不同网站实现高效、快速、通用的数据爬取.

关键词：垂直爬虫、URL聚类、赋权网页、路径模板解析、有监督广度优先搜索策略

所属期刊栏目：44

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金61300018

在线出版日期：2019-01-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：289-299