基于Heritrix的面向特定主题的聚焦爬虫研究

摘要：

通过分析Heritirx开源爬虫的组件结构,针对Heritrix开源爬虫项目存在的问题,项目设计了特定的抓取逻辑和定向抓取包含某一特定内容的网页的类,并引入BKDRHash算法进行URL散列,实现了面向特定主题的网页信息搜索,达到了提高搜索数据的效率以及多线程抓取网页的目的.最后对某一特定主题的网页进行分析,并进行网页内容抓取,采用HTMLParser工具将抓取的网页数据源转换成特定的格式,可为面向主题的搜索信息系统以及数据挖掘提供数据源,为下一步研究工作做好准备.

关键词：聚焦爬虫、Heritrix、BKDRHash算法、HTMLParser、搜索引擎

所属期刊栏目：22

分类号：TP31(计算技术、计算机技术)

在线出版日期：2012-05-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：65-68