垂直搜索引擎爬虫系统的设计

摘要：

垂直搜索引擎爬虫系统的主要作用是根据用户的需求抽取目标字段值.针对垂直搜索引擎数据定向抽取的特点,爬虫系统首先将一张范例网页"清洗"成符合W3C标准的文档,然后利用可视化XPath生成器解析该页面,获取目标字段对应的XPath路径,利用XPath路径进行数据抽取,最终获得目标字段值.经检测,该系统具有较高的抽取效率,其稳定性和安全性都符合实际应用需求.

关键词：垂直搜索、可视化XPath生成器、数据抽取、目标字段

所属期刊栏目：7

分类号：TP393(计算技术、计算机技术)

资助基金：湖北省教育厅重点项目D200712001

在线出版日期：2011-03-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：66-68