Deep Web爬虫爬行策略研究

摘要：

如今Web上越来越多的信息可以通过查询接口来获得,为了获取某Deep Web站点的页面用户不得不键入一系列的关键词集.由于没有直接指向Deep Web页面的静态链接,当前大多搜索引擎不能发现和索引这些页面.然而,近来研究表明Deep Web站点提供的高质量的信息对许多用户来说是非常有价值.这里研究了怎样建立起一个有效的Deep Web爬虫,它可以自动发现和下载Deep Web页面.由于Deep Web惟一"入口点"是查询接口,Deep Web爬虫设计面对的主要挑战是怎样对查询接口自动产生有意义的查询.这里提出一种针对查询接口查询自动产生问题的理论框架.通过在实际Deep Web站点上的实验证明了此方法是非常有效的.

关键词：Deep Web、Deep Web爬虫、查询选择、查询效能、适应性爬行算法

所属期刊栏目：27

分类号：TP393(计算技术、计算机技术)

资助基金：高等学校博士学科点专项科研项目20040285016;江苏省高技术研究发展计划项目BG2005019

在线出版日期：2006-10-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：3154-3158