多策略的主题集中式万维网爬虫设计

摘要：

万物网搜索引擎的建立、操作和维护需要许多的资源,而且在信息时效性和对特定用户的针对性方面还存在着不稳定性.在"主题集中式万维网爬虫"方面的研究希望通过利用主题减少对信息的爬行范围,同时提高信息的利用率.相关的一些研究者已采用不同的方法进行了主题集中式爬虫的设计.本文讨论了多策略的主题集中式爬虫系统的设计,它具有低网宽消耗和容易执行的特点.实验表明:本系统可综合网页的相关性和重要性两方面的需要,并表现出良好的稳定性.同时,本系统在选择优先战略方面是可调和,有很强的灵活性.

关键词：万维网、主题集中、爬虫、多策略、相关性、重要性

所属期刊栏目：31

分类号：TP3;TP1

在线出版日期：2004-08-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：84-86,208