节点对等Web Spider设计与实现

摘要：

由于互联网具有海量信息并且快速增长,提高搜索引擎的信息采集器Web Spider的数据采集和更新速度有重要意义.受计算资源限制,单机多线程Web Spider的采集速率不高.带中心节点的分布式并行Web Spider又容易产生中心节点瓶颈问题.利用ProActive网格网络并行分布计算中间件提供的主动对象技术、网络并行计算技术、自动部署机制等设计和实现了一个名为P-Spider2.0的节点对等的分布式并行Web Spider,并设计了一个基于Raibin算法的URL去重算法.实验表明该Web Spider方便管理和部署,并且比单机多线程Web Spider具有更高的采集速率.

关键词：网络爬虫、ProActive、并行、分布式、节点对等

所属期刊栏目：20

分类号：TP393(计算技术、计算机技术)

资助基金：辽宁省自然科学基金20052211

在线出版日期：2010-05-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：195-198,202