基于ProActive的P-Spider1.0改进

摘要：

针对带中心节点结构的分布式并行Web Spider的中心节点负担过重、通信负载不均衡、可扩展性差的问题,提出基于Rabin指纹算法的URL去重改进算法和节点对等结构的改进方案,利用ProActive中间件设计开发改进的分布式并行Web Spider.对比实验表明,改进后的Web Spider采集效率更高,通信负载均衡,无节点瓶颈问题,具有良好的可扩展性.

关键词：网络蜘蛛、ProActive中间件、节点对等、分布式、中心节点

所属期刊栏目：36

分类号：TP393(计算技术、计算机技术)

资助基金：广西教育厅科研基金资助项目桂教科研[2006]26号;广西大学博士启动基金

在线出版日期：2010-10-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：288-290