采用多种策略的分布式Web Spider

摘要：

针对日益突出的网页访问问题,设计了一种新型分布式Web Spider.该分布式Web Spider采用中央控制节点来协调各个web spider的行为,利用宽度优先搜索来获得高质量的网页,通过对DNS缓存来提高访问web server的速度,以增加并行线程数量的方式来增加网页下载速度,并能动态地加入web spider节点和子中央控制节点,具有很强的灵活性和扩张能力.实验结果表明该分布式Web Spider作为搜索引擎的前端能够快速有效地下载网页,具有较好的性能.

关键词：中央控制节点、宽度优先搜索、线程、搜索引擎

所属期刊栏目：40

分类号：TP393(计算技术、计算机技术)

在线出版日期：2013-01-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：63-65