10.3969/j.issn.1672-9722.2012.09.022
采用多种策略的分布式Web Spider
针对日益突出的网页访问问题,设计了一种新型分布式Web Spider.该分布式Web Spider采用中央控制节点来协调各个web spider的行为,利用宽度优先搜索来获得高质量的网页,通过对DNS缓存来提高访问web server的速度,以增加并行线程数量的方式来增加网页下载速度,并能动态地加入web spider节点和子中央控制节点,具有很强的灵活性和扩张能力.实验结果表明该分布式Web Spider作为搜索引擎的前端能够快速有效地下载网页,具有较好的性能.
中央控制节点、宽度优先搜索、线程、搜索引擎
40
TP393(计算技术、计算机技术)
2013-01-04(万方平台首次上网日期,不代表论文的发表时间)
共3页
63-65