10.3969/j.issn.1672-9722.2022.08.012
基于双缓冲的分布式爬虫调度策略的设计与研究
互联网的高速发展使得大数据的应用越来越广泛,使得分布式爬虫处于愈来愈重要的地位.目前主流开源爬虫框架在网络通信开销上优化甚少,缺乏一个有效的方案来减少网络开销问题.论文利用对等式架构的爬行器既是任务的消费者又是任务的生产者,提出了任务尽量在本地执行的优化方向.基于双缓冲技术实现的大粒度任务动态负载均衡策略,能有效地降低通信频次,基于高速缓存原理的URL判重方案,以"空间换时间"的方式,有效地提升爬虫URL判重性能.实验结果表明,该策略具有良好的扩展性、鲁棒性,能使分布式系统的性能优势得到更为充分的发挥.
分布式爬虫、动态负载均衡、Scrapy-Redis、双缓冲机制
50
TP301.6(计算技术、计算机技术)
运城学院应用研究项目XK-2018039/CY-2019038
2022-09-28(万方平台首次上网日期,不代表论文的发表时间)
共5页
1686-1690