基于双缓冲的分布式爬虫调度策略的设计与研究

摘要：

互联网的高速发展使得大数据的应用越来越广泛,使得分布式爬虫处于愈来愈重要的地位.目前主流开源爬虫框架在网络通信开销上优化甚少,缺乏一个有效的方案来减少网络开销问题.论文利用对等式架构的爬行器既是任务的消费者又是任务的生产者,提出了任务尽量在本地执行的优化方向.基于双缓冲技术实现的大粒度任务动态负载均衡策略,能有效地降低通信频次,基于高速缓存原理的URL判重方案,以"空间换时间"的方式,有效地提升爬虫URL判重性能.实验结果表明,该策略具有良好的扩展性、鲁棒性,能使分布式系统的性能优势得到更为充分的发挥.

关键词：分布式爬虫、动态负载均衡、Scrapy-Redis、双缓冲机制

所属期刊栏目：50

分类号：TP301.6(计算技术、计算机技术)

资助基金：运城学院应用研究项目XK-2018039/CY-2019038

在线出版日期：2022-09-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1686-1690