Scrapy框架下分布式网络爬虫数据采集算法仿真

摘要：

为提高数据采集速度、避免重复采集,提出Scrapy框架下分布式网络爬虫数据采集算法.利用搜索引擎、调度器、下载器、数据解析等模块建立Scrapy框架,明确爬虫体系内包括分布式计算与储存两部分;为确保爬虫过程负载均衡,将爬虫速度作为评价指标,计算节点权重;使用蚁群优化算法,采用伪随机规则,获取智能体的网页转移概率,确定爬取路径,更新每条路径的信息素浓度,根据目标函数距离选取目标解;综合分析数据特征向量,计算链接的主题相似度,将相似度较高的链接放入待爬取集合中,得出数据间的重合度影响因子,避免重复采集,当信息素浓度降到最低时停止爬虫操作,完成采集工作.仿真结果证明,所提方法爬准率与爬全率较高,可提升数据采集速度.

关键词：分布式系统、网络爬虫、数据采集、节点权重

所属期刊栏目：40

分类号：TP301(计算技术、计算机技术)

资助基金：辽宁省教育厅高等学校基本科研项目LJKR0114

在线出版日期：2023-08-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：504-508