python网络爬虫爬取策略对比分析

摘要：

随着网络技术的迅猛发展,网络已经成为信息的载体,网络随处可见,打开网络,大量的信息充斥而来.如何有效提取并利用网络中有价值的信息将会成为未来一个很大的挑战.网络爬虫是一个可以自动提取网页的程序,从万维网上下载网页,提取信息.通常爬取的页面比较多,如何快速有效地爬取页面是关键,该文通过当当网新书畅销排行榜实例来分析对比现有的四种方式,得出结果异步爬虫和scrapy框架爬虫速度最快.

关键词：网络爬虫、异步爬虫、scrapy框架爬虫

所属期刊栏目：16

分类号：TP393(计算技术、计算机技术)

在线出版日期：2020-03-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：29-30,34