基于Scrapy框架的爬虫和反爬虫研究

摘要：

伴随着互联网的快速发展, 获取信息已经成为人们日常生活中必不可少的一部分.在众多信息来源中, 通过浏览器进入网站获取信息是绝大多数人的选择, 但如果按照这种方式正常地进行信息获取, 获取信息速度较慢, 量较小, 由此便产生了网络爬虫.网络爬虫又称为网络蜘蛛或网络机器人, 可以按照使用人定制的规则, 短时间内在万维网上搜集大量特定信息.网络爬虫在爬取信息的同时, 也带了一些问题, 如大量信息被非正常获取, 是一种损失, 同时, 大量爬虫对网站维护也是一个巨大的负担.如何在维护网民正常访问的前提下, 有效阻止这些爬虫就显得十分重要.因此, 文中主要研究Python语言开发的开源爬虫框架Scrapy所开发的爬虫, 对目前网站常用的一些反爬虫手段进行分析, 基于Scrapy框架以及具体网站, 举例说明爬虫如何应对网站这些反爬措施.

关键词：网站、网络爬虫、反爬虫、Python、Scrapy框架

所属期刊栏目：29

分类号：TP309(计算技术、计算机技术)

资助基金：江苏省自然科学基金-青年基金项目BK20140868

在线出版日期：2019-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：139-142