基于Python的反反爬虫技术分析与应用

摘要：

爬虫软件是现今互联网环境下,高效准确地获取数据的重要方式之一.针对传统的初级爬虫技术易于被目标网站拦截访问的问题,简述爬虫的工作原理和方式,讨论爬虫、反爬虫与反反爬虫之间的相互关系.分析应对目标网站的反反爬虫机制,包括伪装用户代理,设置IP地址代理、使用自动化测试工具调用浏览器等技术要点,并分析了基于Python语言中Requests库,构建了对网页的多种请求方式和数据获取方法的解决方案.结合反反爬虫机制与数据分析技术,以哔哩哔哩视频网为案例,分析其网页基本结构与调用的应用程序接口,使用Python与Requests库抓取网站所有视频的相关数据.数据清洗后分析播放量最高视频的相关信息,并将结论以数据可视化的方式呈现,实现对数据的获取、挖掘与分析.

关键词：网络爬虫、反爬虫、反反爬虫、大数据、数据分析

所属期刊栏目：8

分类号：TP319(计算技术、计算机技术)

资助基金：国家自然科学基金61402227

在线出版日期：2018-09-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：112-115