网站反爬虫策略的分析与研究

摘要：

随着大数据时代的来临,大数据在日常生活中的应用显得尤为重要.如何便捷、快速地获取数据将成为提高竞争力的重要手段,而通过网络爬虫这一新兴技术能够非常高效的获取网络中的数据.但是如果不对爬虫进行控制,爬虫也会对网站造成巨大危害.为了减少网络爬虫对于网站的危害,详细阐述了网络爬虫的工作原理、种类以及URL的搜索策略,针对某些网站的"反爬"措施,提出相应的提出几种反爬策略.从而减轻了网站服务器压力,保护了数据,防止数据的大量流失.

关键词：大数据、网络爬虫、爬虫、反爬措施、反爬策略

所属期刊栏目：15

分类号：TP393(计算技术、计算机技术)

在线出版日期：2019-11-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：28-30