基于网络爬虫的新浪微博数据分析网站的建立

摘要：

新浪微博作为国内最大的社交网站,蕴含着丰富的信息.本文实现了一个微博数据分析网站,该网站的后端利用爬虫实时抓取数据并存储到redis数据库中,前端利用ajax轮询技术和数据可视化技术将统计分析后的数据展示到网页.相对于直接调用新浪微博的API,网络爬虫获取数据的方式有更大的灵活性,可以获取到的数据也相对较多,但是也存在一些限制,其中最大的阻碍就是新浪微博的反爬虫技术,本文也将对如何突破反爬虫限制进行探讨.

关键词：新浪、爬虫、数据分析

分类号：TP391.3(计算技术、计算机技术)

资助基金：江苏省高等学校大学生创新创业训练计划项目

在线出版日期：2018-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共2页

页码：73-74