基于python的Web大数据采集和数据分析

摘要：

该设计使用python语言作为开发语言,主要采用了两个框架:Scrapy和Django,用Scrapy来实现数据的采集技术,让数据采集效率更高,错误率低等;用Django来实现web网页展示数据可视化功能,使用户能更加清晰、透明的了解到通过数据分析生活未来发展的趋势,以及解决社会存在的某些问题等等.

关键词：Python、大数据、Scrapy、Django

所属期刊栏目：14

分类号：TP311(计算技术、计算机技术)

资助基金：常熟理工学院2017届本科毕业设计论文重点资助课题LG1720;常熟理工学院2018年度高等教育研究立项项目GJ1808

在线出版日期：2018-09-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：9-11