学堂在线MOOC课程的数据爬取与统计分析

摘要：

网上学习逐渐成为新的学习潮流,但各种各样的课程纷繁复杂.因此针对MOOC学堂在线网站,爬取相关数据进行研究分析,得出可以供更多学习者参考的学习建议.本次设计采用自行设计的爬虫结构,爬取采用了request,chromedriver+selenium 3.0库两种形式分别对静态网页以及动态网页进行爬取.标签数据分析库对爬取下来的数据进行分析,提取出想要的数据并对异常数据进行清洗.利用pandas,numpy对数据进行处理,处理完的数据采用matplotlib进行绘图.最后采用MySQL8.0对数据进行存储及处理,通过对数据的处理及作图比较,发现在学堂在线网站上的课程类型、学生数等特征之间存在一些联系.

关键词：数据爬取、数据分析、学堂在线

分类号：TP393.092(计算技术、计算机技术)

资助基金：云环境下基于可逆水印的统计数据安全研究,项目2018LY12;学堂在线MOOC课程的数据爬取与研究,项目类别:2018大学生创新创业计划

在线出版日期：2019-12-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：33-35