基于Python爬虫的校园数据获取
随着移动时代的到来,只适配了电脑网页、性能羸弱的校园教务系统,已经不能满足学生们的移动查询需求.为此,设计了一种基于网络爬虫的高实用性查询系统.它首先通过Python爬虫以HTTP(hypertext transport protocol)分析与模拟方法获取校园教务系统的网页数据,然后对网页数据进行HTTP解析并定位以精确抽取目标校园数据,最后存入高速NoSQL数据库以供快速查询.通过课表获取实例,验证了该设计的可行性与有效性.
网络爬虫、HTTP分析、模拟登陆、网络反爬、Scrapy框架
15
TP393(计算技术、计算机技术)
广东第二师范学院软件工程重点学科建设项目9030-1700207;国家自然科学基金青年科学基金项目61802132;广东省自然科学基金项目2018A0303130169;广东省科技计划项目粤财农[2017]94号,2016A010106007;广东省应用型科技研发专项资金资助项目2016B090927010;2019年广东第二师范学院大学生创新创业训练计划项目201914278146
2019-07-17（万方平台首次上网日期，不代表论文的发表时间）
共3页
86-88
