基于新浪微博的公交系统数据采集及分析

摘要：

为充分利用大数据时代的海量数据，提出一种基于新浪微博的公交系统数据采集及分析方法。通过Web Crawler从新浪微博抓取所需时空范围内的公交微博，分析公交微博发布的时间与空间分布规律；随后采用KMP算法统计并剔除冗余转发及回复微博，提取并分析公交相关的热点话题；基于中科院ICTCLAS算法进行中文分词处理，删除停用词后统计词频，生成关键词的词云。最后通过南京市范围内的8913条公交微博进行实例验证与分析，结果表明，该方法可以从海量的微博数据中提取公交相关数据并进行分析，分析数据量大且有时效性，分析结果可为公交系统管理的优化与改善、公交政策的制定提供数据支撑。

关键词：微博、公交系统、数据抓取、中文分词、大数据

分类号：TN911-34;U491.14

在线出版日期：2015-05-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：159-162