微博数据通用抓取算法

摘要：

目前常用的网络爬虫和基于微博 API 抓取数据的算法很难满足舆情系统对微博数据的需求。为此，提出一种模拟浏览器登录微博抓取网页数据的算法，以方便地获取任意微博用户网页上的所有数据。通过微博用户之间的关系构建用户网络，并通过该网络发现新用户。为获取微博上有质量的数据，建立一个完整的数学模型，根据用户的发帖数、发帖频率、粉丝数、转发数、评论数等因素来计算用户影响力，以影响力为主要因子构建优先队列，使得影响力越大的用户数据采集频率越高，同时计算时间间隔以兼顾非活跃用户的数据获取。实验结果表明，该算法具有通用性强、完全无需人工干预、获取信息的质量高、速度快等优点。

关键词：微博数据、模拟登录、用户网络、用户影响力、网络舆情、优先队列

分类号：TP311.13(计算技术、计算机技术)

资助基金：湖南省自然科学基金资助项目12JJ3066；湖南省高校科技成果产业化培育基金资助项目11CY018；湖南省重点学科基金资助项目。

在线出版日期：2014-06-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：12-16,20