基于微博API的分布式抓取技术

摘要：

随着微博用户的迅猛增长,越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式.针对如何对微博数据进行有效合理的采集,提出了基于微博API的分布式抓取技术,通过模拟微博登录自动授权,合理控制API的调用频次,结合任务分配控制器高效地获取微博数据.该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制,避免了数据的重复爬取和重复存储,提高了系统的性能.本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点.新浪微博数据爬取实例验证了该技术的可行性.

关键词：新浪微博、爬取策略、分布式爬取、微博API

所属期刊栏目：29

分类号：TP2;X50

在线出版日期：2013-10-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：146-150,155