社区网络爬虫的设计与实现

摘要：

社区互联网是以用户创造内容为主的新型互联网,具有很高的统计价值,由于权限和数据更新频繁等限制,传统的网络爬虫很难获取这一部分数据,设计并实现了一种可以自动登录并可以根据更新频率快慢智能抓取数据的爬虫,不同于以往爬虫以页面为粒度,该爬虫以人为最小粒度,并以人与人之间的关系为抓取依据,在获取这类数据上有很好的性能.

关键词：社区互联网、智能爬虫、数据挖掘

所属期刊栏目：2

分类号：TP31(计算技术、计算机技术)

在线出版日期：2012-11-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：65-67