基于Larbin的网络爬虫体系结构的研究与改进

摘要：

Larbin是一种开源的网络爬虫/网络蜘蛛,抓取效率极高.它的url去重方法的设计,效率极高,占用的内存非常小,理论上下载6400万网页,使用的内存只有8M,然而它的冲突将会对它的性能大打折扣,实际上当达到10％的url时就已经有很大的冲突概率,导致内存利用率的降低以及很多网页不能被抓取.通过研究布隆过滤器,将url的hash算法进行改进,把原本一对一的映射变成多对一的映射,减小了冲突概率,同时也将大大地提高Larbin在url内存方面的利用率.经过实验检验,使用布隆过滤器,同样8M内存,当达到10％的url占有率时,采用7个映射,可以使得冲突概率最小,达到0.82％,而没采用Bloom filter的冲突概率则达到了10％.

关键词：Larbin、爬虫、哈希算法、url去重、布隆过滤器

所属期刊栏目：22

分类号：TP309(计算技术、计算机技术)

资助基金：国家863高技术发展计划项目2010AA122200;上海市科委国际合作项目10510712500

在线出版日期：2012-10-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：147-150,170