基于改进Kademlia协议的分布式爬虫

摘要：

随着互联网信息的爆炸式增长,搜索引擎和大数据等学科迫切需要一种高效、稳定、可扩展性强的爬虫架构来完成数据的采集和分析.本文借助于对等网络的思路,使用分布式哈希表作为节点间的数据交互的载体,同时针对网络爬虫自身的特点,对分布式哈希表的一种实现——Kademlia协议进行改进以满足分布式爬虫的需求.在此基础上设计并完善了具有可扩展性和容错性的分布式爬虫集群.在实际试验中,进行了单机多线程实验和分布式集群的实验,从系统性能角度和系统负载角度进行分析,实验结果表明了这种分布式集群方法的有效性.

关键词：分布式哈希表、P2P、网络爬虫、Kademlia协议、去中心化

所属期刊栏目：25

分类号：TP3;G25

资助基金：沈阳市科技计划F14-056-7-00

在线出版日期：2016-05-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：156-161