基于度排序的P2P IPTV分布式爬虫系统设计与实现

摘要：

为了开发一款面向P2P网络电视主动测量研究的高性能爬虫系统,提出了一种基于节点度排序的节点信息爬行算法.该算法首先使用类似广度优先遍历的策略对网络电视覆盖网进行节点信息的初始爬行,然后对爬行结果获得的节点列表进行基于节点度大小的排序,最后将排序后的结果作为输入提供给分布式爬虫以实施节点信息的实时采集.实验结果表明,基于度排序的分布式爬虫系统相比现有的其他爬虫具有更快的爬行速度,该爬虫可以在30 s左右完成对一个拥有7 200左右用户规模的流行节目的爬行,为采集准确的PPTV节点信息快照并实施主动测量研究提供了解决方案.

关键词：P2P技术、度排序、分布式架构、爬虫系统、PPTV网络电视

所属期刊栏目：46

分类号：TP393.02(计算技术、计算机技术)

资助基金：国家科技支撑计划资助项目2012BAH18B05;国家自然科学基金项目61272447

在线出版日期：2017-01-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：109-115