基于MapReduce的并行PageRank算法实现

摘要：

分布式网络爬虫的广泛应用使得搜索引擎的数据规模呈几何式增长，面对数以 TB 甚至 PB 量级的数据，单机模式下的PageRank 算法由于 CPU、I/O 和内存的开销过大导致效率低下。为此，提出一种基于 MapReduce 框架的并行 PageRank 算法。在算法的一次迭代过程中，利用 Map 函数对网页拓扑信息文件进行解析，使用 Reduce 函数计算网页得分，从而并行化 PageRank 算法的中间迭代过程。通过计算全局网页得分控制迭代次数，得到较精确的网页排序结果。实验结果表明，该算法在保持原有单机PageRank 算法整体网页排序精度的基础上，具有较好的集群性能和较快的执行速度。

关键词：搜索引擎、PageRank 算法、MapReduce 框架、并行计算、Hadoop 平台

分类号：TP391.3(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61103069,71170148；国家科技支撑计划基金资助项目2012BAD35B01；上海市科技创新计划基金资助项目11DZ1501703；陈家镇智慧社区和智能交通基金资助项目11dz1210600

在线出版日期：2014-05-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：31-34,38