Hadoop平台下的并行Web日志挖掘算法

摘要：

当面对海量数据时，基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈。针对该问题，提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法，利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件。实验结果表明，该算法的加速比能随着数据集的增大而提高，其执行效率优于串行FP-growth算法。

关键词：Hadoop框架、Web挖掘、Web日志、MapReduce编程模式、Hadoop分布式文件系统、并行FP-growth算法

分类号：TP18(自动化基础理论)

在线出版日期：2013-10-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：43-46