一种基于MapReduce的并行FP-growth算法

摘要：

FP-growth算法是不产生候选集的关联规则挖掘算法,在许多领域中具有很高的实际应用价值.然而经典的FP-growth算法是内存驻留算法,只能处理小数据集,在面对海量数据集时显得无能为力.对经典FP-growth算法中FP-tree的结构和挖掘过程进行了改进,分析了FP-tree单路径和多路径的不同挖掘方法,提出了一个剪枝策略,在挖掘过程中减少了部分分支的迭代次数.然后利用云计算的MapReduce编程技术,对改进的FP-growth算法的各个步骤并行化.实验结果表明改进的算法在处理不同的数据集时有一定的优势,然后经过MapReduce模型并行化后,提高了对海量数据的处理能力和效率,并且具有较好的加速比和良好的扩展性.

关键词：Hadoop、Mapreduce、FP-growth、数据挖掘、云计算、关联规则

所属期刊栏目：25

分类号：TP181(自动化基础理论)

资助基金：重庆市自然科学基金CSTC,2007BB2445;重庆市教委科学技术研究项目KJ110522;重庆邮电大学科研基金A2009-26;The Natural Science Foundation Project of CQ CSTCCSTC,2007BB2445;The Science and Technology Research Project of Chongqing Municipal Education CommissionKJ110522;The Science Fund Project of Chongqing University of Posts and TelecommunicationsA2009-26

在线出版日期：2016-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：651-657,670