基于MapReduce的垂直FP-growth挖掘算法研究

摘要：

在大数据背景下,为了提高算法的并行度,论文提出了一种基于MapReduce的垂直FP-growth挖掘算法,将MapReduce模式和传统的挖掘算法相结合.首先由Map函数对事物数据库项进行解析,Reduce函数对频繁项的支持度进行计算并对全局频繁树进行合并,从而使垂直FP-growth算法的迭代过程并行化;然后,通过全局频繁项的计算得到准确的频繁项集和关联规则.最后,通过实验验证论文所提算法不仅能够保持原FP-growth算法的准确度,而且在大数据处理中具有较高的集群性能和执行效率.

关键词：数据挖掘、垂直FP-growth算法、MapReduce、并行计算

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：辽宁省博士科研启动基金201601099;辽宁省社科规划项目L14DGL049

在线出版日期：2018-08-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1284-1287,1296