基于MapReduce的高维数据频繁项集挖掘

摘要：

传统的数据挖掘算法在面向大规模高维数据的挖掘过程中,存在数据特征捕捉准确率低、节点负载不均衡、数据交互频繁、频繁项集紧凑化程度低等问题.提出基于MapReduce的并行挖掘算法PARDG-MR,结合高维数据特征,设计基于维度粒化算法和负载均衡算法的DGPL策略,并对数据进行预处理,以解决高维复杂数据特征属性捕捉困难及数据划分中节点负载不均衡的问题.通过构建基于PJPFP-Tree树的频繁项集并行挖掘策略PARM,实现频繁项集的并行化分组过程,从而提高数据处理的运行效率.在此基础上,提出基于剪枝前缀推论的整合节点剪枝算法PJPFP,提高频繁项集挖掘过程中的剪枝效率,增强频繁项集的紧凑化程度.在Webdocs、NDC、Gisette 3个数据集上的实验结果表明,相比PFP-growth、PWARM、MRPrePost算法,该算法的运行时间平均缩短了约20％,能够有效提高数据挖掘效率且降低内存空间.

关键词：高维数据;频繁项集;维度粒化;并行化;候选剪枝策略

所属期刊栏目：48

分类号：TP311(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金;江西省教育厅科技项目;江西省教育厅科技项目

在线出版日期：2022-03-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：81-89