基于Spark的层次化项集挖掘算法

摘要：

现有并行FP-Growth算法在挖掘项之间具有层次关系的事务数据时存在冗余项集大、效率低的缺点.针对上述问题,提出一种基于Spark的改进FP-Growth并行算法,建立词典树与FP-tree结合的双层层次化结构(词典频繁模式树,LFP-tree).在具有主次层次关系的事务数据库中挖掘对象与属性的关联规则,减少多余搜索时间,利用Spark框架在内存计算和迭代计算上的优势完成剪枝、候选项集生成等工作.实验结果表明,该算法显著减少冗余项集的产生,在效率上优于FP-growth算法.

关键词：项集挖掘、层次化结构、频繁模式增长、Spark框架、词典频繁模式树

所属期刊栏目：40

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金项目61300029、61672168、61672172;广东省产学研协同创新重大专项基金项目201604010096

在线出版日期：2019-06-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：989-993