Spark平台下关联规则算法的优化实现

摘要：

利用Spark平台的高速计算能力,将传统的关联规则算法移植到Spark平台上,虽然一定程度上提高了该算法的运行效率,但该算法本身存在的系统I/O负载量大、存储开销大等问题依然存在.为此,提出一种基于矩阵的并行化优化算法Apriori_ MC_SP.引入矩阵概念减少事务数据库的扫描次数,充分利用Spark内存计算的弹性分布式内存数据集对象,存储事务布尔矩阵以及频繁项集.相较于传统的Apriori算法,该算法减少了事务数据库的访问次数,简化了Apriori算法的“自连接”以及“剪枝”过程.实验结果表明,提出方案在保证输出结果不变的情况下,加快了关联挖掘的执行效率.

关键词：Spark平台、Apriori算法、并行化、布尔矩阵、弹性分布式内存数据集

所属期刊栏目：39

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家科技支撑计划课题基金项目2014BAH11F01;国家自然科学基金项目61373163;可视化计算与虚拟现实四川省重点实验室课题基金项目PJ2012002

在线出版日期：2019-03-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：3692-3699