基于MapReduce的Apriori算法并行化改进

摘要：

基于MapReduce的并行Apriori算法解决了传统Apriori算法多次扫描数据库的问题,但是其候选集仍然由频繁项集经过串行自连接产生,并产生了大量的候选集中间数据.为了提高Apriori算法挖掘频繁项集的效率,在基于MapReduce的Apriori算法的基础上对连接步进行并行化改进,提出大数据环境下挖掘频繁项目集的新算法-CApriori算法.新算法通过Map、Reduce过程从频繁 k- 项集中并行得到 k+1 项候选集,使得Apriori算法产生频繁项集的整个过程并行化,减少了迭代过程中候选集数目,节约了存储空间和时间开销.通过对时间复杂度进行分析比较,改进算法在处理大规模数据时会大大减少连接步的时间消耗.将CApriori算法在Hadoop平台上进行了实验,结果表明改进算法在大数据和较小支持度环境下都具有更高的效率,且能取得优异的加速功能.

关键词：关联规则、数据挖掘、MapReduce、Apriori

所属期刊栏目：27

分类号：TP301.6(计算技术、计算机技术)

资助基金：江苏省自然科学基金项目BK20130882

在线出版日期：2017-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：64-68