基于Hadoop的Apriori改进算法研究

摘要：

对于规模庞大的事务数据库,传统的并行Apriori算法在挖掘中会在数据IO上有较大的时间开销.从压缩事务、减少扫描次数、简化候选集生成3 个方面对Apriori 算法进行改进.提出了以元素"0"和"1"表示事务的布尔矩阵模型,并引入权值维度,压缩了相同事务的矩阵规模.同时,动态地进行剪枝,矩阵的"与"运算用于候选集合的生成.将改进后的算法在Hadoop 框架上进行并行化实现,实验表明该算法适合大规模数据挖掘且具有良好的伸缩性与有效性.

关键词：Apriori算法、事务数据库、布尔矩阵、Hadoop

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61163066

在线出版日期：2017-08-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：262-266,269