10.11772/j.issn.1001-9081.2014.08.2175
并行挖掘频繁项目集新算法——MREclat
针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat.首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集.介绍了MREclat的设计思想,研究了算法的运行性能.实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加速比性能比PEclat算法提高了64%.
频繁项目集、并行挖掘算法、列存储、Map/Reduce、Eclat算法
34
TP311.13(计算技术、计算机技术)
江苏省自然科学基金资助重点项目BK2011005
2014-10-08(万方平台首次上网日期,不代表论文的发表时间)
共4页
2175-2178