Master-Worker模式的并行关联规则挖掘算法

摘要：

随着信息技术迅速发展,数据库的规模不断扩大,从而产生了大量的数据；如果使用传统的数据挖掘技术从庞大的数据中挖掘出有价值的规则、模式等将需要巨大的计算资源,而且会花费很长的时间；在考虑到挖掘的效率,负载平衡,运行环境,节点状态等多方面因素的基础上,文中提出了新的并行数据挖掘算法；各个并行计算单元之间采用全局通讯模式Master-Worker模式来进行互相通信,降低了并行数据挖掘的通信成本,提高了挖掘的效率,缩短了挖掘的时间；最后,通过worker节点和Master节点的实验,采用一多属性的大数据量的数据库,将实验结果与串行算法进行了比较,实验结果验证了该算法的有效性以及在大数据集挖掘应用中的优越性.

关键词：数据挖掘、并行算法、动态调度、全局通讯模式

所属期刊栏目：21

分类号：TP311.13(计算技术、计算机技术)

资助基金：河南省科技厅2011发展计划112102310527

在线出版日期：2015-01-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：1008-1010,1026