Hadoop分布式架构下大数据集的并行挖掘

摘要：

基于Hadoop分布式计算平台，给出一种适用于大数据集的并行挖掘算法。该算法对非结构化的原始大数据集以及中间结果文件进行垂直划分以确保能够获得完整的频繁项集，将各个垂直分块数据分配给不同的Hadoop计算节点进行处理，以减少各个计算节点的存储数据，进而减少各个计算节点执行交集操作的次数，提高并行挖掘效率。实验结果表明，给出的并行挖掘算法解决了大数据集挖掘过程中产生的大量数据通信、中间数据以及执行大量交集操作的问题，算法高效、可扩展。

关键词：数据挖掘、大数据集、并行算法、Hadoop

分类号：TP311.133.2;TP338.6(计算技术、计算机技术)

资助基金：广西自然科学基金2011GXNSFA018152;广西研究生教育创新计划项目YCSZ2012007

在线出版日期：2014-01-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：22-25,30