基于Spark平台的大数据挖掘技术研究

摘要：

大数据具备数据量大、富于多样性的特点.因此在大数据分析方面,无论是对处理速度还是实时性都具有较高的要求.数据挖掘技术是从海量数据里采用某种建模算法,用来寻找隐藏在数据背后的信息,从而让大数据产生更大的价值.Spark框架是一个针对超大数据集合的低延迟的集群分布式计算系统.本文基于该框架,对大数据挖掘技术进行了具体研究,首先完成了基于Yarn部署上Spark集群搭建,然后提出并实现了并行Apriori算法,该算法成功补充了Spark MLlib分布式机器学习库中所缺乏的关联分析问题的分布式算法.

关键词：大数据、数据挖掘、Spark

所属期刊栏目：33

分类号：TP3;TP1

在线出版日期：2017-07-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：64-66,80