基于Hadoop平台的Spark快数据推荐算法分析与应用

摘要：

Hadoop大数据平台上可以搭建Yarn,Mahout,Storm,GraphLab等框架,其提供了大数据的各种处理能力.但它们各自按自己的机制工作,整合度极低.虽然在Mahout框架中,对机器学习的算法支持较为完善,但是数据必需是离线的.在大数据时代,要求不仅具有处理能力,还强调了数据的时效性,以前的框架都显得有点力不从心.Spark是Hadoop平台上的新型利器,它的各个部分几乎能替代以前的分散的框架,且采用统一的处理机制,整合度很好,速度比传统处理方式快几十倍甚至几百倍.基于Hadoop平台的Spark快数据推荐算法分析与应用是在Hadoop平台上用Yarn作资源管理,Spark作快数据的处理,这极大地提高了大数据的处理效率.该文以专业推荐系统为应用基础,采用Yarn作资源管理,及SparkALS算法做推荐,Spark PageRank算法做专业排名,实验结果表明,Spark框架对大数据的处理机制能够满足日益增值的大数据应用对速度的要求.

关键词：Hadoop、Spark、快数据、ALS算法、PageRank算法

所属期刊栏目：39

分类号：TN911-34

资助基金：四川省科技厅项目:基于北斗的公共位置服务云平台的研究与开发15ZC1189

在线出版日期：2016-07-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：18-20