基于Spark优化的协同过滤推荐算法研究

摘要：

推荐算法是数据挖掘中较为重要的算法之一,在如今的互联网发展中被广泛使用.而基于Spark Mllib平台上使用的ALS协同过滤算法在个性化推荐系统中发挥着重要作用,但由于Spark复杂的内核架构与其基于内存计算的特点,想通过Spark实现高性能的推荐系统,还存在着诸多问题需要研究.针对基于ALS模型的协同过滤算法及用来实现该算法的Spark计算技术进行分析与优化,经过资源优化后,缩短了推荐所用的时间,其性能提升了33.3％;在资源优化的基础上再经过Spark Shuffle优化,优化后的性能与无优化时相比,其性能提升了54.8％.

关键词：协同过滤、Spark优化、Shuffle

所属期刊栏目：41

分类号：TP391(计算技术、计算机技术)

在线出版日期：2018-11-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：111-115