基于Spark的分层协同过滤推荐算法

摘要：

协同过滤是推荐系统中最广泛使用的推荐算法.针对单机模型已经不能满足推荐系统的实时性与扩展性,提出一种基于Spark的分层协同过滤推荐算法.算法首先基于用户时间行为序列构建用户兴趣模型;其次基于RDD实现了并行化EM聚类算法,将用户划分为不同的用户簇;最后基于不同的用户簇实现了并行化Item-based协同过滤推荐算法.通过阿里巴巴天池数据集实验表明,该算法可明显减少推荐时间并提高了推荐准确度,具有良好的可扩展性.

关键词：协同过滤、Spark、EM、推荐算法

所属期刊栏目：41

分类号：TP3(计算技术、计算机技术)

资助基金：国家高科技研究发展计划863计划2014AA015204;山西省国际科技合作项目2014081018-2;山西省科技基础条件平台建设基金项目2013091003-0103

在线出版日期：2015-10-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：135-138