基于矩阵分解的协同过滤算法的并行化研究

摘要：

基于矩阵分解的协同过滤算法是近几年提出的一种协同过滤推荐技术，但其每项预测评分的计算都要综合大量评分数据，同时在计算时还需要存储庞大的特征矩阵，用单一节点来进行推荐将会遇到计算时间和计算资源的瓶颈。通过对现有的基于ALS(最小二乘法)的协同过滤算法在Hadoop上并行化实现的原理和特点进行深入的研究，得到了传统的迭代式算法在Hadoop上运算效率不高的原因。根据迭代式MapReduce思想，提出了循环感知任务调度算法、缓存静态数据、任务循环控制、迭代终止条件检测等方法。通过在Netflix数据集上的实验表明，迭代式MapReduce思想提高了基于ALS的协同过滤算法的并行化计算的效率。

关键词：ALS算法、协同过滤、Hadoop、迭代式MapReduce

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61272500

在线出版日期：2015-03-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：55-59