基于Spark的矩阵分解与最近邻融合的推荐算法

摘要：

随着当前移动互联网的快速发展,人们所面临的信息过载问题变得尤为严重,大数据场景下对特定用户的个性化推荐面临着巨大挑战.为了进一步提高推荐的时效性、准确度以及缓解面临的大数据量.提出了一种矩阵分解推荐算法在大数据环境下的优化算法模型.该模型通过在传统矩阵分解推荐算法的基础上融合了用户以及物品的相似性计算,在训练目标函数的过程中,即融入用户以及物品的前k个最近邻居的相似性计算,增强了算法的推荐准确度.利用Spark在内存计算以及迭代计算上的优势,设计了一种Spark框架下的矩阵分解与最近邻融合的推荐算法.通过在经典数据集—MovieLens数据集上的实验结果表明,该算法与传统的矩阵分解推荐算法相比,可以很好的缓解数据稀疏性,提高推荐算法的准确度,并且在计算效率方面也优于现有的矩阵分解推荐算法.

关键词：协同过滤、推荐算法、矩阵分解、交替最小二乘法、Spark

所属期刊栏目：26

分类号：TP3;O29

资助基金：国家自然科学基金61462011,61202089;高等学校博士学科专项科研基金20125201120006;贵州大学引进人才科研项目2011015;贵州省应用基础研究计划重大项目黔科合JZ字[2014]2001-01

在线出版日期：2017-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：124-129