基于数据流和点对点网络的分布式推荐算法

摘要：

推荐算法是数据挖掘中应用最广泛的算法之一,目前的推荐算法主要是针对静态数据的,缺乏对动态数据的适应性,基于数据流的推荐算法是解决这一问题的方法.针对目前在分布式平台中采用参数服务器控制模型训练存在的滞后梯度和掉队者问题,提出了一种新的使用点对点参数交换网络代替参数服务器的方法,并在训练过程中引入遗忘策略和异常评分检测能力.在新的分布式流计算框架Flink上进行设计实现,并在经典的MovieLens-1m数据集上进行了实验.实验结果表明,该算法能够在保证推荐准确率的同时,降低一半通讯开销.

关键词：在线矩阵分解、流计算、分布式协同过滤、点对点网络

所属期刊栏目：55

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基金61702046

在线出版日期：2019-10-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：64-69,148