10.3778/j.issn.1002-8331.1711-0152
基于Spark的并行化协同深度推荐模型
协同深度学习(Collaborative Deep Learning,CDL)利用神经网络极强的特征学习能力和模型拟合鲁棒性,解决了推荐系统在数据稀疏的情况下性能表现急剧下降的问题.但当推荐系统面临大量数据时,导致模型训练变得难以维护,进而出现多种不可预料的问题.为解决上述问题,对协同深度学习及其并行化方法进行了研究,提出了一种针对项目内容学习优化的改进模型协同深度推荐(CDL with item private node,CDL-i),通过对传统CDL中的自编码网络进行改进,增加私有网络节点,在模型的网络参数共享情况下,为每个项目添加私有偏置项,使网络能够更针对性地学习到项目内容参数,改进了模型在推荐系统中对项目内容的探测性能.同时对算法进行并行化改进,通过对模型进行拆分,提出一种并行训练CDL-i的方法,将其移植到Spark分布式集群上,并行地对模型各部分参数进行训练优化,增强模型所能处理数据的规模和扩展性.通过在多个真实数据集上的实验,验证了提出的并行深度推荐算法的有效性和高效性.
深度学习、推荐系统、协同深度学习、Spark
54
TP312(计算技术、计算机技术)
秦皇岛市科学技术研究与发展计划201701B008
2018-10-22（万方平台首次上网日期，不代表论文的发表时间）
共6页
71-76
