基于全连接张量网络的多模态与多样性推荐算法

摘要：

在全媒体时代下,基于多模态数据的推荐具有重要意义.本文使用文本、音频、图像3种模态数据进行推荐,通过两个阶段进行张量融合:第1阶段通过3个平行分支对任意两个模式的相关性进行建模和融合,第2阶段再将3个分支的结果进行融合,不仅考虑了两模态之间的局部交互作用,并且消除了模态融合顺序对结果的影响;在推荐模块中,将融合特征通过堆叠降噪自编码器作为协同过滤的辅助特征进行推荐.本文所构建的推荐系统中模态融合与推荐采用端到端的训练过程.同时,为了解决推荐结果中存在的相似度高、多样性差的问题,我们基于二阶段的张量模态融合特征构建相似度矩阵,在已有推荐结果的基础上进一步精化结果,实现快速的多样性推荐.实验证明,基于本文提出的多模态融合特征的推荐模型不仅能够有效地提升推荐性能,并且能够增强推荐结果的多样性.

关键词：张量网络、多模态融合、多样性推荐、堆叠降噪自编码器、协同过滤、推荐算法

所属期刊栏目：32

分类号：TP391;O413;TP183

资助基金：国家重点研发计划;国家自然科学基金;国家自然科学基金;上海市科委重大项目

在线出版日期：2023-02-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：63-74