基于多模态融合的图神经网络推荐算法

摘要：

已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加,不能区分用户对不同模态信息的偏好.针对上述问题,提出多模态融合的GNN推荐模型.首先针对单个模态,结合用户-项目交互二部图构建单模态图网络,在单模态图中学习用户对此模态信息的偏好;然后利用GAT聚合邻居信息,丰富本节点表示,同时根据门控循环单元决定是否聚合邻居信息,达到去噪效果;最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示并送入预测模块.在MovieLens-20M、H&M两个数据集上的实验结果表明:多模态信息、注意力融合机制能有效提升推荐的准确度,算法模型在Precision@K、Recall@K和NDCG@K 3个指标上相较于基线最优算法均有显著提升;当评估指标K值选取10时,Precision@10、Recall@10和NDCG@10在两个数据集上分别提升了4.67%、2.42%、2.03%和2.49%、5.24%、2.05%.

关键词：多模态推荐、多模态融合、注意力机制、图神经网络、推荐系统、门控图神经网络

所属期刊栏目：50

分类号：TP391.3(计算技术、计算机技术)

资助基金：国家自然科学基金;重庆市自然科学基金;湖北省重点研发计划项目

在线出版日期：2024-01-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：91-100