基于文本引导的注意力图像转发预测排序网络

摘要：

转发预测在社交媒体网站(Social media sites,SMS)中是一个很有挑战性的问题.本文研究了SMS中的图像转发预测问题,预测用户再次转发图像推特的图像共享行为.与现有的研究不同,本文首先提出异构图像转发建模网络(Im-age retweet modeling,IRM),所利用的是用户之前转发图像推特中的相关内容、之后在SMS中的联系和被转发者的偏好三方面的内容.在此基础上,提出文本引导的多模态神经网络,构建新型多方面注意力排序网络学习框架,从而学习预测任务中的联合图像推特表征和用户偏好表征.在Twitter的大规模数据集上进行的大量实验表明,我们的方法较之现有的解决方案而言取得了更好的效果.

关键词：图像转发预测;多模态学习;文本引导;注意力机制

所属期刊栏目：47

资助基金：国家重点研发计划;浙江省自然基金;国家自然科学基金项目

在线出版日期：2021-12-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：2547-2556