基于自注意力机制的多模态语义轨迹预测

摘要：

随着社交媒体的快速发展,多模态语义轨迹的预测成为新的挑战.轨迹点间的依赖关系在预测中起到重要作用,同时也存在着以下挑战:轨迹信息中包含多种模态信息(时间、兴趣点和活动文本等),存在时间、空间和活动意图等多种依赖,这些依赖关系很复杂,现有方法很难量化这些复杂依赖关系.为了解决以上问题,提出一种基于自注意力机制的多模态语义轨迹预测模型SAMSTP.SAMSTP先对多模态特征进行联合嵌入,再设计自注意力机制结合Position Encoding计算轨迹点之间的特征相似度,自动学习并量化复杂依赖权重,同时解决轨迹的长期依赖关系.最后,采用LSTM网络处理轨迹时序关系,并设计模式规范化机制解决依赖关系失真问题,加快模型收敛速度.在真实数据集上的实验结果表明,SAMSTP是有效的,并且优于现有最新方法.

关键词：多模态;语义轨迹;自注意力机制;模式规范化

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：中国矿业大学建设双一级专项资金2018ZZCX14

在线出版日期：2021-11-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：2069-2076