基于语义相关的多模态社交情感分析

摘要：

社交平台允许用户采用多种信息模态发表意见与观点,多模态语义信息融合能够更有效地预测用户所表达的情感倾向.因此,多模态情感分析近年来受到了广泛关注.然而,多模态情感分析中视觉与文本存在的语义无关问题,导致情感分析效果不佳.针对这一问题,提出了基于语义相关的多模态社交情感分析(MSSA-SC)方法.采用图文语义相关性分类模型,对图文社交信息进行语义相关性识别,若图文语义相关,则对图文社交信息使用图文语义对齐多模态模型进行图文特征融合的情感分析;若图文语义无关,则仅对文本模态进行情感分析.在真实社交媒体数据集上进行了实验,由实验结果可知,所提方法能够有效降低图文语义无关情况对多模态社交媒体情感分析的影响.与此同时,所提方法的Accuracy和Macro-F1指标分别为75.23％和70.18％,均高于基准模型.

关键词：多模态、社交媒体、情感分析、语义相关、图文特征融合

所属期刊栏目：47

分类号：TP37(计算技术、计算机技术)

资助基金：国家社会科学基金;全军共用信息系统装备预先研究项目

在线出版日期：2021-04-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：469-477