10.19734/j.issn.1001-3695.2022.06.0298
基于多视角学习的时序多模态情感分类研究
针对多模态融合效果不佳,不能充分挖掘特定时间段,多视角关键情感信息的问题,提出了一种基于多视角的时序多模态情感分类模型,用于提取特定时间段,多视角下的关键情感信息.首先,对文本标题及文本内容两种视角下的数据进行低维空间词嵌入和序列表达,提取不同视角的多模态时序特征,对图片截取,水平镜像两种视角下的数据进行特征提取;其次,采用循环神经网络构建多模态数据的时序序列交互特征,增大互信息;最后,基于对比学习进行联合训练,完成情感分类.该模型在两个多模态情感分类基准数据集Yelp和Mutli-Zol上评估,准确度分别为73.92%、69.15%.综合实验表明,多视角的特定时间段多模态语句序列可提升模型性能.
情感分类、多模态、多视角、时序特征、对比学习
40
TP391(计算技术、计算机技术)
国家自然科学基金;四川省社会科学高水平团队基金资助项目
2023-01-16(万方平台首次上网日期,不代表论文的发表时间)
共5页
102-106