基于注意力的多层次混合融合的多任务多模态情感分析

摘要：

针对多模态情感分析中的模态内部特征表示和模态间的特征融合问题,结合注意力机制和多任务学习,提出了一种基于注意力的多层次混合融合的多任务多模态情感分析模型MAM(multi-level attention and multi-task).首先,利用卷积神经网络和双向门控循环单元来实现单模态内部特征的提取;其次,利用跨模态注意力机制实现模态间的两两特征融合;再次,在不同层次使用自注意力机制实现模态贡献度选择;最后,结合多任务学习获得情感和情绪的分类结果.在公开的CMU-MOSEI数据集上的实验结果表明,情感和情绪分类的准确率和F1值均有所提升.

关键词：多模态;情感分析;注意力机制;多任务学习

所属期刊栏目：39

分类号：TP391.1(计算技术、计算机技术)

资助基金：新疆维吾尔自治区自然科学基金资助项目;国家自然科学基金

在线出版日期：2022-03-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：716-720