基于非文本模态强化和门控融合方法的多模态情感分析

摘要：

针对各模态之间信息密度存在差距和融合过程中可能会丢失部分情感信息等问题,提出一种基于非文本模态强化和门控融合方法的多模态情感分析模型.该模型通过设计一个音频-视觉强化模块来实现音频和视觉模态的信息增强,从而减小与文本模态的信息差距.之后,通过跨模态注意力和门控融合方法,使得模型充分学习到多模态情感信息和原始情感信息,从而增强模型的表达能力.在对齐和非对齐的CMU-MOSEI数据集上的实验结果表明,所提模型是有效的,相比现有的一些模型取得了更好的性能.

关键词：多模态情感分析、多模态融合、模态强化、门控机制

所属期刊栏目：41

分类号：TP391(计算技术、计算机技术)

在线出版日期：2024-02-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：39-44