利用跨模态调制的多模态情感分析

摘要：

如何对模态进行有效表示和对模态间信息进行高效融合,一直是多模态情感分析领域的一个热点问题.已有研究大都以Transformer为基础,对其中自注意力模块进行改进以达到跨模态融合的效果.但基于Transformer的融合方式往往忽略了不同模态之间的重要程度,同时Transformer无法有效地捕捉到时间特征.为此,提出了基于跨模态调制及模态门控网络模型.该模型利用LSTM网络和BERT分别作为视觉、听觉和文本模态的表示子网络;利用改进的Transformer模型的跨模态调制模块对不同的模态信息进行有效的融合;设计了模态门控网络,模拟人类对来自不同模态的信息进行综合的判断.利用MOSI、MOSEI数据集进行了对比实验,结果表明所提出的方法有效地提高了情感分类的准确度.

关键词：多模态情感分析(MSA)、Transformer模型、跨模态调制、模态门控网络

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-05-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：171-179