基于层次注意力机制的维度情感识别方法

摘要：

在连续维度情感识别任务中,每个模态内部凸显情感表达的部分并不相同,不同模态对于情感状态的影响程度也有差别.为此,通过学习各个模态特征并采用合理的融合方式,提出一种基于层次注意力机制的多模态维度情感识别模型.在音频模态中加入频率注意力机制学习频域上下文信息,利用多模态注意力机制将视频特征与音频特征进行融合,依据改进的损失函数对模态缺失问题进行优化,提高模型的鲁棒性以及情感识别的性能.在公开数据集上的实验结果表明,相比于卷积神经网络和长短时记忆网络等方法,该模型一致性相关系数指标明显提升,并且识别效率更高,可适用于大批量数据的维度情感识别.

关键词：多模态、连续维度情感识别、注意力机制、特征融合、深度学习

所属期刊栏目：46

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金61672267,61672268

在线出版日期：2020-07-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：65-72