基于级联双通道分阶段融合的双模态情感识别

摘要：

为充分提取文本和语音双模态深层情感特征,解决模态间有效交互融合的问题,提高情感识别准确率,提出了基于级联双通道分阶段融合(cascade two channel and phased fusion,CTC-PF)的双模态情感识别模型.设计级联顺序注意力编码器(cascaded sequential attention-Encoder,CSA-Encoder)对长距离语音情感序列信息进行并行化计算,提取深层语音情感特征;提出情感领域级联编码器(affective field cascade-Encoder,AFC-Encoder),提高模型的全局和局部文本理解能力,解决文本关键情感特征稀疏的问题.两个级联通道完成语音和文本信息的特征提取之后,利用协同注意力机制对两者的重要情感特征进行交互融合,降低对齐操作成本,然后采用哈达玛点积对其进行二次融合,捕获差异性特征,分阶段融合实现不同时间步长模态序列间的信息交互,解决双模态情感信息交互不足的问题.模型在IEMOCAP数据集上进行分类实验,结果表明,情感识别准确率可达79.4％,F1值可达79.0％,相比现有主流方法有明显提升,证明了该模型在语音和文本融合情感识别上的优越性.

关键词：双模态情绪识别、级联编码器、分阶段融合、信息交互

所属期刊栏目：59

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家重点研发计划;上海市扬帆计划

在线出版日期：2023-04-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：127-137