基于多任务学习与注意力机制的多层次音频特征情感识别研究

摘要：

传统音频分类任务仅仅是从单层次音频提取特征向量进行分类,即便使用过大的模型,其过多的参数也会造成特征之间的耦合,不符合特征提取"高聚类,低耦合"的原则.由于注意到一些与情绪相关的协变量并没有得到充分利用,本文在模型中加入性别先验知识;将多层次音频特征分类问题转化为多任务问题进行处理,从而对多层次特征进行解耦再进行分类;针对特征分布的再优化方面设计了一个中心损失模块.通过在IEMOCAP数据集上的实验结果表明,本文提出模型的加权精度(WA)和未加权精度(UA)分别达到了71.94％和73.37％,与原本的多层次模型相比,WA和UA分别提升了1.38％和2.35％.此外,还根据Nlinear和Dlinear算法设计了两个单层次音频特征提取器,在单层次音频特征分类实验中取得了较好的结果.

关键词：语音情感分类、MFCC、中心损失、多任务学习、先验信息、Dlinear

所属期刊栏目：14

分类号：TP241(自动化技术及设备)

在线出版日期：2024-01-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：85-94,101