基于SGD的决策级融合维度情感识别方法

摘要：

在双模态维度情感识别中,存在由于信息不全面而导致预测性能不高的缺陷,且使用决策级融合方法进行融合大多依赖支持向量回归算法,但该算法无法有效处理大样本情况.为了解决以上问题,在语音和文本模态的基础上增加动作捕捉(motion capture,Mocap)数据,并针对该多模态数据提出一种基于随机梯度下降(stochastic gradi-ent descent,SGD)的决策级融合维度情感识别方法.结合多任务学习机制,利用不同的深度学习模型分别对语音、文本和Mocap特征进行训练,并基于决策级融合方法实现多模态维度情感识别.在IEMOCAP数据集上的实验结果表明,Mocap数据更有助于提高效价维的值,结合更多情感数据有助于提升维度情感识别的预测性能,基于SGD进行决策级融合得到的一致性相关系数均值高于其他回归算法.

关键词：随机梯度下降、多模态、维度情感识别、特征融合、动作捕捉数据、多任务学习

所属期刊栏目：54

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金;湖北省高等学校优秀中青年科技创新团队计划项目;湖北省高校知识产权推进工程项目;湖北省教育厅科学研究计划重点项目

在线出版日期：2022-05-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：49-54