基于辅助模态监督训练的情绪识别神经网络

摘要：

为了解决多模态数据中数据样本不平衡的问题,利用资源丰富的文本模态知识对资源贫乏的声学模态建模,构建一种利用辅助模态间相似度监督训练的情绪识别神经网络.首先,使用以双向门控单元为核心的神经网络结构,分别学习文本与音频模态的初始特征向量;其次,使用SoftMax函数进行情绪识别预测,同时使用一个全连接层生成2个模态对应的目标特征向量;最后,利用该目标特征向量计算彼此之间的相似度辅助监督训练,提升情绪识别的性能.结果表明,该神经网络可以在IEMOCAP数据集上进行情绪4分类,实现了82.6％的加权准确率和81.3％的不加权准确率.研究结果为人工智能多模态领域的情绪识别以及辅助建模提供了参考依据.

关键词：计算机神经网络、情绪识别、有监督训练、深度学习、多模态

所属期刊栏目：41

分类号：TP311.13(计算技术、计算机技术)

资助基金：中国教育部人工智能协同育人项目;河北科技大学校立课题

在线出版日期：2020-11-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：424-432