基于音视频的情感识别方法研究

摘要：

近年来,情感计算逐渐成为人机交互发展突破的关键,而情感识别作为情感计算的重要部分,也受到了广泛的关注.本文实现了基于ResNet18的面部表情识别系统和基于HGFM架构的语音情感识别模型,通过调整参数,训练出了性能较好的模型.在此基础上,通过特征级融合和决策级融合这两种多模态融合策略,实现了包含视频和音频信号的多模态情感识别系统,展现了多模态情感识别系统性能的优越性.两种不同融合策略下的音视频情感识别模型相比视频模态和音频模态,在准确率上都有一定的提升,验证了多模态模型往往比最优的单模态模型的识别性能更好的结论.本文所实现的模型取得了较好的情感识别性能,融合后的音视频双模态模型的准确率达到了 76.84％,与现有最优模型相比提升了 3.50％,在与现有的音视频情感识别模型的比较中具有性能上的优势.

关键词：情感识别;深度学习;多模态融合;残差网络;分层粒度和特征模型

所属期刊栏目：37

分类号：TP391(计算技术、计算机技术)

在线出版日期：2021-12-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1889-1898