基于语音和视频图像的多模态情感识别研究

摘要：

情感识别依靠分析生理信号、行为特征等分析情感类别,是人工智能重要研究领域之一.为提高情感识别的准确性和实时性,提出基于语音与视频图像的多模态情感识别方法.视频图像模态基于局部二值直方图法(LBPH)+稀疏自动编码器(SAE)+改进卷积神经网络(CNN)实现;语音模态基于改进深度受限波尔兹曼机(DBM)和改进长短时间记忆网络(LSTM)实现;使用SAE获得更多图像的细节特征,用DBM获得声音特征的深层表达;使用反向传播算法(BP)优化DBM和LSTM的非线性映射能力,使用全局均值池化(GAP)提升CNN和LSTM的响应速度并防止过拟合.单模态识别后,两个模态的识别结果基于权值准则在决策层融合,给出所属情感分类及概率.实验结果表明,融合识别策略提升了识别准确率,在中文自然视听情感数据库(cheavd)2.0的测试集达到74.9％的识别率,且可以对使用者的情感进行实时分析.

关键词：特征融合;多模态融合;表情识别;语音情绪识别;深度学习

所属期刊栏目：57

分类号：TP391.41(计算技术、计算机技术)

在线出版日期：2021-12-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：163-170