基于多流CNN-LSTM网络的群体情绪识别

摘要：

针对群体情绪识别准确率的问题,结合卷积神经网络(CNN)与长短期记忆网络(LSTM),提出一种多流CNN-LSTM网络模型学习群体情绪的静态和动态特征.以视频序列的原始图像、视觉显著图形和叠加的光流图像分别作为三个通道的输入,利用CNN网络对空间特征和局部运动特征进行分析,得到的特征图直接输入LSTM网络,进行全局运动特征的学习.最后连接Softmax分类器,对三个通道的Softmax输出进行加权融合,得到分类结果.实验结果表明,模型可有效地识别四种典型的群体情绪,且识别率高于已有算法,准确度(ACC)和宏平均精度(MAP)分别最高可达82.6％、84.1％.

关键词：群体情绪识别、卷积神经网络、长短期记忆网络、多流

所属期刊栏目：35

分类号：TP391.41(计算技术、计算机技术)

资助基金：成都市科技惠民资助项目2015-HM01-00293-SF;中央高校基本科研业务费专项资金资助项目2015SCU04A11

在线出版日期：2019-03-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：3828-3831