融合表情和BVP生理信号的双模态视频情感识别
目的 针对当前视频情感判别方法大多仅依赖面部表情、而忽略了面部视频中潜藏的生理信号所包含的情感信息,本文提出一种基于面部表情和血容量脉冲(BVP)生理信号的双模态视频情感识别方法.方法 首先对视频进行预处理获取面部视频;然后对面部视频分别提取LBP-TOP和HOG-TOP两种时空表情特征,并利用视频颜色放大技术获取BVP生理信号,进而提取生理信号情感特征;接着将两种特征分别送入BP分类器训练分类模型;最后利用模糊积分进行决策层融合,得出情感识别结果.结果 在实验室自建面部视频情感库上进行实验,表情单模态和生理信号单模态的平均识别率分别为80％和63.75％,而融合后的情感识别结果为83.33％,高于融合前单一模态的情感识别精度,说明了本文融合双模态进行情感识别的有效性.结论 本文提出的双模态时空特征融合的情感识别方法更能充分地利用视频中的情感信息,有效增强了视频情感的分类性能,与类似的视频情感识别算法对比实验验证了本文方法的优越性.另外,基于模糊积分的决策层融合算法有效地降低了不可靠决策信息对融合的干扰,最终获得更优的识别精度.
表情、生理信号、视频颜色放大、模糊积分、双模态
23
TP391(计算技术、计算机技术)
国家自然科学基金项目61672202,61432004,61502141;国家自然科学基金—深圳联合基金重点项目U1613217.National Natural Science Foundation of China61672202,61432004,61502141;National Natural Science Foundation of China-Shenzhen Joint Fund Key ProjectsU1613217
2018-06-15（万方平台首次上网日期，不代表论文的发表时间）
共10页
688-697
