复合时空特征的双模态情感识别
目的 针对体积局部二值模式应用到视频帧特征提取上,特征维数大,对光照及噪声鲁棒性差等问题,提出一种新的特征描述算法一时空局部三值模式矩(TSLTPM).考虑到TSLTPM描述的仅是纹理特征,本文进一步融合3维梯度方向直方图(3DHOG)特征来增强对情感视频的描述.方法 首先对情感视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLTPM和3DHOG特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配;最后使用D-S证据联合规则得到情感识别结果.结果 在FABO数据库上进行实验,表情和姿态单模态分别取得83.06％和94.78％的平均识别率,在表情上分别比VLBP(体积局部二值模式)、LBP-TOP(三正交平面局部二值模式)、TSLTPM、3DHOG高9.27％、12.89％、1.87％、1.13％;在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61％、27.55％、1.18％、0.98％.将两种模态进行融合以后平均识别率达到96.86％,说明了融合表情和姿态进行情感识别的有效性.结论 本文提出的TSLTPM特征将VLBP扩展成时空三值模式,能够有效降低维数,减少光照和噪声对识别的影响,与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能,与典型特征提取算法的对比实验也表明了本文算法的有效性.另外,与其他方法的对比实验也验证了本文融合方法的优越性.
表情、姿态、时空局部三值模式矩、3维方向梯度直方图、Dempster-Shafer证据理论
22
TP181;TP301.6(自动化基础理论)
国家自然科学基金项目61300119,61432004;安徽省自然科学基金项目1408085MKL16National Natural Science Foundation of China61300119,61432004
2017-02-24（万方平台首次上网日期，不代表论文的发表时间）
共10页
39-48
