表情和姿态的双模态情感识别

摘要：

多模态情感识别是当前情感计算研究领域的重要内容,针对人脸表情和动作姿态开展双模态情感识别研究,提出一种基于双边稀疏偏最小二乘的表情和姿态的双模态情感识别方法.首先,从视频图像系列中分别提取表情和姿态两种模态的空时特征作为情感特征矢量.然后,通过双边稀疏偏最小二乘(BSPLS)的数据降维方法来进一步提取两组模态中的情感特征,并组合成新的情感特征向量.最后,采用了两种分类器来进行情感的分类识别.以国际上广泛采用的FABO表情和姿态的双模态情感数据库为实验数据,并与多种子空间方法(主成分分析、典型相关分析、偏最小二乘回归)进行对比实验来评估本文方法的识别性能.实验结果表明,两种模态融合后相比单模态更加有效,双边稀疏偏最小二乘(BSPLS)算法在几种方法中得到最高的情感识别率.

关键词：表情、姿态、双模态情感识别、空时特征、双边稀疏偏最小二乘(BSPLS)

所属期刊栏目：18

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金项目61231002,61073137;教育部博士点基金项目20120092110054

在线出版日期：2013-10-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1101-1106