关键点深度特征驱动人脸表情识别
目的 人脸关键点检测和人脸表情识别两个任务紧密相关.已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系.针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情.方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值.为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值.复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征.结果 在3个公开数据集:CK+(Cohn-Kanade dataset),Oulu(Oulu-CASIA NIR&VIS facial expression database)和MMI(MMI facial expression database)上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14％和0.54％.结论 实验结果表明了引入关键点信息的有效性:多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络.同时,引入注意力模型也提升了多任务网络中表情的识别率.
人脸表情识别、关键点检测、多任务、注意力模型、中间监督
25
TP391.41(计算技术、计算机技术)
国家自然科学基金项目61825601,61532009
2020-06-22（万方平台首次上网日期，不代表论文的发表时间）
共11页
813-823
