基于自监督的人脸面部动作单元检测

摘要：

为了能够更好地从无标注图像中提取和人脸信息相关的特征,从而提升面部动作单元检测的准确度,提出了基于自监督的人脸面部动作单元检测方法.该方法将vision transformer作为编码器提取视频序列中每一帧的人脸特征,并利用视频序列中自然存在的时序特性对这些特征构造三元组损失函数.同时利用每个视频中个体信息的一致性,将提取出的人脸特征解耦为个体特征和表情特征,从而为人脸面部动作单元检测等下游任务剔除掉无关的噪音,进而提升下游任务的表现性能.通过在BP4D数据集上进行的实验与其他最先进的自监督方法进行对比,本文的方法在性能上超越了已有的其他方法.

关键词：面部动作单元检测、自监督学习、Vision Transformer

分类号：TP391.41;TP183(计算技术、计算机技术)

在线出版日期：2022-04-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：62-65