基于双相机捕获面部表情及人体姿态生成三维虚拟人动画

摘要：

为了生成表情丰富、动作流畅的三维虚拟人动画,提出了一种基于双相机同步捕获面部表情及人体姿态生成三维虚拟人动画的方法.首先,采用传输控制协议(TCP)网络时间戳方法实现双相机时间同步,采用张正友标定法实现双相机空间同步.然后,利用双相机分别采集面部表情和人体姿态.采集面部表情时,提取图像的2D特征点,利用这些2D特征点回归计算得到面部行为编码系统(FACS)面部行为单元,为实现表情动画做准备;以标准头部3D坐标值为基准,根据相机内参,采用高效n点投影(EPnP)算法实现头部姿态估计;之后将面部表情信息和头部姿态估计信息进行匹配.采集人体姿态时,利用遮挡鲁棒姿势图(ORPM)方法计算人体姿态,输出每个骨骼点位置、旋转角度等数据.最后,在虚幻引擎4(UE4)中使用建立的虚拟人体三维模型来展示数据驱动动画的效果.实验结果表明,该方法能够同步捕获面部表情及人体姿态,而且在实验测试中的帧率达到20 fps,能实时生成自然真实的三维动画.

关键词：双相机、人体姿态、面部表情、虚拟人动画、同步捕获

所属期刊栏目：41

分类号：TP391.4(计算技术、计算机技术)

资助基金：四川省科技厅重点研发项目2020YFG0306

在线出版日期：2021-03-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：839-844