基于关节点遮挡推测的多相机手姿态估计方法

摘要：

基于视觉的手势交互技术被应用在航天员虚拟训练系统中,其中基于视觉的手姿态估计方法是关键.由于手部关节多、自由度高,因此航天员在操作过程中易出现手势自遮挡,此时难以准确重建航天员手势操作,进而难以构建合适的虚拟训练系统.当关节点严重自遮挡时,甚至出现不能被识别或姿态估计结果畸形的情况.为此提出了基于关节点遮挡预测的多相机融合手姿态估计方法,在不同视角利用单幅手部图像进行关节点遮挡预测和手姿态估计,再依据关节点遮挡预测结果,在决策端将各视角的手姿态估计结果进行融合;并采集双视角手势操作视频样例,设计融合实验进行验证.实验结果表明:通过融合可以有效解决单一视角自遮挡严重、手姿态难以估计的问题,避免了传统多相机方法的相机校准和数据特征匹配过程,在保证算法实时性的基础上提高了手姿态估计的精度.

关键词：航天员训练、遮挡预测、手姿态估计、多相机

所属期刊栏目：23

分类号：TP391.41(计算技术、计算机技术)

资助基金：中国航天医学工程预先研究项目2013SY54A1303

在线出版日期：2017-06-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：403-407