结合稀疏表示和深度学习的视频中3D人体姿态估计
目的 2D姿态估计的误差是导致3D人体姿态估计产生误差的主要原因,如何在2D误差或噪声干扰下从2D姿态映射到最优、最合理的3D姿态,是提高3D人体姿态估计的关键.本文提出了一种稀疏表示与深度模型联合的3D姿态估计方法,以将3D姿态空间几何先验与时间信息相结合,达到提高3D姿态估计精度的目的.方法 利用融合稀疏表示的3D可变形状模型得到单帧图像可靠的3D初始值.构建多通道长短时记忆MLSTM(multi-channel long short term memory)降噪编/解码器,将获得的单帧3D初始值以时间序列形式输入到其中,利用MLSTM降噪编/解码器学习相邻帧之间人物姿态的时间依赖关系,并施加时间平滑约束,得到最终优化的3D姿态.结果 在Human3.6M数据集上进行了对比实验.对于两种输入数据:数据集给出的2D坐标和通过卷积神经网络获得的2D估计坐标,相比于单帧估计,通过MLSTM降噪编/解码器优化后的视频序列平均重构误差分别下降了12.6％,13％;相比于现有的基于视频的稀疏模型方法,本文方法对视频的平均重构误差下降了6.4％,9.1％.对于2D估计坐标数据,相比于现有的深度模型方法,本文方法对视频的平均重构误差下降了12.8％.结论 本文提出的基于时间信息的MLSTM降噪编/解码器与稀疏模型相结合,有效利用了3D姿态先验知识,视频帧间人物姿态连续变化的时间和空间依赖性,一定程度上提高了单目视频3D姿态估计的精度.
姿态估计、3D人体姿态、稀疏表示、LSTM(long short term memory)、残差连接
25
TP391.41(计算技术、计算机技术)
浙江省公益技术研究计划项目;宁波市自然科学基金项目
2020-06-22（万方平台首次上网日期，不代表论文的发表时间）
共12页
456-467
