融合时序特征约束与联合优化的点云3维人体姿态序列估计
目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影.目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度.对此,本文提出了一种新的点云序列3维人体姿态估计方法.方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码.选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集.最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果.结果 在两个数据集上对本文算法进行评估.在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average preci-sion,mAP)比对比方法分别高0.99％、13.18％和17.96％.在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03％.同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性.与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2％ 以上.结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果.采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用.
人体运动、人体姿态估计、人体运动预测、点云序列、弱监督学习
27
TP391.4(计算技术、计算机技术)
国家重点研发计划;国家自然科学基金;北京市自然科学基金
2022-12-26（万方平台首次上网日期，不代表论文的发表时间）
共14页
3608-3621
