用于视频流人体姿态估计的时空信息感知网络

摘要：

针对现有二维人体姿态估计方法应用于视频序列时由于图像质量不稳定而导致的估计精度下降和时域不连续的问题,提出一种时空信息感知网络STNet.首先利用卷积模块提取出每帧视频中人体关节点的二维空间热力图,接着利用循环卷积模块对连续帧热力图之间的时间信息进行编码.时空信息的解耦学习策略提升了姿态估计结果的时域连贯性和空间准确性,降低了视频序列中时空特征的提取难度.循环卷积模块中的ConvGRU结构在保证识别精度的同时有效减少了模型计算量.在二维关节点数据集Penn Action和Sub-JHMDB上进行实验,并与其他现有方法进行对比分析.结果表明,STNet可以实现预测精度和运算量之间的更好权衡,更具实用价值.

关键词：人体姿态估计;循环卷积网络;时空信息编码

所属期刊栏目：34

分类号：TP391.41(计算技术、计算机技术)

资助基金：上海市科委青年科技英才扬帆计划;浙江省重点研发计划;宁波市科技创新重大专项

在线出版日期：2022-02-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：189-197