用于人体动作识别的多尺度时空图卷积算法

摘要：

基于骨骼数据的时空图卷积人体动作识别网络(ST-GCN)存在时间卷积层结构单一、固定的问题,难以全面提取每个动作类别所需的全部重要阶段特征.针对这一问题,提出了包含多个不同尺度卷积核和多种结构的时间图卷积层,构造了多尺度时空图卷积网络(SMT-GCN),利用不同的时间图卷积操作抽取并融合不同尺度的时间轨迹特征.同时,为了强化人体长距离关联信息和空间结构化特征,在SMT-GCN中融合了构造的变换残差模块(Tran-Res)和轻量级注意力模块(CBAM),构造了多尺度时空图注意卷积网络(SAMT-GCN).实验在NTU RGB+D数据集和HDM05数据集上进行,提出的SMT-GCN和SAMT-GCN均获得了识别精度的提升;另外,设计的多尺度时间图卷积模块可以融合于其他基线网络中并提高性能.为探究卷积核尺度及结构对算法的影响,设计了相应消融实验,实验结果表明卷积核大小为1、5、9的SAMT-GCN性能最优,并且具有稠密结构的网络识别精度要高于具有串行和并行结构的网络.

关键词：人体动作识别、时空图卷积网络(ST-GCN)、多尺度时间图卷积、变换残差模块(Tran-Res)、轻量级注意力

所属期刊栏目：17

分类号：TP391.41(计算技术、计算机技术)

资助基金：内蒙古自治区高等学校科学研究项目NJZZ21004

在线出版日期：2023-03-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：719-732