用于动作识别的双流自适应注意力图卷积网络

摘要：

人体动作识别因在公共安全方面具有重要的作用而在计算机视觉领域备受关注.然而,现有的图卷积网络在融合多尺度节点的邻域特征时,通常采用各阶邻接矩阵直接相加的方法,各项重要性一致,难以聚焦于重要特征,不利于最优节点关系的建立,同时采用对不同模型的预测结果求平均的双流融合方法,忽略了潜在数据的分布差异,融合效果欠佳.为此,文中提出了一种双流自适应注意力图卷积网络,用于对人体动作进行识别.首先,设计了能自适应平衡权重的多阶邻接矩阵,使模型聚焦于更加重要的邻域;然后,设计了多尺度的时空自注意力模块及通道注意力模块,以增强模型的特征提取能力;最后,提出了一种双流融合网络,利用双流预测结果的数据分布来决定融合系数,提高融合效果.该算法在NTU RGB+D的跨主体和跨视角两个子数据集上的识别准确率分别达92.3%和97.5%,在Kinetics-Skeleton数据集上的识别准确率达39.8%,均高于已有算法,表明了文中算法对于人体动作识别的优越性.

关键词：动作识别、图卷积网络、邻接矩阵、注意力、双流融合

所属期刊栏目：50

分类号：TP391.4(计算技术、计算机技术)

资助基金：广东省海洋经济发展专项;广东省重点领域研发计划项目;广东省重点领域研发计划项目;广州市产业技术重大攻关计划;华南理工大学中央高校基本科研业务费专项资金资助项目;华南理工大学研究生教育改革项目

在线出版日期：2023-02-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：20-29