语义引导下自适应拓扑推理图卷积网络的人体动作识别
图卷积网络(Graph Convolutional Networks,GCN)对于基于骨架关节点信息的人体动作识别任务具有天然的优势,越来越受到重视.图卷积网络的关键在于如何获取更丰富的特征信息以及采用更合理的拓扑结构.本文改进了人体骨架关节点及其语义信息(关节点类型和帧间索引)的特征融合方式,集成为一个语义信息编码模块,从而更适用于复杂的多层网络.在语义信息编码模块的语义引导下,网络可以获取更丰富的关节点特征信息.其次,本文提出了一种拓扑结构推理网络,结合卷积神经网络(Convolutional Neural Networks,CNN)高效的特征学习能力,自适应地根据不同动作样本的上下文特征信息学习不同的邻接矩阵,有助于网络摆脱固定拓扑结构的局限性.将上述方法应用于双流自适应图卷积网络,本文提出了一种语义引导下多流自适应拓扑推理的图卷积网络.实验结果证明,本文的方法使图卷积网络识别精度有了明显的提高,在基于骨架信息的人体动作识别大型数据集NTU RGB+D、NTU RGB+D 120上均达到了目前先进水平.
动作识别、图卷积网络、人体骨架、邻接矩阵
40
TP391.4(计算技术、计算机技术)
广东省自然科学基金资助项目2021A1515011867
2023-08-08（万方平台首次上网日期，不代表论文的发表时间）
共8页
45-52
