基于三维图卷积与注意力增强的行为识别模型

摘要：

针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型.首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出一种3维图卷积方法.针对3维采样空间内的邻居节点,通过3维图卷积核,实现了对骨架序列中时空信息的有效提取;然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构;再者,结合3维图卷积方法与注意力增强结构,构建了基于3维图卷积与注意力增强的行为识别模型;最后,基于NTU-RGBD和MSR Action 3D骨架动作数据集开展了骨架行为识别的研究.研究结果进一步验证了基于3维图卷积与注意力增强的行为识别模型针对时空信息的有效提取能力及识别准确率.

关键词：行为识别、3维图卷积、注意力增强、时空信息

所属期刊栏目：43

分类号：TN911.73;TP391.41

资助基金：国家自然科学基金;江苏省"六大人才高峰"高层次人才项目;江苏省优秀科技创新团队项目;高等学校学科创新引智计划计划;江南大学研究生科研与实践创新计划项目

在线出版日期：2021-07-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：2071-2078