融合显著性图像语义特征的人体相似动作识别

摘要：

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点.利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱.针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络(saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN)模型.方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力.此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集.结果 实验在相似动作数据集与NTURGB+D60/120(Nanyang Technological University RGB+D 60/120)数据集上与其他方法进行比较.在相似动作数据集中,相比于次优模型识别准确率在跨参与者识别(X-Sub)和跨视角识别(X-View)基准分别提高4.6％和6.0％;在NTU RGB+D 60数据集中,相比于次优模型识别准确率在X-Sub和X-View基准分别提高1.4％和0.6％;在NTU RGB+D 120数据集中,相比于次优模型识别准确率在X-Sub和跨设置识别(X-Set)基准分别提高1.7％和1.1％.此外,进行多种对比实验,验证了中心连接图卷积网络、显著性图像提取方法以及融合算法的有效性.结论 提出的方法可以实现对相似动作的准确有效识别分类,且模型的整体识别性能及鲁棒性也得以提升.

关键词：动作识别、骨架序列、相似动作、图卷积网络(GCN)、图像显著性特征

所属期刊栏目：28

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：2872-2886