基于时间上下文模块的人体动作识别方法

摘要：

针对现有的动作识别方法缺乏从局部和全局综合的角度来考虑时间上下文的问题,提出了一种基于时间上下文模块的动作识别方法.对中间特征图进行通道分割,并引入一个超参数来限制时间建模的通道占比,从而减少模型的计算成本和增强特征重用.利用局部分支和时间分支分别从视频中提取短期和长期的时间上下文信息来提高模型的时间推理能力.时间上下文模块能够以一种即插即用的方式灵活地集成到现有的任何2D卷积神经网络(CNNs)中,以极小的额外计算成本产生一个紧凑的时间上下文网络.通过在ImageNet上进行预训练,在Something Something V1和Diving-48数据集上取得了48.1％和40.5％的Top-1准确率,广泛的消融实验和对比试验结果表明,方法在准确率以及计算成本上实现了更佳的权衡.

关键词：动作识别、时间上下文、时间推理、即插即用

所属期刊栏目：41

分类号：TP391(计算技术、计算机技术)

资助基金：西安交通工程学院中青年基金项目2022KY-02

在线出版日期：2023-02-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：72-79