Local-STCANet:基于局部注意力网络的视频动作识别

摘要：

通道、空间和时间信息是视频动作识别的3种互补且关键的信息类型.现有的2D CNN方法计算成本低,但对于时空信息的捕获相对不足;3D CNN方法可以实现良好的性能,但计算量较大.针对上述问题,提出一个可以嵌入到2D CNN中通用且有效的局部时空通道注意力(Local-STCA)模块来进行人体动作识别.Local-STCA模块由局部通道注意力(LCA)和局部时空注意力(LSTA)组成,LCA在时序上利用对通道之间的相关性进行显示的建模来校准通道特征,LSTA采用两个单通道3D卷积层和混合空洞卷积来提取多尺度时空特征.由主干网络(ResNet50+BiL-STM)和Local-STCA模块组成局部注意力网络(Local-STCANet),在数据集UCF-101上进行大量的实验.实验结果表明,Local-STCANet在主干网上略微增加计算量的同时比其他2D CNN方法以及注意力模型具有更高的精度.

关键词：动作识别、注意力机制、BiLSTM、混合空洞卷积

所属期刊栏目：32

分类号：TP391.4(计算技术、计算机技术)

在线出版日期：2023-06-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：97-105