时空卷积注意力网络用于动作识别

摘要：

在视频动作识别任务中,无论是在视频的空间维度还是时序维度,如何充分学习和利用特征之间相关性,对最终识别性能的影响非常大.卷积操作通过计算邻域内特征点之间的相关性获得局部特征,而自注意力机制通过所有特征点之间的信息交互学习到全局信息.单个卷积层不具备在全局视角上学习特征相关性的能力,即使是重复堆叠多层也只是获得了若干个更大的感受野.自注意力层虽然具有全局视角,但其关注的核心仅是不同特征点所表达的内容联系,忽略了局部的位置特性.为了解决以上问题,提出了一种时空卷积注意力网络用于动作识别.时空卷积注意力网络由空间卷积注意力网络和时序卷积注意力网络共同组成.空间卷积注意力网络使用自注意力方法捕捉空间维度的表观特征联系,用一维卷积提取动态信息.时序卷积注意力网络通过自注意力方法来获取时序维度上帧级特征间的关联信息,用2D卷积学习空间特征.时空卷积注意力网络集成两种网络的共同测试结果来提升模型识别性能.在HMDB51数据集上进行实验,以ResNet50为基线,引入时空卷积注意力模块后,神经网络的识别准确率在空间流和时序流上分别提升了6.25和5.13个百分点.与当前先进方法进行比较,时空卷积注意力网络在UCF101和HMDB51数据集上均有明显优势.提出的时空卷积注意力网络能够有效地捕捉特征关联信息,该方法结合自注意全局联系和卷积局部联系的优势,提升了神经网络时空建模的能力.

关键词：动作识别、深度学习、特征融合、自注意力机制、卷积网络

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;江西省主要学科学术;技术带头人培养计划领军人才项目

在线出版日期：2023-05-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：150-158