基于时空信息融合的人体行为识别研究

摘要：

在视频理解任务中,人体行为识别是一个重要的研究内容,但视频序列中存在时空信息融合困难、准确率低等问题.针对这些问题,提出一种基于时空信息融合的双流时空残差卷积网络模型.将视频分段采样提取RGB图像和光流图像,并将其输入到双流时空残差网络,通过设计的时空残差模块提取视频的深度时空特征,将每个视频片段的类别结果加权融合得到行为类别.提出的双流时空残差模块引入了少量的三维卷积和混合注意力机制,能够同时获取不同尺度的时空信息并且抑制无效信息,可以有效平衡时空信息的捕捉和计算量问题,并且提升了精度.实验基于TSN网络模型,在UCF101数据集上进行验证,实验结果表明提出的模型比原TSN网络模型的精准度提高了0.9个百分点,有效地提高了网络的时空信息捕获效率.

关键词：行为识别、双流网络、残差结构、注意力机制、时序信息

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;北京市教委科技计划重点项目;北京市教委科技计划面上项目;北京联合大学人才强校优选计划;北京联合大学人才强校优选计划;北京联合大学科研项目;北京联合大学研究生科研创新资助项目

在线出版日期：2023-02-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：202-208