TVBN-ResNeXt:解决动作视频分类的端到端时空双流融合网络

摘要：

针对如何利用视频中空域C3D与光流2D网络的互补性、光流高效计算与存储问题,提出基于端到端时空双流卷积网络融合的动作视频分类算法(TV BN-Inception network and ResNeXt-101 TVBN-ResNeXt),可融合C3D与自学习端到端光流卷积网络的优点.针对空间流,首先基于C3D的ResNeXt-101残差网络进行空域视频分类;然后另一支路使用端到端时间流网络,由Vnet网络实时进行光流学习,其次针对堆叠光流特征数据利用BN-Inception网络进行视频分类;最后将双流支路的视频分类结果进行加权融合形成最后判决.在UCF-101和HMDB-51数据集上的实验分别达到94.6％和70.4％的准确率.结果 表明,本文提出的TVBN-ResNeXt双流互补网络融合方法不但可解决光流自学习问题,提高网络的运行效率,还可有效提高视频分类的性能.

关键词：视频分类、三维卷积神经网络、时空模型、光流网络

所属期刊栏目：36

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金面上项目;河北省自然科学基金

在线出版日期：2020-06-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：58-66