双光流网络指导的视频目标检测

摘要：

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位.现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题.方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征.结果 实验结果表明,本文模型的mAP(mean average precision)为76.4％,相比于TCN(temporal convolutional networks)模型、TPN+LSTM(tubelet proposal network and long short term memory network)模型、D(&T loss)模型和FGFA(flow-guided feature aggregation)模型分别提高了28.9％、8.0％、0.6％和0.2％.结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题.

关键词：目标检测;卷积神经网络(CNN);运动估计;运动补偿;光流网络;特征融合

所属期刊栏目：26

分类号：TP391(计算技术、计算机技术)

资助基金：北京市教育委员会科技发展计划项目;北京市自然科学基金项目

在线出版日期：2021-10-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：2473-2484