时空特征融合网络的多目标跟踪与分割
目的 多目标跟踪与分割是计算机视觉领域一个重要的研究方向.现有方法多是借鉴多目标跟踪领域先检测然后进行跟踪与分割的思路,这类方法对重要特征信息的关注不足,难以处理目标遮挡等问题.为了解决上述问题,本文提出一种基于时空特征融合的多目标跟踪与分割模型,利用空间三坐标注意力模块和时间压缩自注意力模块选择出显著特征,以此达到优异的多目标跟踪与分割性能.方法 本文网络由2D编码器和3D解码器构成,首先将多幅连续帧图像输入到2D编码层,提取出不同分辨率的图像特征,然后从低分辨率的特征开始通过空间三坐标注意力模块得到重要的空间特征,通过时间压缩自注意力模块获得含有关键帧信息的时间特征,再将两者与原始特征融合,然后与较高分辨率的特征共同输入3D卷积层,反复聚合不同层次的特征,以此得到融合多次的既有关键时间信息又有重要空间信息的特征,最后得到跟踪和分割结果.结果 实验在YouTube-VIS(YouTube video instance segmentation)和 KITTI MOTS(multi-object tracking and segmentation)两个数据集上进行定量评估.在YouTube-VIS数据集中,相比于性能第2的CompFeat模型,本文方法的AP(average precision)值提高了 0.2％.在KITTI MOTS数据集中,相比于性能第2的STEm-Seg模型,在汽车类上,本文方法的ID switch指标减少了 9;在行人类上,本文方法的 sMOTSA(soft multi-object tracking and segmentation accuracy)、MOTS A(multi-object tracking and seg-mentation accuracy)和 MOTSP(multi-object tracking and segmentation precision)分别提高了 0.7％、0.6％和 0.9％,ID switch指标减少了 1.在KITTI MOTS数据集中进行消融实验,验证空间三坐标注意力模块和时间压缩自注意力模块的有效性,消融实验结果表明提出的算法改善了多目标跟踪与分割的效果.结论 提出的多目标跟踪与分割模型充分挖掘多帧图像之间的特征信息,使多目标跟踪与分割的结果更加精准.
深度学习、多目标跟踪与分割(MOTS)、3D卷积神经网络、特征融合、注意力机制
27
TP391.4(计算技术、计算机技术)
科技创新新一代人工智能重大项目;国家自然科学基金;国家自然科学基金;国家自然科学基金
2022-11-25（万方平台首次上网日期，不代表论文的发表时间）
共10页
3257-3266
