基于运动引导的高效无监督视频目标分割网络

摘要：

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation, UVOS)算法存在模型参数量与计算量较大的问题, 这显著限制了算法在实际中的应用. 提出了基于运动引导的视频目标分割网络, 在大幅降低模型参数量与计算量的同时, 提升视频目标分割性能. 整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地, 首先, RGB图像与光流估计输入双流网络提取物体外观特征与运动特征; 然后, 运动引导模块通过局部注意力提取运动特征中的语义信息, 用于引导外观特征学习丰富的语义信息; 最后, 多尺度渐进融合模块获取双流网络的各个阶段输出的特征, 将深层特征渐进地融入浅层特征, 最终提升边缘分割效果. 在3个标准数据集上进行了大量评测, 实验结果表明了该方法的优越性能.

关键词：无监督视频目标分割、运动引导、局部注意力、互注意力

所属期刊栏目：49

分类号：TP391.41;TN918.4;TP181

资助基金：科技创新新一代人工智能重大项目;国家自然科学基金;国家自然科学基金;国家自然科学基金;江苏省333工程人才项目

在线出版日期：2023-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：872-880