轻量化Transformer目标跟踪数据标注算法

摘要：

目的 基于深度模型的跟踪算法往往需要大规模的高质量标注训练数据集,而人工逐帧标注视频数据会耗费大量的人力及时间成本.本文提出一个基于Transformer模型的轻量化视频标注算法(Transformer-based label network,TLNet),实现对大规模稀疏标注视频数据集的高效逐帧标注.方法 该算法通过Transformer模型来处理时序的目标外观和运动信息,并融合前反向的跟踪结果.其中质量评估子网络用于筛选跟踪失败帧,进行人工标注;回归子网络则对剩余帧的初始标注进行优化,输出更精确的目标框标注.该算法具有强泛化性,能够与具体跟踪算法解耦,应用现有的任意轻量化跟踪算法,实现高效的视频自动标注.结果 在2个大规模跟踪数据集上生成标注.对于LaSOT(large-scale single object tracking)数据集,自动标注过程仅需约43 h,与真实标注的平均重叠率(mean intersection over union,mIoU)由0.824提升至0.871.对于TrackingNet数据集,本文使用自动标注重新训练3种跟踪算法,并在3个数据集上测试跟踪性能,使用本文标注训练的模型在跟踪性能上超过使用TrackingNet原始标注训练的模型.结论 本文算法TLNet能够挖掘时序的目标外观和运动信息,对前反向跟踪结果进行帧级的质量评估并进一步优化目标框.该方法与具体跟踪算法解耦,具有强泛化性,并能节省超过90％的人工标注成本,高效地生成高质量的视频标注.

关键词：视频目标标注、单目标视觉跟踪、Transformer模型、互相关操作、时序信息融合

所属期刊栏目：28

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-11-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：3176-3190