基于互相关-Transformer双层特征融合的目标跟踪算法

摘要：

当前算法主要使用互相关操作和Transformer中的一种方法来设计特征融合网络,这种策略忽视了二者之间的优势互补,容易丢失语义信息,陷入局部最优.针对上述问题,设计了一种基于互相关一 Transformer双层特征融合的目标跟踪算法,使用改进的互相关操作和Transformer方法分别对模板和搜索区域特征进行融合,实现两种融合方式的优势互补,使模板和搜索区域特征充分交互,实现特征的有效增强和充分融合,并在互相关操作中引入相似矩阵来增强模板和搜索区域中与当前帧中的目标有关联的特征,使互相关操作的匹配过程更加准确.该目标跟踪算法包括一个基于Swin-Transformer的主干网络,一个互相关和Transformer双层融合模块,一个预测分支.提出的算法在TrackingNet、LaSOT、NFS、UAV123和OTB2015五个数据集上取得了鲁棒的效果,分别达到81.8％、65.7％、66.2％、69.4％和69.8％的成功率,平均跟踪速度达到40帧/秒.

关键词：目标跟踪、Transformer法、互相关、特征融合

所属期刊栏目：46

分类号：TP391;TN919;O24

资助基金：国家自然科学基金;国家自然科学基金;中国科学院青年创新促进会项目

在线出版日期：2024-02-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：16-26