融合跟踪器:融合图像特征和事件特征的单目标跟踪框架

摘要：

目标跟踪是计算机视觉领域的一项基本研究问题.作为主流目标跟踪方法传感器,传统相机可以提供丰富的场景信息.但是由于受到采样原理的限制,传统相机在极端光照条件下会出现过曝光或欠曝光的问题,且在高速运动场景中存在运动模糊的现象.而事件相机是一种仿生传感器,它能够感知光照强度变化输出事件流,具有高动态范围、高时间分辨率等优点,但难以捕捉静态目标.受传统相机和事件相机的特性启发,提出了一种双模态融合的单目标跟踪方法,称为融合跟踪器(Fusion Tracker).该方法通过特征增强的方式自适应地融合来自传统相机和事件相机数据中的视觉线索,同时设计一种基于注意力机制的特征匹配网络,将模板帧的目标线索与搜索帧相匹配,建立长期特征关联,使跟踪器关注目标信息.融合跟踪器可以解决特征匹配过程中相关性运算导致的语义丢失问题,提升目标跟踪的性能.在两个公开数据集上的实验展示了所提方法的优越性,并且通过消融实验验证了融合跟踪器中关键部分的有效性.融合跟踪器可以有效提升在复杂场景中目标跟踪任务的鲁棒性,为下游应用提供可靠的跟踪结果.

关键词：目标跟踪、深度学习、事件相机、特征融合、注意力机制

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-10-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：96-103