基于双模态输入的孪生网络目标跟踪算法

摘要：

主流的目标跟踪算法只使用可见光(RGB)图像进行跟踪任务,当跟踪场景的光照条件较差时,表征颜色和纹理特征的可见光图像会严重限制跟踪器的跟踪性能.针对单一模态目标信息存在缺失的问题,在Siam-FC网络模型以及红外—可见光图像融合思想的基础上提出了双模态权值自更新孪生网络目标跟踪方法.根据红外图像可以采集运动目标热信息的特点,有效利用了红外和可见光图像在目标跟踪领域的互补优势;使用较浅的特征提取网络AlexNet即可提取到运动目标具有鲁棒性的特征,在保证跟踪精度的同时提高了跟踪模型的跟踪速度.在公开数据集OTB2015和红外—可见光数据集RGB-T210进行实验,结果表明提出的目标跟踪算法在各种跟踪场景下都取得了较好的跟踪效果.

关键词：目标跟踪;孪生网络;可见光红外图像融合;模态权值更新

所属期刊栏目：38

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金61603255

在线出版日期：2021-12-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：3796-3800