基于特征融合的RGBT双模态孪生跟踪网络

摘要：

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般.因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义.与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal,RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性.提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构.该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力.该网络可以利用训练数据进行端到端的离线训练.公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪.

关键词：可见光/热红外、双模态跟踪、孪生网络、特征融合

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

资助基金：科技创新项目;山西省教育科学十三五规划互联网+教育研究专项课题

在线出版日期：2021-04-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：228-234