动态模态交互和特征自适应融合的RGBT跟踪
目的 可见光和热红外模态数据具有很强的互补性,RGBT(RGB-thermal)跟踪受到越来越多的关注.传统RGBT目标跟踪方法只是将两个模态的特征进行简单融合,跟踪的性能受到一定程度的限制.本文提出了一种基于动态交互和融合的方法,协作学习面向RGBT跟踪的模态特定和互补表示.方法 首先,不同模态的特征进行交互生成多模态特征,在每个模态的特定特征学习中使用注意力机制来提升判别性.其次,通过融合不同层次的多模态特征来获得丰富的空间和语义信息,并通过设计一个互补特征学习模块来进行不同模态互补特征的学习.最后,提出一个动态权重损失函数,根据对两个模态特定分支预测结果的一致性和不确定性进行约束以自适应优化整个网络中的参数.结果 在两个基准RGBT目标跟踪数据集上进行实验,数据表明,在RGBT234数据集上,本文方法的精确率(precision rate,PR)为79.2％,成功率(success rate,SR)为55.8％;在GTOT(grayscale-thermal object tracking)数据集上,本文方法的精确率为86.1％,成功率为70.9％.同时也在RGBT234和GTOT数据集上进行了对比实验以验证算法的有效性,实验结果表明本文方法改善了RGBT目标跟踪的结果.结论 本文提出的RGBT目标跟踪算法,有效挖掘了两个模态之间的互补性,取得了较好的跟踪精度.
模态交互、模态融合、互补特征学习、模态特定信息、RGBT目标跟踪
27
TP391(计算技术、计算机技术)
国家自然科学基金;安徽高校协同创新项目;安徽省自然科学基金
2022-10-27（万方平台首次上网日期，不代表论文的发表时间）
共12页
3010-3021
