双粒度特征融合网络的跨模态行人再识别
目的 可见光—红外跨模态行人再识别旨在匹配具有相同行人身份的可见光图像和红外图像.现有方法主要采用模态共享特征学习或模态转换来缩小模态间的差异,前者通常只关注全局或局部特征表示,后者则存在生成模态不可靠的问题.事实上,轮廓具有一定的跨模态不变性,同时也是一种相对可靠的行人识别线索.为了有效利用轮廓信息减少模态间差异,本文将轮廓作为辅助模态,提出了一种轮廓引导的双粒度特征融合网络,用于跨模态行人再识别.方法 在全局粒度上,通过行人图像到轮廓图像的融合,用于增强轮廓的全局特征表达,得到轮廓增广特征.在局部粒度上,通过轮廓增广特征和基于部件的局部特征的融合,用于联合全局特征和局部特征,得到融合后的图像表达.结果 在可见光—红外跨模态行人再识别的两个公开数据集对模型进行评估,结果优于一些代表性方法.在SYSU-MM01(Sun Yat-sen University multiple modality 01)数据集上,本文方法rank-1准确率和平均精度均值(mean average precision,mAP)分别为62.42％和58.14％.在RegDB(Dongguk body-based person recognition database)数据集上,本文方法rank-1和mAP分别为84.42％和77.82％.结论 本文将轮廓信息引入跨模态行人再识别,提出一种轮廓引导的双粒度特征融合网络,在全局粒度和局部粒度上进行特征融合,从而学习具有判别性的特征,性能超过了近年来一些具有代表性的方法,验证了轮廓线索及其使用方法的有效性.
行人再识别、跨模态、特征融合、轮廓、特征学习
28
TP391(计算技术、计算机技术)
2023-05-19（万方平台首次上网日期，不代表论文的发表时间）
共12页
1422-1433
