基于颜色随机化和全相关注意力的跨模态行人重识别

摘要：

针对跨模态行人重识别过程中,模态差异导致难以提取充分的辨别性身份特征的问题,提出一种颜色随机化数据增强算法,并设计了基于全相关注意力的双流多分支网络模型.模型以ResNet-50为骨干网络,首先,对输入样本进行颜色随机化处理,提高模型的颜色风格鲁棒性;采用双流网络,在网络浅层设置权重参数非共享模式,分别用于处理可见光图像和红外图像;其次,提出全相关注意力,从空间和通道维度获得不同像素的关联程度,提高模型对于结构信息的提取能力;最后,采用多分支结构提取多尺度全局特征和局部特征增强提取特征的判别性.实验结果表明,所提方法在SYSU-MM01 数据集的全搜素测试模式下,Rank-1和平均精度均值(mAP)分别达到70.01％和67.40％,优于其他方法.

关键词：跨模态、行人重识别、注意力机制、图像增强、多分支结构

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61802250

在线出版日期：2023-08-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：10-16