基于双中间模态的四流网络跨模态行人重识别

摘要：

摄像头大多配备红外和可见光功能,因此,重识别方法的应用必然要解决跨模态行人重识别问题.为缩小跨模态行人重识别中红外和可见光模态之间的差异,提高识别精度,提出基于双中间模态的四流跨模态行人重识别方法.由2个轻量级网络分别生成可见光模态和红外模态的双中间模态图像,并从可见光图像和红外图像中继承标签,通过拆分ResNet50骨干网络以重构适应于4种模态共享特征学习的网络.此外,还探讨了四流骨干网络中的参数共享问题,分析四模态共享块数量对于跨模态行人重识别的影响.实验结果表明,相比HcTri,该方法在SYSU-MM01数据集上的全局检索模式下的Rank-1和mAP分别提高2.38和4.64个百分点,在室内检索模式下分别提高6.24和6.77个百分点,在RegDB数据集上可见光至红外检索模式下的Rank-1、mAP和mINP分别提高2.52、3.74和4.68个百分点,在红外至可见光检索模式下的Rank-1、mAP和mINP分别分别提高2.70、3.47和5.56个百分点.

关键词：行人重识别、双中间模态、四流骨干网络、跨模态重识别、参数共享

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;科技创新新一代人工智能重大项目;上海市自然科学基金;上海市教育委员会;上海市教育发展基金会晨光计划项目

在线出版日期：2023-10-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：302-309