非局部注意力双分支网络的跨模态赤足足迹检索
目的 针对目前足迹检索中存在的采集设备种类多样化、有效的足迹特征难以提取等问题,本文以赤足足迹图像为研究对象,提出一种基于非局部(non-local)注意力双分支网络的跨模态赤足足迹检索算法.方法 该网络由特征提取、特征嵌入以及双约束损失模块构成,其中特征提取模块采用双分支结构,各分支均以ResNet50作为基础网络分别提取光学和压力赤足图像的有效特征;同时在特征嵌入模块中通过参数共享学习一个多模态的共享空间,并引入非局部注意力机制快速捕获长范围依赖,获得更大感受野,专注足迹图像整体压力分布,在增强每个模态有用特征的同时突出了跨模态之间的共性特征;为了增大赤足足迹图像类间特征差异和减小类内特征差异,利用交叉熵损失LCE(cross-entropy loss)和三元组损失LTRI(triplet loss)对整个网络进行约束,以更好地学习跨模态共享特征,减小模态间的差异.结果 本文将采集的138人的光学赤足图像和压力赤足图像作为实验数据集,并将本文算法与细粒度跨模态检索方法FGC(fine-grained cross-model)和跨模态行人重识别方法HC(hetero-center)进行了对比实验,本文算法在光学到压力检索模式下的mAP(mean average precision)值和rank1值分别为83.63％和98.29％,在压力到光学检索模式下的mAP值和rank1值分别为84.27％和94.71％,两种检索模式下的mAP均值和rank1均值分别为83.95％ 和96.5％,相较于FGC分别提高了40.01％ 和36.50％,相较于HC分别提高了26.07％和19.32％.同时本文算法在non-local注意力机制、损失函数、特征嵌入模块后采用的池化方式等方面进行了对比分析,其结果证实了本文算法的有效性.结论 本文提出的跨模态赤足足迹检索算法取得了较高的精度,为现场足迹比对、鉴定等应用提供了研究基础.
图像检索、跨模态足迹检索、非局部注意力机制、双分支网络、赤足足迹图像
27
TP183(自动化基础理论)
国家重点研发计划;国家自然科学基金;安徽高校自然科学研究重点项目;安徽高校自然科学研究重点项目
2022-07-20（万方平台首次上网日期，不代表论文的发表时间）
共15页
2199-2213
