基于YOLO的多模态加权融合行人检测算法

摘要：

在夜间光照不足、目标被遮挡导致信息缺失以及行人目标多尺度的情况下,可见光单模态行人检测算法的检测效果较差.为了提高行人检测器的鲁棒性,基于YOLO提出一种可见光与红外光融合的行人检测算法.使用Darknet53作为特征提取网络,分别提取2个模态的多尺度特征.对传统多模态行人检测算法所使用的concat融合方式进行改进,设计结合注意力机制的模态加权融合层,以加强对融合特征图的模态选择.在此基础上,使用多尺度的融合特征进行行人检测.实验结果表明,模态加权融合较concat融合有较大的精度提升,且该算法在夜间光照不足、目标遮挡和目标多尺度情况下检测效果良好,在KAIST数据集上的检测精度优于HalFusion和Fusion RPN+BDT等算法,检测速度也有较大提升.

关键词：行人检测;目标检测;多模态算法;YOLO网络;注意力机制

所属期刊栏目：47

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61672263

在线出版日期：2021-08-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：234-242